数据分块（Chunking）策略

摘要在检索增强生成RAG、向量数据库建设以及企业级知识库大模型落地的工程实践中数据分块Chunking往往被误认为只是简单的字符串切片操作如text[i:i500]。然而在生产环境中80% 的检索质量瓶颈与上下文断裂问题根源都在于数据分块策略的不合理。本文将系统性拆解数据分块的底层逻辑与表征机理深入分析固定大小分块、递归字符分块、语义分块、结构感知分块、父子切片Small-to-Big以及大模型驱动分块Agentic Chunking等 6 大核心策略针对 PDF、复杂表格、源代码、多轮对话等非结构化数据给出具体的实践方案并提供一份生产级 Python 代码框架与调优评估方法论。前言被低估的数据分块工程在大语言模型LLM应用开发中著名的“Garbage in, Garbage out”垃圾进垃圾出 定律依然适用。如果说 Embedding 模型是将自然语言映射到高维几何空间的“翻译官”那么Chunking数据分块就是为这位翻译官提供输入素材的“排版师”。很多开发者在搭建 RAG 系统时往往直接使用框架默认的配置例如 LangChain 的chunk_size500, chunk_overlap50。但在实际业务落地中经常会遇到以下痛点检索出的段落“有头无尾”核心结论或关键条件恰好被切断在两个 Chunk 之间导致大模型生成答案时产生“幻觉”或直接回答“无法获取相关信息”。检索噪音过多向量被“稀释”切块过大包含了几千字跨越多个主题的内容导致向量表征模糊在计算相似度时排名偏后。结构化信息损毁Markdown 表格、JSON 格式或代码块被强行切割破坏了语法闭合使得大模型完全无法解析。因此数据分块绝非简单的文本分割而是一场关于“语义连贯性”与“检索精准度”的博弈与平衡。一、 为什么数据分块如此关键底层逻辑与技术挑战1.1 Embedding 模型与向量空间的物理约束每一个 Embedding 模型如text-embedding-3-small、bge-m3、bge-large-zh都有其固有的最大 Token 输入限制如 512、8192并且其背后的 Transformer 架构通常采用 Pooling如 Mean Pooling、CLS Pooling将整段文本压缩为一个固定维度的向量如 1024 维、1536 维。向量稀释Vector Dilution当输入给 Embedding 模型的文本过长例如 2000 字且包含了多个不同的主题时Pooling 机制会将这些主题的语义“平均化”。其结果是该向量在向量空间中处于一个“平庸的中间位置”对任何单一特定问题的匹配度都会大幅下降。信息丢失Information Loss文本越长其中包含的局部细节如特定的产品型号、日期、金额在最终向量中的权重就越低。[原始长文档 (多个主题混合)] ── Embedding ── [稀释的向量 (语义模糊匹配度低)] [精细分块 (单一明确主题)] ── Embedding ── [精准的向量 (语义聚焦匹配度极高)]1.2 LLM 的上下文窗口与注意力衰减虽然当前大模型的上下文窗口Context Window已经扩展到 128K、1M 甚至更高但将过长、过多的非相关 Chunk 直接塞给 LLM 仍会带来三大问题计算成本Cost与延迟Latency增加输入 Token 数量与 LLM 推理成本及首字延迟TTFT成正比。中间丢失现象Lost in the Middle大模型的注意力机制对 Prompt 的头部和尾部最敏感放在上下文中间位置的 Chunk 容易被“无视”。注意力干扰Attention Noise无关或半相关的 Chunk 会分散模型的注意力增加生成幻觉的风险。1.3 Chunk Size 与 Overlap 的权衡博弈在数据分块中有两个最基础的超参数Chunk Size块大小和Chunk Overlap块重叠度。Chunk 1: [----------------------] Chunk 2: [----------------------] -------- Chunk OverlapChunk Size 越小优势向量语义更聚焦检索准确率Precision高噪声低。劣势缺少足够的上下文可能丢失完整的因果关系或完整背景损害大模型的理解力。Chunk Size 越大优势包含丰富的上下文信息大模型读取后更容易生成全面答案。劣势向量表征容易被稀释检索召回率Recall下降增加 Token 消费。Chunk Overlap 的作用在相邻的两个 Chunk 之间保留一部分重叠文本通常为 Chunk Size 的 10%~20%目的是减缓边界处的语义断裂防止某个关键句子恰好被从中间切断。分块维度粒度过细 (如 100~200 Tokens)粒度适中 (如 300~800 Tokens)粒度过粗 (如 1500 Tokens)向量精确度极高高低语义稀释上下文完整性差容易断章取义良好极佳检索噪声率低较低高夹带无关文本适合场景事实核查、FAQ、精准属性提取通用问答、文档分析摘要生成、长文本总结二、 主流数据分块Chunking策略深度拆解为了应对不同的文档类型与业务场景业界演进出了多种分块策略。下面由浅入深进行拆解。┌──────────────────────────────────────────┐ │ 数据分块策略演进路线 │ └────────────────────┬─────────────────────┘ │ ┌──────────────────────────────────┼──────────────────────────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ 规则与字符 │ │ 语义驱动 │ │ 结构与感知 │ │ Fixed-size │ │ Semantic │ │ Hierarchy │ │ Recursive │ │ Parent-Child │ │ AST / Layout │ └──────────────┘ └──────────────┘ └──────────────┘2.1 固定大小分块Fixed-size / Character-based Chunking原理机制按照固定的字符数Character Count或 Token 数如tiktoken统计强行切分文本每次移动固定步长。缺陷分析这种方式完全忽略了自然语言的语法结构。它可能会将一个单词、一个完整的句子、甚至一个数字从中间砍断例如将100000切成100和000在现代生产环境中极不推荐单独使用。代码实现Pythondef fixed_size_chunking(text: str, chunk_size: int 500, overlap: int 50) - list[str]: 固定字符大小分块示例 chunks [] start 0 text_len len(text) while start text_len: end min(start chunk_size, text_len) chunk text[start:end] chunks.append(chunk) if end text_len: break start (chunk_size - overlap) return chunks # 验证 sample_text 数据分块是RAG系统的核心步骤。合理的切分能提升检索精准度。固定切分可能会切断句子。 print(fixed_size_chunking(sample_text, chunk_size20, overlap5))2.2 递归字符分块Recursive Character Chunking原理机制这是目前 LangChain、LlamaIndex 等框架中最常用的默认通用切片算法如RecursiveCharacterTextSplitter。它引入了一组具备优先级梯度的层级分隔符列表[\n\n, \n, 。, , , , , ]算法运行逻辑优先尝试按照段落分隔符\n\n将文本切分成块。如果切分后的某一部分依然超过指定的chunk_size则递归地降级到下一个分隔符如换行符\n继续切分。依次类推直到切分出的每一个 Chunk 长度都符合chunk_size要求。优势能够最大程度地保持段落和句子的自然结构边界避免将同一句话切割开。生产级代码实现import re class RecursiveChunker: def __init__(self, chunk_size: int 500, overlap: int 50, separators: list[str] None): self.chunk_size chunk_size self.overlap overlap self.separators separators or [\n\n, \n, 。, , , , , ] def split_text(self, text: str) - list[str]: final_chunks [] # 寻找当前适用的最高优先级分隔符 separator self.separators[-1] for s in self.separators: if s : separator break if s in text: separator s break # 根据选定的分隔符拆分 if separator ! : splits text.split(separator) else: splits list(text) # 退化为单字符拆分 # 重新组合碎片确保不超过 chunk_size good_splits [] for s in splits: if len(s) self.chunk_size: good_splits.append(s) else: # 如果某个碎片仍然超长递归降级调用 if good_splits: merged self._merge_splits(good_splits, separator) final_chunks.extend(merged) good_splits [] # 寻找更细粒度的分隔符继续切 sub_chunker RecursiveChunker( self.chunk_size, self.overlap, self.separators[self.separators.index(separator)1:] ) final_chunks.extend(sub_chunker.split_text(s)) if good_splits: merged self._merge_splits(good_splits, separator) final_chunks.extend(merged) return final_chunks def _merge_splits(self, splits: list[str], separator: str) - list[str]: 合并零碎文本保持Overlap chunks [] current_chunk [] current_len 0 for s in splits: s_len len(s) len(separator) if current_len s_len self.chunk_size: if current_chunk: doc separator.join(current_chunk) chunks.append(doc) # 保留重叠部分 while current_len self.overlap and current_chunk: removed current_chunk.pop(0) current_len - (len(removed) len(separator)) current_chunk.append(s) current_len s_len if current_chunk: chunks.append(separator.join(current_chunk)) return chunks # 使用测试 chunker RecursiveChunker(chunk_size100, overlap20) text 在大模型RAG架构中数据分块是决定检索质量的关键阶段。\n\n优秀的切分策略能够完美保留文本的上下文语义。\n如果分块不合理会导致严重的检索噪音以及模型回答幻觉。 print(f切分块数: {len(chunker.split_text(text))})2.3 基于语义的分块Semantic Chunking原理机制无论是固定大小还是递归切片本质上都是基于“字符规则”而非“文本含义”。语义分块Semantic Chunking则是利用 Embedding 模型主动感知语义变迁的动态切片技术。核心计算步骤句子拆分将原始文本按照句号、问号等分割为独立的句子列表 $S [s_1, s_2, \dots, s_n]$。组合窗口Buffer Window为了捕获局部语义将相邻的几句话例如前 1 句、当前句、后 1 句拼接成一个临时组合块。计算向量对每个组合块调用 Embedding 模型生成语义向量 $V_i$。计算相邻语义距离计算相邻向量之间的余弦距离或欧氏距离$$\text{Distance}(i) 1 - \text{Cosine\_Similarity}(V_i, V_{i1})$$阈值切分Thresholding寻找语义距离的“突变峰值”如设置百分位数 95% 或固定阈值。当距离超过阈值时说明文本主题在此处发生了转换触发切分。语义距离 (Distance) ▲ │ ▲ (语义突变点 - 触发切分 Chunk 边界) │ ╱ ╲ │ ───╱───┼───阈值 (Threshold)──────────────── │ ╱ ╲ ╱ ╲ │ ╱ ╲_╱ ╲ └──────────────────────────► 句子序号 (Sentence Index)完整 Python 实现代码import numpy as np from sklearn.metrics.pairwise import cosine_similarity class SemanticChunker: def __init__(self, embedding_fn, breakpoint_percentile_threshold: float 95.0): self.embedding_fn embedding_fn # 传入可调用Embedding函数 self.threshold breakpoint_percentile_threshold def _split_into_sentences(self, text: str) - list[str]: # 简单句号切分正则生产环境推荐使用 nltk 或 spacy sentences re.split(r(?[。\n]), text) return [s.strip() for s in sentences if s.strip()] def split_text(self, text: str) - list[str]: sentences self._split_into_sentences(text) if len(sentences) 1: return sentences # 1. 构造滑窗文本 (Sentence Window) combined_sentences [] for i in range(len(sentences)): combined # 取前一句、当前句、后一句组合 if i 0: combined sentences[i-1] combined sentences[i] if i len(sentences) - 1: combined sentences[i1] combined_sentences.append(combined) # 2. 批量计算向量 embeddings self.embedding_fn(combined_sentences) # 3. 计算相邻句子间的语义距离 distances [] for i in range(len(embeddings) - 1): similarity cosine_similarity([embeddings[i]], [embeddings[i1]])[0][0] distance 1 - similarity distances.append(distance) # 4. 根据百分位数计算动态阈值 breakpoint_threshold np.percentile(distances, self.threshold) # 5. 根据突变点分组聚类 chunks [] current_chunk [sentences[0]] for i, dist in enumerate(distances): if dist breakpoint_threshold: # 语义发生显著突变划定新块 chunks.append(.join(current_chunk)) current_chunk [sentences[i 1]] else: current_chunk.append(sentences[i 1]) if current_chunk: chunks.append(.join(current_chunk)) return chunks2.4 高级结构感知分块Document Structure-Aware Chunking对于拥有天然排版结构的文档Markdown、HTML、LaTeX、API 文档最优雅的切分方式是遵循文档本身的抽象语法树AST。Markdown 结构化切分利用标题层级# H1,## H2,### H3进行逻辑分块并在切出来的每一个子 Chunk 中保留父级标题的路径信息Breadcrumb 元数据。没有 Breadcrumb 的普通 Chunk“本节要求的初始资金为 50 万元。”(不知道属于哪家公司、哪个项目)带结构元数据的 Chunk[路径: 华东项目组 - 财务预算 - 初始资金]本节要求的初始资金为 50 万元。代码实战Markdown 层级切分与元数据注入import re class MarkdownStructureChunker: def __init__(self, max_chunk_size: int 800): self.max_chunk_size max_chunk_size def parse(self, markdown_text: str) - list[dict]: lines markdown_text.split(\n) chunks [] headers_stack [] # 记录标题栈 [H1, H2, H3] current_content [] current_len 0 for line in lines: header_match re.match(r^(#{1 Bast|#{1,6})\s(.*), line) if header_match: # 保存之前累积的文本 if current_content: breadcrumb - .join([h[1] for h in headers_stack]) chunks.append({ breadcrumb: breadcrumb, content: \n.join(current_content) }) current_content [] current_len 0 # 更新标题栈 level len(header_match.group(1)) title header_match.group(2).strip() while headers_stack and headers_stack[-1][0] level: headers_stack.pop() headers_stack.append((level, title)) else: current_content.append(line) current_len len(line) if current_content: breadcrumb - .join([h[1] for h in headers_stack]) chunks.append({ breadcrumb: breadcrumb, content: \n.join(current_content) }) return chunks # 测试 md_doc # 腾讯云计算服务条款 ## 1. 账号注册与安全 用户注册时需提供真实身份信息。 ## 2. 计费与退款政策 ### 2.1 包年包月服务 包年包月服务在购买后 7 天内支持无理由退款。 chunker MarkdownStructureChunker() print(chunker.parse(md_doc))2.5 父子文档与小到大切片Parent-Child / Small-to-Big Chunking在检索阶段我们常陷入两难境地用小 Chunk如 100 Tokens算向量表达明确、精准命中但送给 LLM 时上下文严重缺失。用大 Chunk如 2000 Tokens算向量上下文丰富但向量语义稀释匹配度低。解法父子切片架构Small-to-Big Chunking┌──────────────────────────────────────────────────────────┐ │ 父文档 (Parent Chunk): 包含 1500 Tokens 的完整段落/章节 │ │ ┌────────────────────┬────────────────────┐ │ │ │ 子 Chunk 1 (200T) │ 子 Chunk 2 (200T) │ ... │ │ └─────────┬──────────┴─────────┬──────────┘ │ └────────────┼────────────────────┼────────────────────────┘ │ │ 存入向量库 存入向量库 │ ▼ [向量检索匹配命中] │ └──────► 最终映射并调取【父文档】发送给 LLM向量库中存储粒度极小的子 Chunk 向量Child Chunks。内存/文档库中存储大范围的父 Chunk 或完整段落Parent Chunks。工作流用户 Query 在向量库中精准检索并命中子 Chunk 后系统依据子 Chunk 绑定的parent_id自动向上检索提取出对应的父 Chunk将整段父文本拼接入 Prompt。2.6 大模型驱动与命题分块Agentic Propositional Chunking来自陈丹琦团队与 Stanford 提出的Dense X / Propositional Chunking代表了当前数据分块的最前沿探索。核心思想利用小参数量 LLM 将自然语言段落解构分解为一系列独立的“命题Propositions”每个命题表达一个独立的原子事实。命题具备完全自包含性Self-contained自动补全指代消解将“他/该公司”替换为具体的人名/公司名。[原始文本]: “马斯克生于南非后来移居加拿大。他是特斯拉的CEO。” [解构后的命题 Chunk 列表]: Chunk 1: 马斯克出生于南非。 Chunk 2: 马斯克从南非移居到了加拿大。 Chunk 3: 马斯克是特斯拉公司的 CEO。适用场景对事实精准度要求极高的场景如医疗诊断手册、法律条款判例、金融审计数据。三、 复杂非结构化数据分块实战在实际的企业知识库建设中最头疼的往往不是纯文本而是 PDF 排版、复杂表格、代码仓库和多轮对话。3.1 PDF 文档分块实战PDF 是一种以版面印刷坐标为核心的格式天然没有段落和语义概念。常见坑点页眉/页脚/页码断打每一页顶部的“某某公司机密文件”被切进文本破坏语义。双栏/多栏排版混读按行读取会导致左栏第一行与右栏第一行拼接在一起。解决方案版面分析Layout Analysis借助pdfplumber、Unstructured或 OCR 模型如 LayoutLM、PaddleOCR识别页眉页脚并主动过滤。跨页拼接逻辑检查页面末尾的最后一个字符如果是未闭合的标点或连字符-不要强行切块将其与下一页的开篇合并。3.2 复杂表格Table分块策略如果直接将表格按字符切割会导致表头Header与数据行Row分离产生完全无意义的“文本碎片”。[错误分块案例]: Chunk 1: | 姓名 | 年龄 | 部门 | Chunk 2: | 张三 | 28 | 技术部 | (失去了表头在向量空间中成为纯噪音)生产推荐的三种表格分块方案Markdown 表格渲染法将表格转换为带分隔符的 Markdown 表格文本。要求每一个切切出来的 Chunk 内部必须重复打入相同的表头。HTML 表格模式保持tabletrtd结构大模型对 HTML 标签的结构感知能力极强。行转文本序列化Row-by-Row Serialization将表格的每一行转化为独立的KV对描述句推荐用于精准问答[行序列化示例]: 数据记录: 姓名张三; 年龄28; 部门技术部; 绩效A 数据记录: 姓名李四; 年龄35; 部门市场部; 绩效B3.3 源代码Code Repository分块策略源代码切片切忌使用字符切片必须使用基于抽象语法树AST的语法感知器如Tree-sitter。┌───────────────────────────────┐ │ 源代码文件 (.py / .java) │ └───────────────┬───────────────┘ │ Tree-sitter AST 解析 ▼ ┌─────────────────────────────────┐ │ AST 语法节点 (AST Nodes) │ └────────┬───────────────┬────────┘ │ │ ▼ ▼ ┌────────────────┐ ┌──────────────┐ │ Class 节点 │ │ Function 节点│ └────────────────┘ └──────────────┘粒度规范以完整的类Class或函数/方法Function/Method为最小不可分割单位。签名与文档保留每个函数 Chunk 必须包含顶部的类继承声明、函数签名与 Docstring 注释。四、 生产级 Chunking 系统设计与代码实现为了在生产环境中支持高效、高可扩展的数据分块我们需要设计一个包含解析、切割、元数据绑定、哈希去重的标准组件。生产级 Python 数据分块框架设计import hashlib import uuid from typing import List, Dict, Any, Optional from dataclasses import dataclass, field dataclass class ChunkRecord: chunk_id: str doc_id: str content: str metadata: Dict[str, Any] field(default_factorydict) char_count: int 0 token_count_est: int 0 content_hash: str def __post_init__(self): self.char_count len(self.content) # 粗略估计 Token 数 (中文约 1.5 chars/token, 英文约 4 chars/token) self.token_count_est int(self.char_count * 0.7) if not self.content_hash: self.content_hash hashlib.md5(self.content.encode(utf-8)).hexdigest() class ProductionChunkingPipeline: def __init__(self, chunker_strategy, min_chunk_len: int 20): self.chunker_strategy chunker_strategy self.min_chunk_len min_chunk_len def process_document( self, doc_id: str, raw_text: str, global_metadata: Optional[Dict[str, Any]] None ) - List[ChunkRecord]: 全流程处理切分、过滤短文本、元数据增强、生成ID if not raw_text.strip(): return [] global_metadata global_metadata or {} # 1. 执行具体的切分算法 raw_chunks self.chunker_strategy.split_text(raw_text) processed_chunks: List[ChunkRecord] [] for idx, chunk_text in enumerate(raw_chunks): cleaned_text chunk_text.strip() # 2. 过滤无意义极短碎片 if len(cleaned_text) self.min_chunk_len: continue # 3. 构造子 Metadata chunk_meta global_metadata.copy() chunk_meta.update({ chunk_index: idx, total_chunks: len(raw_chunks), is_first_chunk: idx 0, is_last_chunk: idx len(raw_chunks) - 1 }) # 4. 生成唯一并可追溯的 Chunk ID chunk_uuid str(uuid.uuid5(uuid.NAMESPACE_DNS, f{doc_id}_chunk_{idx})) record ChunkRecord( chunk_idchunk_uuid, doc_iddoc_id, contentcleaned_text, metadatachunk_meta ) processed_chunks.append(record) return processed_chunks # 运行验证 if __name__ __main__: # 使用上文定义的 RecursiveChunker 作为底层策略 base_chunker RecursiveChunker(chunk_size150, overlap30) pipeline ProductionChunkingPipeline(chunker_strategybase_chunker) doc_id DOC_20260731_001 raw_doc 【系统升级公告】 尊敬的用户 为了提供更稳定的服务我们将于 2026 年 8 月 1 日 00:00 - 04:00 进行系统例行维护。 维护期间API 调用可能会出现短暂中断。请妥善安排您的业务计划。 如有紧急问题请联系技术支持热线400-800-1234。 metadata {category: SystemNotice, author: DevOps Team} results pipeline.process_document(doc_iddoc_id, raw_textraw_doc, global_metadatametadata) print(f成功生成 Chunk 数量: {len(results)}\n) for chunk in results: print(fID: {chunk.chunk_id}) print(fMetadata: {chunk.metadata}) print(fContent: {chunk.content}) print(fHash: {chunk.content_hash}) print(- * 50)五、 Chunking 效果评估与调优方法论没有量化指标的调优等同于瞎摸象。如何确定当前的分块策略是最佳的5.1 核心量化评估指标我们可以通过RAGAS或TruLens等离线评估工具对不同 Chunk 策略的输出进行打分检索命中率 (Hit Rate K)测试集中的标准答案是否出现在检索出的前 K 个 Chunk 中。平均倒数排名 (MRR K)相关文档出现在检索结果列表中的位置排名倒数均值。上下文召回率 (Context Recall)检索出来的 Chunk 包含回答该问题所需全部信息的比例。上下文精确度 (Context Precision)检索出来的 Chunk 中有用信息与噪声文本的比例噪声越少得分越高。5.2 分块策略选型决策矩阵[文档类型与场景需求] │ ┌──────────────────────────┼──────────────────────────┐ ▼ ▼ ▼ 【强结构化文档】 【通用长文本/知识库】 【超高精度问答】 (Markdown, HTML, Code) (图书, 新闻, 行业报告) (医疗, 法律, 规章条款) │ │ │ ▼ ▼ ▼ - 结构感知切分(AST) - 递归字符切分(Recursive) - 语义切分(Semantic) - 保留 Breadcrumbs - 父子切分(Small-to-Big) - 命题分解(Propositional)业务场景建议 Chunk Size建议 Overlap推荐策略客服 FAQ / 短问答100 ~ 250 Tokens10% ~ 15%递归字符切分 / 语义切分企业规章制度 / PDF 知识库400 ~ 800 Tokens15% ~ 20%父子文档切片 / 结构感知切分技术 API 文档 / 源码函数 / 类级完整性优先N/AAST 节点结构化切分财务报表 / 统计表格按表格单元/行重新组装N/AMarkdown 表格 / 行序列化学术论文 / 深度研报800 ~ 1200 Tokens20%递归切分 混合检索 (Dense BM25)六、 总结与未来演进趋势数据分块Chunking是大模型 RAG 系统设计中成本最低、效果提升最显著的优化点之一。回顾数据分块的技术演进逻辑第一代规则驱动固定大小与递归字符切分以文本长度和符号为界限。第二代语义与结构驱动基于 Embedding 距离突变感知语义边界基于 AST/Markdown 解析文档骨架。第三代动态与上下文重构父子映射Small-to-Big、大模型命题解构Propositional Chunking以及结合 Late Chunking 技术的上下文增强。未来趋势Late Chunking长上下文向量化后再切片传统的步骤是“先切片 ➔ 再计算 Embedding”这会导致每个切片缺失整体上下文。目前以 Jina AI 为代表的Late Chunking提出了一种新范式先将整篇长文档输入能够支持长上下文的模型如 8K/32K Transformer在 Transformer 的最后一个隐层Hidden State获取包含了全局相互注意力的词向量然后再在此隐层矩阵上进行分块 Pooling。这种方式既保留了全局上下文信息又获得了小 Chunk 的精准向量定位。对于工业级开发者而言始终保持“数据清洗 ➔ 版面识别 ➔ 结构化分块 ➔ 评估验证”的严谨工程闭环才能让大模型在复杂的业务场景中展现出极致的检索与生成性能。