知识库文档分块
将长文、技术文档或提取后的文本按结构、主题及长度切分,生成适合知识库检索或大模型输入的文本块。
功能与用途
适用于知识库入库前的文档切分,以及长文送入大模型前的长度控制。提供已有文本或待提取文档,选择按字符、模型词元、文档结构或主题边界分块,并设置块大小与相邻块的重叠范围。可在提取文档时同步分块,也可单独切分现成文本,输出文本块列表、块数量及配置,供后续检索或摘要流程使用。使用前需安装可用的 Xberg;按词元计量时,还需支持相应分词器。
适用场景
- 技术文档入库:将 Markdown 技术文档按标题与内容块切分,设置适当重叠,生成供向量库入库的文本块。
- 长报告分段摘要:按目标模型的词元数量切分长报告,控制每段输入长度,为后续逐段摘要准备材料。
- 访谈记录主题切分:对访谈转写文本使用语义分块,调整主题阈值,获得粗细合适的主题片段。
适用人群
- RAG 应用开发者
- 企业知识库工程师
- 大模型工作流开发者
使用步骤
- 提供待提取文档或已有文本,说明后续用于检索还是模型输入。
- 选择普通文本、Markdown、YAML 或语义分块。
- 设置块大小和重叠范围,按需指定模型分词器。
- 运行生成的命令或代码,检查文本块及数量。
- 按片段完整性调整参数,再接入后续流程。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 12
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Use when splitting extracted text into chunks for LLM context windows or RAG ingestion. Covers chunk size, overlap, markdown/yaml/semantic chunkers, tokenizer-based sizing, and the standalone `chunk` command.
使用前准备
- 已安装可用的 Xberg 命令行程序;使用 Python 示例时需安装对应包。
- 准备非空文本,或可供 Xberg 提取的文档。
- 按词元控制长度时,需使用支持分词器的构建,并提供对应的分词器标识。