AI Skill 大全

知识库文档分块

将长文、技术文档或提取后的文本按结构、主题及长度切分,生成适合知识库检索或大模型输入的文本块。

功能与用途

适用于知识库入库前的文档切分,以及长文送入大模型前的长度控制。提供已有文本或待提取文档,选择按字符、模型词元、文档结构或主题边界分块,并设置块大小与相邻块的重叠范围。可在提取文档时同步分块,也可单独切分现成文本,输出文本块列表、块数量及配置,供后续检索或摘要流程使用。使用前需安装可用的 Xberg;按词元计量时,还需支持相应分词器。

适用场景

  • 技术文档入库:将 Markdown 技术文档按标题与内容块切分,设置适当重叠,生成供向量库入库的文本块。
  • 长报告分段摘要:按目标模型的词元数量切分长报告,控制每段输入长度,为后续逐段摘要准备材料。
  • 访谈记录主题切分:对访谈转写文本使用语义分块,调整主题阈值,获得粗细合适的主题片段。

适用人群

  • RAG 应用开发者
  • 企业知识库工程师
  • 大模型工作流开发者

使用步骤

  1. 提供待提取文档或已有文本,说明后续用于检索还是模型输入。
  2. 选择普通文本、Markdown、YAML 或语义分块。
  3. 设置块大小和重叠范围,按需指定模型分词器。
  4. 运行生成的命令或代码,检查文本块及数量。
  5. 按片段完整性调整参数,再接入后续流程。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
12
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Use when splitting extracted text into chunks for LLM context windows or RAG ingestion. Covers chunk size, overlap, markdown/yaml/semantic chunkers, tokenizer-based sizing, and the standalone `chunk` command.

使用前准备

  • 已安装可用的 Xberg 命令行程序;使用 Python 示例时需安装对应包。
  • 准备非空文本,或可供 Xberg 提取的文档。
  • 按词元控制长度时,需使用支持分词器的构建,并提供对应的分词器标识。

同类 Skill