为什么值得关注
RAG 的效果很大程度取决于文档怎么切。片段太短会丢上下文,片段太长会带来噪声;只按固定字数切分,往往会把标题、代码块、表格和步骤说明拆散,导致召回内容看似相关但无法直接回答问题。
落地路径
处理 Markdown 时,先按标题层级建立文档树,再在段落、列表、表格和代码块边界上做二次切分。每个片段都应保留标题路径、来源文件、更新时间、业务标签和权限标签。进入向量库前,可以为片段生成摘要或关键词,查询时结合关键词检索、向量召回和重排模型提升命中率。
工程注意点
切分策略要用固定问题集验证,而不是只看单条演示效果。建议记录每次召回的片段 ID、相似度、重排分数和最终引用,定期抽查低分反馈。文档更新后要支持增量重建,避免旧片段继续被召回。