RAG 工程化优化 · AI Learning Hub

课程目标（14 天，3h+ 模式）

你要做到的不只是“接个向量库”，而是完整工程能力：

能独立搭出可用 RAG 链路（摄取、检索、重排、生成）。
能做评测、观测、坏例分类与迭代优化。
能讲清为什么准确率变化、延迟变化、成本变化。
能把成果转成简历与面试的证据链。

Day0：准备实验环境

python -m venv .venv
source .venv/bin/activate
pip install -U pip
pip install langchain langchain-community chromadb sentence-transformers ragas

14 天带练路径

阶段一：搭通最小链路（Day1-Day4）

Day1：数据摄取与切分

选 20~50 篇文档（优先你学习资料）。
做 markdown/pdf -> text 预处理。
产出：切分策略对比记录。

Day2：Embedding 与向量入库

构建最小向量库（Chroma/Milvus 二选一）。
完成基础 Top-K 检索。

Day3：生成与引用

拼接上下文生成答案。
输出引用片段与来源 id。

Day4：最小可用 Demo

完成问答流程并支持 10 条问题测试。
产出：可运行 demo + README。

阶段二：质量优化（Day5-Day9）

Day5：Query 改写

处理口语化、模糊化问题。
对比改写前后的检索命中。

Day6：Hybrid 检索

向量 + 关键词混合检索。
解决专有名词与精确匹配问题。

Day7：Rerank

引入二次排序（cross-encoder 或规则）。
对比 Top-K 命中质量。

Day8：上下文组装优化

去重、截断、父子块策略。
减少噪声与 token 浪费。

Day9：生成约束与拒答

强制引用；无依据时拒答。
产出：幻觉防护策略说明。

阶段三：评测与上线化（Day10-Day14）

Day10：评测数据集

准备 30~100 条问答黄金集。
标签：正确答案要点、引用预期。

Day11：离线评测

指标：命中率、faithfulness、context recall、P95。
记录 baseline。

Day12：坏例复盘

分类：检索失败 / 重排失败 / 生成偏离。
每类至少修 1 个策略。

Day13：可观测性接入

记录 trace（query -> docs -> answer）。
输出成本与延迟报表。

Day14：面试讲述与演示

做 5 分钟 demo 讲述。
准备 10 个 RAG 高频问题标准答案。

架构示意（面试可直接口述）

User Query
   -> Query Understanding
   -> Retrieval (Vector + Keyword)
   -> Rerank
   -> Context Assembly
   -> LLM Generate (Cited Answer)
   -> Post-check (Consistency / Safety)

面试高频问答（精炼）

如何判断优化有效？
看评测集 + 线上指标，不靠主观感觉。
Hybrid 检索解决什么？
补向量检索在精确匹配上的短板。
为什么要 rerank？
召回宽而粗，重排负责精排与质量提升。
如何降幻觉？
引用约束 + 无依据拒答 + 后处理检查。

每天最小交付物

notes/rag/dayX.md
demos/rag/dayX/
eval/rag_baseline.json（持续更新）

资料索引

级别	资源
A	LangChain RAG 教程
A	Ragas 文档
B	RAG Survey（按年度更新）

深度专题：RAG 数据治理与文档摄取工程

业界共识：RAG 效果天花板 70% 在“数据摄取和治理”，不在向量库。会做这一段的人，工资直接高一档。

1. 文档摄取管道（Ingestion Pipeline）

原始文件 (PDF/DOCX/HTML/图/表格)
  → 解析（unstructured / pdfplumber / marker / Azure DI）
  → 结构恢复（标题层级 / 表格 / 图片 OCR / 页眉页脚删除）
  → 段落去重，主题聚类
  → 分块（按语义段落 / 按标题层级 / 滑窗 + overlap）
  → 富化 metadata（source, title, section_path, page, tenant, acl, updated_at, lang）
  → 去重（simhash / minhash）
  → Embedding + 写入向量库 + 写入关键词索引（BM25 / OpenSearch）
  → 写入事实图（可选：GraphRAG）

2. 解析选型对照表

文件	推荐工具	难点
纯文本 PDF	`pdfplumber`, `pypdfium2`	分栏、页眉页脚
扫描件 PDF	`marker` / Azure Document Intelligence / PaddleOCR	表格识别、公式
表格	`camelot`, Unstructured Table Transformer	合并单元格
图片	GPT-4V / Qwen-VL caption	caption 成本与精度
HTML	`readability-lxml` + trafilatura	广告 / nav
Office	`unstructured`, LibreOffice headless	嵌入对象

3. 分块策略（面试高频）

按语义段落（首选）：用 heading + 空行将文档划为 section，再按 token 阈值切。
父子块：子块用于检索，父块用于生成，解决上下文破碎。
重叠 (overlap)：10–20% token；过小丢语义，过大浪费。
表格单独入库：表转为 Markdown，并生成一句自然语言摘要同时入库（有助于混合检索）。

4. Metadata 最小字段集（不写就输在起跑线）

{
  "doc_id": "kb-2026-001",
  "source": "confluence://space/AI/page/1234",
  "title": "向量库选型指南",
  "section_path": ["架构","存储层"],
  "page": 12,
  "chunk_type": "table|text|figure-caption",
  "tenant_id": "acme",
  "acl": ["role:eng", "group:core"],
  "updated_at": "2026-04-11",
  "lang": "zh",
  "checksum": "sha256:...",
  "source_url": "https://..."
}

5. 权限过滤（和 ai-application-security 联动）

服务端强制注入：where={"tenant_id": ctx.tid, "acl": {"$in": ctx.scopes}}，绝不由 LLM 决定。
跨租户泄漏防御：每条写入强校验、查询路径单元测试覆盖。
敏感字段：不直接入原文，对身份证号、手机号、密钥做脱敏占位。

6. 增量更新与生命周期

增量：源系统发 webhook / 定时扫；根据 checksum diff 决定是否重新生成 embedding。
下线：硬删（法律） / 软删（tombstone: true 检索时过滤）。
漂移检测：定期对评测集跑召回率，掉 > 3% 触发全量重建。

7. 质量回路：从 bad case 到摄取修复

问答 bad case
  → 标注故障层（检索 / 重排 / 生成）
  → 检索层出问题
        → 空召回 → 查索引是否有该文档
              → 无 → 摄取管道改解析 / 改分块
              → 有 → 改 embedding 模型 / 混合检索 / query rewrite
        → 噪声高 → 加 rerank
  → 回归入 eval 集

8. 人工复核闭环

收集用户点赞/点踩 → 每周汇总 top 20 失败 → 进入 adversarial set。
重要文档上线前过一道人工抽检（随机 5%）。

9. 面试高频追问（深度版）

表格问题怎么处理？ — 表单独 chunk，同时写入 Markdown 与 caption；检索时对“表格名 / 表头”加权。
扫描 PDF OCR 错字如何治？ — 多 OCR 投票 + LLM 纠错；关键字段进入 regex 校验。
同款文档多版本干扰检索？ — metadata 加 version / effective_date；检索时强制 latest。
Chunk 多大合适？ — 没有标准答；用 eval 集在 200/500/800/1200 token 做 sweep，选 Pareto 最优。
为什么要写 BM25 而不只靠向量？ — 专有名词 / 型号 / 代码片段字面匹配跑赢向量；混合检索更鲁棒。
大规模重建 embedding 成本怎么算？ — token 数 × 单价；增量 diff-checksum 可省 80%+。
GraphRAG / HyDE / Self-RAG 你怎么选？ — 先打好基线：混合检索 + rerank + query rewrite。GraphRAG 适用于强关系问题（组织架构 / 法律条款间关系）。

10. 可交付产物（深度升级）

pipelines/ingest.py（解析 → chunk → enrich → dedup → index）
docs/metadata-schema.md
eval/retrieval-set.jsonl（金标文档映射）
docs/rag-refresh-playbook.md

课程目标（14 天，3h+ 模式）

你要做到的不只是“接个向量库”，而是完整工程能力：

能独立搭出可用 RAG 链路（摄取、检索、重排、生成）。
能做评测、观测、坏例分类与迭代优化。
能讲清为什么准确率变化、延迟变化、成本变化。
能把成果转成简历与面试的证据链。

Day0：准备实验环境

python -m venv .venv
source .venv/bin/activate
pip install -U pip
pip install langchain langchain-community chromadb sentence-transformers ragas

14 天带练路径

阶段一：搭通最小链路（Day1-Day4）

Day1：数据摄取与切分

选 20~50 篇文档（优先你学习资料）。
做 markdown/pdf -> text 预处理。
产出：切分策略对比记录。

Day2：Embedding 与向量入库

构建最小向量库（Chroma/Milvus 二选一）。
完成基础 Top-K 检索。

Day3：生成与引用

拼接上下文生成答案。
输出引用片段与来源 id。

Day4：最小可用 Demo

完成问答流程并支持 10 条问题测试。
产出：可运行 demo + README。

阶段二：质量优化（Day5-Day9）

Day5：Query 改写

处理口语化、模糊化问题。
对比改写前后的检索命中。

Day6：Hybrid 检索

向量 + 关键词混合检索。
解决专有名词与精确匹配问题。

Day7：Rerank

引入二次排序（cross-encoder 或规则）。
对比 Top-K 命中质量。

Day8：上下文组装优化

去重、截断、父子块策略。
减少噪声与 token 浪费。

Day9：生成约束与拒答

强制引用；无依据时拒答。
产出：幻觉防护策略说明。

阶段三：评测与上线化（Day10-Day14）

Day10：评测数据集

准备 30~100 条问答黄金集。
标签：正确答案要点、引用预期。

Day11：离线评测

指标：命中率、faithfulness、context recall、P95。
记录 baseline。

Day12：坏例复盘

分类：检索失败 / 重排失败 / 生成偏离。
每类至少修 1 个策略。

Day13：可观测性接入

记录 trace（query -> docs -> answer）。
输出成本与延迟报表。

Day14：面试讲述与演示

做 5 分钟 demo 讲述。
准备 10 个 RAG 高频问题标准答案。

架构示意（面试可直接口述）

User Query
   -> Query Understanding
   -> Retrieval (Vector + Keyword)
   -> Rerank
   -> Context Assembly
   -> LLM Generate (Cited Answer)
   -> Post-check (Consistency / Safety)

面试高频问答（精炼）

如何判断优化有效？
看评测集 + 线上指标，不靠主观感觉。
Hybrid 检索解决什么？
补向量检索在精确匹配上的短板。
为什么要 rerank？
召回宽而粗，重排负责精排与质量提升。
如何降幻觉？
引用约束 + 无依据拒答 + 后处理检查。

每天最小交付物

notes/rag/dayX.md
demos/rag/dayX/
eval/rag_baseline.json（持续更新）

资料索引

级别	资源
A	LangChain RAG 教程
A	Ragas 文档
B	RAG Survey（按年度更新）

深度专题：RAG 数据治理与文档摄取工程

业界共识：RAG 效果天花板 70% 在“数据摄取和治理”，不在向量库。会做这一段的人，工资直接高一档。

1. 文档摄取管道（Ingestion Pipeline）

原始文件 (PDF/DOCX/HTML/图/表格)
  → 解析（unstructured / pdfplumber / marker / Azure DI）
  → 结构恢复（标题层级 / 表格 / 图片 OCR / 页眉页脚删除）
  → 段落去重，主题聚类
  → 分块（按语义段落 / 按标题层级 / 滑窗 + overlap）
  → 富化 metadata（source, title, section_path, page, tenant, acl, updated_at, lang）
  → 去重（simhash / minhash）
  → Embedding + 写入向量库 + 写入关键词索引（BM25 / OpenSearch）
  → 写入事实图（可选：GraphRAG）

2. 解析选型对照表

文件	推荐工具	难点
纯文本 PDF	`pdfplumber`, `pypdfium2`	分栏、页眉页脚
扫描件 PDF	`marker` / Azure Document Intelligence / PaddleOCR	表格识别、公式
表格	`camelot`, Unstructured Table Transformer	合并单元格
图片	GPT-4V / Qwen-VL caption	caption 成本与精度
HTML	`readability-lxml` + trafilatura	广告 / nav
Office	`unstructured`, LibreOffice headless	嵌入对象

3. 分块策略（面试高频）

按语义段落（首选）：用 heading + 空行将文档划为 section，再按 token 阈值切。
父子块：子块用于检索，父块用于生成，解决上下文破碎。
重叠 (overlap)：10–20% token；过小丢语义，过大浪费。
表格单独入库：表转为 Markdown，并生成一句自然语言摘要同时入库（有助于混合检索）。

4. Metadata 最小字段集（不写就输在起跑线）

{
  "doc_id": "kb-2026-001",
  "source": "confluence://space/AI/page/1234",
  "title": "向量库选型指南",
  "section_path": ["架构","存储层"],
  "page": 12,
  "chunk_type": "table|text|figure-caption",
  "tenant_id": "acme",
  "acl": ["role:eng", "group:core"],
  "updated_at": "2026-04-11",
  "lang": "zh",
  "checksum": "sha256:...",
  "source_url": "https://..."
}

5. 权限过滤（和 ai-application-security 联动）

服务端强制注入：where={"tenant_id": ctx.tid, "acl": {"$in": ctx.scopes}}，绝不由 LLM 决定。
跨租户泄漏防御：每条写入强校验、查询路径单元测试覆盖。
敏感字段：不直接入原文，对身份证号、手机号、密钥做脱敏占位。

6. 增量更新与生命周期

增量：源系统发 webhook / 定时扫；根据 checksum diff 决定是否重新生成 embedding。
下线：硬删（法律） / 软删（tombstone: true 检索时过滤）。
漂移检测：定期对评测集跑召回率，掉 > 3% 触发全量重建。

7. 质量回路：从 bad case 到摄取修复

问答 bad case
  → 标注故障层（检索 / 重排 / 生成）
  → 检索层出问题
        → 空召回 → 查索引是否有该文档
              → 无 → 摄取管道改解析 / 改分块
              → 有 → 改 embedding 模型 / 混合检索 / query rewrite
        → 噪声高 → 加 rerank
  → 回归入 eval 集

8. 人工复核闭环

收集用户点赞/点踩 → 每周汇总 top 20 失败 → 进入 adversarial set。
重要文档上线前过一道人工抽检（随机 5%）。

9. 面试高频追问（深度版）

表格问题怎么处理？ — 表单独 chunk，同时写入 Markdown 与 caption；检索时对“表格名 / 表头”加权。
扫描 PDF OCR 错字如何治？ — 多 OCR 投票 + LLM 纠错；关键字段进入 regex 校验。
同款文档多版本干扰检索？ — metadata 加 version / effective_date；检索时强制 latest。
Chunk 多大合适？ — 没有标准答；用 eval 集在 200/500/800/1200 token 做 sweep，选 Pareto 最优。
为什么要写 BM25 而不只靠向量？ — 专有名词 / 型号 / 代码片段字面匹配跑赢向量；混合检索更鲁棒。
大规模重建 embedding 成本怎么算？ — token 数 × 单价；增量 diff-checksum 可省 80%+。
GraphRAG / HyDE / Self-RAG 你怎么选？ — 先打好基线：混合检索 + rerank + query rewrite。GraphRAG 适用于强关系问题（组织架构 / 法律条款间关系）。

10. 可交付产物（深度升级）

pipelines/ingest.py（解析 → chunk → enrich → dedup → index）
docs/metadata-schema.md
eval/retrieval-set.jsonl（金标文档映射）
docs/rag-refresh-playbook.md

学完这篇你应该拿到什么

3 个高频追问

1 个证据

完成闭环

面试时怎么讲

简历一句话

课程目标（14 天，3h+ 模式）

Day0：准备实验环境

14 天带练路径

阶段一：搭通最小链路（Day1-Day4）

Day1：数据摄取与切分

Day2：Embedding 与向量入库

Day3：生成与引用

Day4：最小可用 Demo

阶段二：质量优化（Day5-Day9）

Day5：Query 改写

Day6：Hybrid 检索

Day7：Rerank

Day8：上下文组装优化

Day9：生成约束与拒答

阶段三：评测与上线化（Day10-Day14）

Day10：评测数据集

Day11：离线评测

Day12：坏例复盘

Day13：可观测性接入

Day14：面试讲述与演示

架构示意（面试可直接口述）

面试高频问答（精炼）

每天最小交付物

资料索引

深度专题：RAG 数据治理与文档摄取工程

1. 文档摄取管道（Ingestion Pipeline）

2. 解析选型对照表

3. 分块策略（面试高频）

4. Metadata 最小字段集（不写就输在起跑线）

5. 权限过滤（和 ai-application-security 联动）

6. 增量更新与生命周期

7. 质量回路：从 bad case 到摄取修复

8. 人工复核闭环

9. 面试高频追问（深度版）

10. 可交付产物（深度升级）

最新资料（2026-05 校验）

学完这篇你应该拿到什么

3 个高频追问

1 个证据

完成闭环

面试时怎么讲

简历一句话

课程目标（14 天，3h+ 模式）

Day0：准备实验环境

14 天带练路径

阶段一：搭通最小链路（Day1-Day4）

Day1：数据摄取与切分

Day2：Embedding 与向量入库

Day3：生成与引用

Day4：最小可用 Demo

阶段二：质量优化（Day5-Day9）

Day5：Query 改写

Day6：Hybrid 检索

Day7：Rerank

Day8：上下文组装优化

Day9：生成约束与拒答

阶段三：评测与上线化（Day10-Day14）

Day10：评测数据集

Day11：离线评测

Day12：坏例复盘

Day13：可观测性接入

Day14：面试讲述与演示

架构示意（面试可直接口述）

面试高频问答（精炼）

每天最小交付物

资料索引

深度专题：RAG 数据治理与文档摄取工程

1. 文档摄取管道（Ingestion Pipeline）

2. 解析选型对照表

3. 分块策略（面试高频）

4. Metadata 最小字段集（不写就输在起跑线）

5. 权限过滤（和 ai-application-security 联动）

6. 增量更新与生命周期

7. 质量回路：从 bad case 到摄取修复