模型调用与提示词工程（GPT / Claude / 通义）

你这门课的目标

学完要达到 4 件事，而不是“会调一次 API”：

路由：同一业务里，何时用强模型、何时用小模型，有可讲清楚的依据（质量/延迟/成本）。
约束：结构化输出（JSON/工具参数）稳定、可解析、失败可恢复。
工程化：Prompt 版本化、回归对比、坏例归因（是模型、是模板、还是上下文顺序）。
成本：Token 预算、缓存友好前缀设计、批量与并发策略。

从零认知图

层级	你要理解什么	典型产出
L1	System / User / Tool 消息分工	一套角色稳定的对话模板
L2	温度、top_p、max_tokens 对稳定性与成本的影响	同一任务的参数矩阵小实验
L3	JSON Mode / Schema / Function Calling	可解析、可校验的下游输入
L4	重试、降级、超时与熔断	调用层封装（含观测字段）
L5	Prompt A/B 与评测闭环	改动前后对比报告

10 天学习路径（建议每天 2~3h）

Day1：消息结构与角色设计

学习目标：理解 System 如何固定“行为边界”，User 如何承载任务，Assistant 如何被约束。
任务：同一问题写 3 套 system（宽松/严格/带安全约束），记录成功率与风格差异。
验收：能口述“为什么要把规则放 system、把可变内容放 user”。

Day2：结构化输出

学习目标：输出必须是机器可解析的（JSON / 固定字段）。
任务：为“工单分类”任务定义 schema；加 10 条边界样本（歧义、混合类目）。
验收：解析失败率可量化；失败时有明确重试或追问策略。

Day3：工具调用与参数校验

学习目标：模型选工具、填参数；服务端二次校验。
任务：设计 2 个工具，故意给模糊用户输入，观察误调用。
验收：列出至少 3 条防误调用规则（描述、示例、否定示例）。

Day4：失败与重试

学习目标：超时、429、空输出、截断、部分 JSON 的处理。
任务：实现“最多重试 2 次 + 降级到小模型/规则兜底”的一条链路。
验收：日志里能区分：网络错误、配额错误、模型胡言、解析错误。

Day5：成本与延迟

学习目标：TTFT、总延迟、Token 计费维度、批处理取舍。
任务：同一批请求测串行 vs 有限并发；记录 P50/P95 与费用。
验收：能说清“为什么不是并发越大越好”。

Day6：Prompt 版本管理

学习目标：模板可 diff、可回滚；与 Git 分支或简单 registry 对齐。
任务：prompts/v1.2/classify.md + changelog；记录变更假设与验证方式。
验收：任意同事能根据 changelog 复现实验。

Day7：多模型路由

学习目标：按任务类型、风险等级、语言、上下文长度路由。
任务：画一张决策表（输入特征 → 模型 → 理由）。
验收：面试能讲“什么指标触发切换”。

Day8：安全与滥用

学习目标：越狱、提示注入、敏感数据进上下文的边界。
任务：列出“不可进模型的字段”与脱敏策略。
验收：有一条“用户粘贴恶意指令”时的降级路径。

Day9：与 RAG / Agent 衔接

学习目标：检索片段顺序、摘要再调用、工具结果再调用对效果的影响。
任务：固定 5 个问题，对比“原文拼接 vs 摘要后再问”。
验收：能归因：检索差 vs prompt 差 vs 模型能力上限。

Day10：面试与复盘

任务：准备 10 分钟讲述：一次 prompt 优化闭环（前后指标 + 坏例）。
验收：STAR 结构完整，有数字。

常见陷阱

规则全堆在 user，导致 system 过长且难以缓存。
只追求单次回答好看，不做可解析性与错误处理。
没有“评测集”，改 prompt 全靠体感。
把敏感配置写进 prompt 或日志。

实操验收（总清单）

3 套 Prompt 模板 + A/B 记录
同一任务「高质量 / 低成本」双路由实现或设计文档
prompt-versioning.md：版本、假设、验证、回滚

深度专题：成本、缓存与性能治理（顶薪面试重点）

工程价值：Agent 长任务会放大 Token、工具轮次和重试成本。能在不牺牲质量的前提下降低单任务成本，并拿出可复现评测数据，是生产 AI 岗位的重要能力。

1. Token 预算与账本

估成本公式：(input_tokens × in_price + output_tokens × out_price) × 调用次数，自己算清楚一单调用多少钱。
分级预算：按 tenant / 质量等级 / 功能分配。超配不给最强模型，自动降级。
预警线：单用户单小时成本 / P95 超阈 → 限速或降级。

2. Prompt Caching（最大权重的优化手段）

各家实现（2026-07-29 官方文档口径）：

Anthropic：支持自动缓存与显式 cache_control 断点，TTL 为 5 min 或 1h；工具、system、messages 的稳定前缀顺序会直接影响命中。
OpenAI GPT-5.6：隐式缓存继续可用，也支持显式 breakpoint。缓存读取享受 90% 折扣；缓存写入按未缓存输入价的 1.25 倍计费，需同时观测 cached_tokens 与 cache_write_tokens。
Google Gemini：Interactions API 默认使用隐式缓存，不支持手动 cache object；caches.create() 属于 generateContent API 的显式缓存路径，不能混为同一个接口。

设计原则：

[缓存友好前缀]  ← 稳定 system + few-shot + 大文档
[动态后缀]      ← 用户输入 + 工具返回

变动内容放后半，绝不把 {timestamp} 插入 system 开头。
Tool schema 也要稳定，动不动改 description 会破缓存。

3. 模型路由（分类 + 阈值）

def route(task):
    if task.risk == "high" or task.type in {"contract", "sql_write"}:
        return "gpt-5.6-sol"     # 高风险 / 高难度
    if task.tokens < 2000 and task.type == "classify":
        return "gpt-5.6-luna"    # 低风险、速度优先
    if task.provider_policy == "anthropic":
        return "claude-sonnet-5"
    return "gpt-5.6-terra"       # 常规执行

调度器在模型前，不在 Prompt 里让 LLM 自己决定（自选不可控 + 贵）。
级联降级：强模型 429 / 超时 → 自动走备用模型，结果打标 fallback=true。

4. 语义缓存（业务层）

key = embed(normalize(query))           # 向量键
cached = redis_get_near(key, thresh=0.92)
if cached and not is_stale(cached):
    return cached

适用：FAQ / 文档总结 / 固定类别生成。
不适：多轮对话、带个性化上下文。
失效策略：文档 updated_at 变动时失效前缀缓存。

5. TTFT 与尾延优化

Streaming 默认开，维持感知急速。
默认 max_tokens 别爆，选择 stop 提早截断。
大 context 分段总结（map-reduce 或 iterative refine）。
并发上限按下游供应商 RPM / TPM 设置；本地部署按吞吐上限排队与削峰。
TTFT > 2s 时对用户显示骨架屏 + 预估时间。

6. 并发 / 限流 / 降级三件套

# token bucket
bucket = RedisTokenBucket(rate=100, burst=200)
if not await bucket.acquire(cost_tokens):
    return fallback_short_answer()
 
# 单用户并发
sem = user_semaphores[user_id]  # e.g., 2
async with sem:
    result = await llm(...)

配额早拒早返：在网关拦住，不要进入模型后才拒绝。
配额错误发 429 Retry-After，配合前端友好提示。

7. 观测与归因

每次调用必录：input_tokens, cached_tokens, output_tokens, reasoning_tokens, model, cost_usd, latency_ms, ttft_ms, finish_reason, cache_hit。周报看两条曲线：成本/活跃 DAU 、 缓存命中率。

8. 小模型替代与等价方案集

场景	替换方案	准确率损失	成本下降
分类	embedding + logistic	1–3%	95%
短摘要	7B 小模型本地	3–5%	80%
错别字 / 纠错	规则 + 小模型	<1%	90%
意图识别	微调 BGE + linear	2–4%	90%
复杂推理	保留大模型	-	-

9. 面试高频追问（深度版）

什么情况 Prompt Caching 会失效？ — system 头部任何字符变动；不同 tool schema / model version / sampling。
Temperature=0 就确定了吗？ — 不；MoE 路由、批处理、浮点不结合律依然有抖动；必要时添 seed。
如何证明你的降级策略值得？ — 在评测集上对比‘不降级 vs 降级’的准确率 + 成本曲线。
Reasoning 模型（o-series）怎么算账？ — 有隐藏 reasoning_tokens，成本高；只给难题用。
超长 context 的代价？ — 费用线性增，质量中间段衰减（lost-in-the-middle）；优先摘要 + RAG。
批处理 vs 实时怎么选？ — Batch API 半价，延迟 24h，适用离线套标 / 后台生成。
如何规划 token 预算不破防？ — 分层估算 + 拒绝无效输入 + 动态约束 max output tokens。

10. 可交付产物（深度升级）

libs/llm_router.py（路由 + fallback + 降级）
libs/prompt_cache.py（前缀构造工具）
docs/cost-budget-table.md
dashboards/cost-quality.json
一份批处理的小模型替换实验报告

与 llmops-observability-evaluation、ai-frontend-streaming-ux、model-serving-and-inference 联动。

你这门课的目标

学完要达到 4 件事，而不是“会调一次 API”：

路由：同一业务里，何时用强模型、何时用小模型，有可讲清楚的依据（质量/延迟/成本）。
约束：结构化输出（JSON/工具参数）稳定、可解析、失败可恢复。
工程化：Prompt 版本化、回归对比、坏例归因（是模型、是模板、还是上下文顺序）。
成本：Token 预算、缓存友好前缀设计、批量与并发策略。

从零认知图

层级	你要理解什么	典型产出
L1	System / User / Tool 消息分工	一套角色稳定的对话模板
L2	温度、top_p、max_tokens 对稳定性与成本的影响	同一任务的参数矩阵小实验
L3	JSON Mode / Schema / Function Calling	可解析、可校验的下游输入
L4	重试、降级、超时与熔断	调用层封装（含观测字段）
L5	Prompt A/B 与评测闭环	改动前后对比报告

10 天学习路径（建议每天 2~3h）

Day1：消息结构与角色设计

学习目标：理解 System 如何固定“行为边界”，User 如何承载任务，Assistant 如何被约束。
任务：同一问题写 3 套 system（宽松/严格/带安全约束），记录成功率与风格差异。
验收：能口述“为什么要把规则放 system、把可变内容放 user”。

Day2：结构化输出

学习目标：输出必须是机器可解析的（JSON / 固定字段）。
任务：为“工单分类”任务定义 schema；加 10 条边界样本（歧义、混合类目）。
验收：解析失败率可量化；失败时有明确重试或追问策略。

Day3：工具调用与参数校验

学习目标：模型选工具、填参数；服务端二次校验。
任务：设计 2 个工具，故意给模糊用户输入，观察误调用。
验收：列出至少 3 条防误调用规则（描述、示例、否定示例）。

Day4：失败与重试

学习目标：超时、429、空输出、截断、部分 JSON 的处理。
任务：实现“最多重试 2 次 + 降级到小模型/规则兜底”的一条链路。
验收：日志里能区分：网络错误、配额错误、模型胡言、解析错误。

Day5：成本与延迟

学习目标：TTFT、总延迟、Token 计费维度、批处理取舍。
任务：同一批请求测串行 vs 有限并发；记录 P50/P95 与费用。
验收：能说清“为什么不是并发越大越好”。

Day6：Prompt 版本管理

学习目标：模板可 diff、可回滚；与 Git 分支或简单 registry 对齐。
任务：prompts/v1.2/classify.md + changelog；记录变更假设与验证方式。
验收：任意同事能根据 changelog 复现实验。

Day7：多模型路由

学习目标：按任务类型、风险等级、语言、上下文长度路由。
任务：画一张决策表（输入特征 → 模型 → 理由）。
验收：面试能讲“什么指标触发切换”。

Day8：安全与滥用

学习目标：越狱、提示注入、敏感数据进上下文的边界。
任务：列出“不可进模型的字段”与脱敏策略。
验收：有一条“用户粘贴恶意指令”时的降级路径。

Day9：与 RAG / Agent 衔接

学习目标：检索片段顺序、摘要再调用、工具结果再调用对效果的影响。
任务：固定 5 个问题，对比“原文拼接 vs 摘要后再问”。
验收：能归因：检索差 vs prompt 差 vs 模型能力上限。

Day10：面试与复盘

任务：准备 10 分钟讲述：一次 prompt 优化闭环（前后指标 + 坏例）。
验收：STAR 结构完整，有数字。

常见陷阱

规则全堆在 user，导致 system 过长且难以缓存。
只追求单次回答好看，不做可解析性与错误处理。
没有“评测集”，改 prompt 全靠体感。
把敏感配置写进 prompt 或日志。

实操验收（总清单）

3 套 Prompt 模板 + A/B 记录
同一任务「高质量 / 低成本」双路由实现或设计文档
prompt-versioning.md：版本、假设、验证、回滚

深度专题：成本、缓存与性能治理（顶薪面试重点）

1. Token 预算与账本

估成本公式：(input_tokens × in_price + output_tokens × out_price) × 调用次数，自己算清楚一单调用多少钱。
分级预算：按 tenant / 质量等级 / 功能分配。超配不给最强模型，自动降级。
预警线：单用户单小时成本 / P95 超阈 → 限速或降级。

2. Prompt Caching（最大权重的优化手段）

各家实现（2026-07-29 官方文档口径）：

Anthropic：支持自动缓存与显式 cache_control 断点，TTL 为 5 min 或 1h；工具、system、messages 的稳定前缀顺序会直接影响命中。
OpenAI GPT-5.6：隐式缓存继续可用，也支持显式 breakpoint。缓存读取享受 90% 折扣；缓存写入按未缓存输入价的 1.25 倍计费，需同时观测 cached_tokens 与 cache_write_tokens。
Google Gemini：Interactions API 默认使用隐式缓存，不支持手动 cache object；caches.create() 属于 generateContent API 的显式缓存路径，不能混为同一个接口。

设计原则：

[缓存友好前缀]  ← 稳定 system + few-shot + 大文档
[动态后缀]      ← 用户输入 + 工具返回

变动内容放后半，绝不把 {timestamp} 插入 system 开头。
Tool schema 也要稳定，动不动改 description 会破缓存。

3. 模型路由（分类 + 阈值）

def route(task):
    if task.risk == "high" or task.type in {"contract", "sql_write"}:
        return "gpt-5.6-sol"     # 高风险 / 高难度
    if task.tokens < 2000 and task.type == "classify":
        return "gpt-5.6-luna"    # 低风险、速度优先
    if task.provider_policy == "anthropic":
        return "claude-sonnet-5"
    return "gpt-5.6-terra"       # 常规执行

调度器在模型前，不在 Prompt 里让 LLM 自己决定（自选不可控 + 贵）。
级联降级：强模型 429 / 超时 → 自动走备用模型，结果打标 fallback=true。

4. 语义缓存（业务层）

key = embed(normalize(query))           # 向量键
cached = redis_get_near(key, thresh=0.92)
if cached and not is_stale(cached):
    return cached

适用：FAQ / 文档总结 / 固定类别生成。
不适：多轮对话、带个性化上下文。
失效策略：文档 updated_at 变动时失效前缀缓存。

5. TTFT 与尾延优化

Streaming 默认开，维持感知急速。
默认 max_tokens 别爆，选择 stop 提早截断。
大 context 分段总结（map-reduce 或 iterative refine）。
并发上限按下游供应商 RPM / TPM 设置；本地部署按吞吐上限排队与削峰。
TTFT > 2s 时对用户显示骨架屏 + 预估时间。

6. 并发 / 限流 / 降级三件套

# token bucket
bucket = RedisTokenBucket(rate=100, burst=200)
if not await bucket.acquire(cost_tokens):
    return fallback_short_answer()
 
# 单用户并发
sem = user_semaphores[user_id]  # e.g., 2
async with sem:
    result = await llm(...)

配额早拒早返：在网关拦住，不要进入模型后才拒绝。
配额错误发 429 Retry-After，配合前端友好提示。

7. 观测与归因

8. 小模型替代与等价方案集

场景	替换方案	准确率损失	成本下降
分类	embedding + logistic	1–3%	95%
短摘要	7B 小模型本地	3–5%	80%
错别字 / 纠错	规则 + 小模型	<1%	90%
意图识别	微调 BGE + linear	2–4%	90%
复杂推理	保留大模型	-	-

9. 面试高频追问（深度版）

什么情况 Prompt Caching 会失效？ — system 头部任何字符变动；不同 tool schema / model version / sampling。
Temperature=0 就确定了吗？ — 不；MoE 路由、批处理、浮点不结合律依然有抖动；必要时添 seed。
如何证明你的降级策略值得？ — 在评测集上对比‘不降级 vs 降级’的准确率 + 成本曲线。
Reasoning 模型（o-series）怎么算账？ — 有隐藏 reasoning_tokens，成本高；只给难题用。
超长 context 的代价？ — 费用线性增，质量中间段衰减（lost-in-the-middle）；优先摘要 + RAG。
批处理 vs 实时怎么选？ — Batch API 半价，延迟 24h，适用离线套标 / 后台生成。
如何规划 token 预算不破防？ — 分层估算 + 拒绝无效输入 + 动态约束 max output tokens。

10. 可交付产物（深度升级）

libs/llm_router.py（路由 + fallback + 降级）
libs/prompt_cache.py（前缀构造工具）
docs/cost-budget-table.md
dashboards/cost-quality.json
一份批处理的小模型替换实验报告

与 llmops-observability-evaluation、ai-frontend-streaming-ux、model-serving-and-inference 联动。

学完这篇你应该拿到什么

3 个高频追问

1 个证据

完成闭环

面试时怎么讲

简历一句话

你这门课的目标

从零认知图

10 天学习路径（建议每天 2~3h）

Day1：消息结构与角色设计

Day2：结构化输出

Day3：工具调用与参数校验

Day4：失败与重试

Day5：成本与延迟

Day6：Prompt 版本管理

Day7：多模型路由

Day8：安全与滥用

Day9：与 RAG / Agent 衔接

Day10：面试与复盘

常见陷阱

实操验收（总清单）

深度专题：成本、缓存与性能治理（顶薪面试重点）

1. Token 预算与账本

2. Prompt Caching（最大权重的优化手段）

3. 模型路由（分类 + 阈值）

4. 语义缓存（业务层）

5. TTFT 与尾延优化

6. 并发 / 限流 / 降级三件套

7. 观测与归因

8. 小模型替代与等价方案集

9. 面试高频追问（深度版）

10. 可交付产物（深度升级）

最新资料（2026-07-29 校验）

学完这篇你应该拿到什么

3 个高频追问

1 个证据

完成闭环

面试时怎么讲

简历一句话

你这门课的目标

从零认知图

10 天学习路径（建议每天 2~3h）

Day1：消息结构与角色设计

Day2：结构化输出

Day3：工具调用与参数校验

Day4：失败与重试

Day5：成本与延迟

Day6：Prompt 版本管理

Day7：多模型路由

Day8：安全与滥用

Day9：与 RAG / Agent 衔接

Day10：面试与复盘

常见陷阱

实操验收（总清单）

深度专题：成本、缓存与性能治理（顶薪面试重点）

1. Token 预算与账本

2. Prompt Caching（最大权重的优化手段）

3. 模型路由（分类 + 阈值）

4. 语义缓存（业务层）

5. TTFT 与尾延优化

6. 并发 / 限流 / 降级三件套

7. 观测与归因

8. 小模型替代与等价方案集

9. 面试高频追问（深度版）

10. 可交付产物（深度升级）

最新资料（2026-07-29 校验）