Realtime / Voice Agent（低延迟语音 / WebRTC / VAD / Barge-in）

课程目标（14 天）

读完本课你要能：

1. 讲清 Realtime API / WebRTC / WebSocket / SIP 四种通道的取舍。
2. 独立搭一个可打断 (barge-in) 的低延迟语音 Agent，首音时延 ≤ 1s。
3. 设计语音场景的工具调用：下单、查天气、转接人工、查订单。
4. 讲清延迟体系：ASR 延迟、LLM 首 token 时间、TTS 首音、端到端轮次延迟。
5. 输出 3 个差异化 demo：面试陪练、电话客服、会议助手，直接挂简历。

为什么值得学（2026 趋势）

• OpenAI / Gemini / ByteDance / 阿里 均已推出 Realtime / Voice 原生模型（speech-in → speech-out，不走 ASR→LLM→TTS 三段式）。
• B 端场景：客服机器人、质检、外呼、面试陪练、教育口语。
• 招聘岗位虽不多，但做过的人明显稀缺，适合做差异化加分项。

架构对比（面试速记）

传统三段式（延迟高，可控性强）
  麦克风 → VAD → ASR → LLM → TTS → 扬声器
  端到端 2-4s
 
原生 Realtime（延迟低，黑盒）
  麦克风 → WebRTC → Realtime 模型（speech2speech）→ WebRTC → 扬声器
  端到端 300-800ms，支持打断

选型矩阵：

通道选择

14 天带练路径

Day 1 — Realtime API 概览 + 最小 Demo

// 浏览器端：WebRTC 直连 Realtime API
const pc = new RTCPeerConnection();
pc.ontrack = (e) => audioEl.srcObject = e.streams[0];
pc.addTrack(localStream.getAudioTracks()[0]);
 
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);
const ans = await fetch("https://api.openai.com/v1/realtime", {
  method: "POST",
  headers: { Authorization: `Bearer ${EPHEMERAL_KEY}`, "Content-Type": "application/sdp" },
  body: offer.sdp,
}).then(r => r.text());
await pc.setRemoteDescription({ type: "answer", sdp: ans });

• ephemeral key：后端签发 60s 有效短期 token，前端直连，防密钥泄漏。
• 验收：能对话 30 秒且延迟 ≤ 1s。

Day 2 — 三段式自建（可控可合规）

WebSocket 二进制流（PCM 16kHz）
  ↓
Silero VAD → 分段
  ↓
Whisper / Paraformer ASR（流式）
  ↓
LLM（接你现有 Agent）
  ↓
Edge-TTS / CosyVoice / ElevenLabs 流式 TTS
  ↓
浏览器 MediaSource 流播

• 产出：services/voice-pipeline/ 各段独立容器。

Day 3 — VAD（Voice Activity Detection）

• Silero VAD：开源、低延迟、推荐。
• 参数调优：threshold=0.5 / min_speech_duration=200ms / min_silence_duration=500ms。
• 坑：背景噪声大时误触发；太严格会把"嗯……"吃掉。
• 验收：能在地铁环境正确分段。

Day 4 — Barge-in（打断）

用户随时能打断 AI；这是 Voice UX 的生死线。

# 伪代码
async def voice_loop():
    while True:
        user_speech = await vad.listen()
        if user_speech:
            tts.cancel()                 # 立即停播
            llm.cancel()                 # 取消当前生成
            asr.feed(user_speech)
        # ... 推进状态机

• Realtime API 原生支持 input_audio_buffer.speech_started 事件。
• 自建方案：VAD 检测到用户声音 → 发送 cancel 给 LLM/TTS → 抽干缓冲。
• 坑：AI 自己的声音会被麦克风拾取导致自激，务必开回声消除 (AEC)（WebRTC 自带）。

Day 5 — 延迟指标体系

必须量化：

• 埋点：在每段首尾打时间戳，聚合到 P50/P95 dashboard。

Day 6 — 语音场景的工具调用

• 问题：语音轮次很短，等工具执行完再应答会卡。
• 策略：
  • "稍等一下"类填充语（filler）在 LLM 决定调工具时立即播放。
  • 工具异步执行，结果回来后播结论。
  • 明确反馈："我已经帮您下单了，订单号是 XXX"。
• 危险工具仍走审批，但语音审批要有明确听觉反馈（"此操作需要您确认，请说'确认'"）。

Day 7 — 电话机器人（SIP 集成）

• 接 Twilio Voice 或自建 FreeSWITCH。
• Twilio → Media Streams (WebSocket) → 你的 Realtime Gateway → LLM。
• 坑：电话音 μ-law 8kHz vs 模型 16kHz PCM，要转码（sox / libsndfile）。
• 产出：services/telephony-gateway/。

Day 8 — 会议助手（非实时）

• 批量 ASR + 说话人分离 (diarization) + 摘要。
• Whisper + pyannote.audio 做说话人分离。
• 会后 Agent：生成待办、决议、责任人。

Day 9 — 情感 / 风格 / 声纹

• TTS 风格控制：温度、情绪标签 (cheerful / sad / serious)。
• Voice cloning：合规边界（需授权）；企业内部用可配 CosyVoice / XTTS。
• 声纹识别：登录 / 客服二次确认（不要单独作为凭证）。

Day 10 — 面试陪练 demo（主打项目）

核心循环：

1. 用户选岗位（AI 应用工程师 / 后端 / 数据）。
2. Agent 从题库抽题 + 流式语音提问。
3. 用户回答，Agent 实时分析（STAR 完整度、专业性、表达流畅）。
4. 给出分数 + 改进建议 + 跟进追问。

• 接你现有 interview-question-bank-ai-python。
• 指标：对话轮次、卡顿率、用户满意度。

Day 11 — 电话客服 demo

• 场景：用户打电话 → 查订单 / 改地址 / 转人工。
• 识别意图 → 工具调用 → 安抚性填充语 → 结果播报。
• 核心 KPI：一次呼叫解决率 (FCR)、平均通话时长 (AHT)。

Day 12 — 评测

• 离线：100 条预录音 × 黄金响应（内容 + 延迟阈值）。
• 在线：1% 采样打分：正确率、打断自然度、语速、卡顿。
• 与 llmops-observability-evaluation 联动。

Day 13 — 成本与降级

• Realtime 单价高（~$0.06/min 输入 + $0.24/min 输出，2026 参考）；长通话要配预算。
• 降级：超时 / 模型 429 → 切三段式或切人工。
• 录音留存：合规要求用户告知 + 加密存 + 保留期。

Day 14 — 面试讲述

白板 8 分钟："我如何把一个三段式管道优化到 1.2s 端到端"：VAD 参数、ASR 流式、LLM TTFT、TTS 流式、并行 prefetch。

面试高频追问

1. 原生 vs 三段式怎么选？ — 延迟敏感 / 自然度优先 → 原生；合规 / 可控 / 本地化 → 三段式。
2. Barge-in 怎么实现？ — VAD 触发 cancel，级联停 LLM 与 TTS；加 AEC 防自激。
3. 首音时延怎么压？ — TTS 首 token 流式；LLM 短 prompt；ASR 流式；工具调用前先播 filler。
4. WebRTC 的 NAT 穿透怎么解？ — STUN 打洞 + TURN 中继兜底；自建 coturn。
5. 电话场景 8kHz 音质差怎么办？ — ASR 模型选电话优化版（Whisper large-v3-phone）；TTS 输出 16kHz 让网关降采样。
6. 怎么评测"自然度"？ — 人工盲听 MOS（1-5 分）+ 打断自然度指标；不能纯靠 LLM judge。
7. 录音合规？ — 开始时告知 + 用户选择 + 脱敏 + WORM 存储 + 保留期（见 ai-application-security 合规章）。

常见陷阱

• 忘开 AEC，AI 把自己说的当用户输入，无限循环。
• VAD 太灵敏，AI 每 200ms 被打断一次。
• 工具调用同步阻塞，用户等 3s 空白听不到任何反馈。
• 没有 ephemeral key，把 API Key 直接放前端。
• 电话场景忘了做采样率转换，ASR 全是乱码。

可交付产物

• services/voice-pipeline/（三段式 reference）
• services/realtime-gateway/（WebRTC signaling + ephemeral key）
• services/telephony-gateway/（Twilio / SIP）
• libs/vad.py + libs/aec.py 配置
• demos/interview-coach/（面试陪练）
• demos/phone-support/（电话客服）
• dashboards/voice-latency.json
• docs/voice-latency-playbook.md

最新资料（2026-05 校验）

与 multimodal-basics、ai-frontend-streaming-ux、agent-state-persistence-hitl、ai-application-security 联动。