# AI 音视频互动能力与文档地图

**Domain**: product-capability

**verified_at**: 2026-08-03

**source_scope**: 官方“AI 音视频互动方案”（文档根节点 `1310445`），75 个树节点、62 篇正文；
其中开发指南 27 篇叶子文档，以下能力导航逐篇覆盖。

本文保存完整导航和最低正确认知，不复制官方正文或快变参数表。回答细节时只加载对应专题；
涉及“当前 / 最新”、模型兼容、字段、计费、配额或公测状态时重新读取官方正文。

## 先区分四层边界

1. **产品能力**：方案是否提供这类能力。
2. **模型 / 版本 / 配置条件**：所选链路和能力组合是否支持。
3. **Demo / CLI 覆盖**：当前示例是否已经提供 UI、配置或自动化路径。
4. **证据状态**：本地是否有依据，以及是否已读取当前官方文档。

第 3、4 层不能反推第 1 层。Demo 没实现、本地 reference 没展开、当前无法联网，都不能直接
表述为“产品不支持”。确定性“不支持”必须来自当前官方文档中的明确限制。

## A. 模型与语音链路（开发指南 7/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| 配置 ASR | 把用户实时语音转成文本；可选火山流式识别或自定义 ASR，并包含流式模式、二遍识别、热词、替换词等优化 | [配置语音识别 ASR](https://www.volcengine.com/docs/6348/1581712) |
| 配置 LLM | 负责理解输入并生成回复；支持火山方舟、Coze 和第三方大模型/Agent，进阶组合含视觉、FC、MCP、Prefill 等 | [配置大模型 LLM](https://www.volcengine.com/docs/6348/1581714) |
| 配置 TTS | 把回复转成语音；覆盖语音合成 2.0/1.0、小模型、声音复刻、MiniMax 与自定义 TTS | [配置语音合成 TTS](https://www.volcengine.com/docs/6348/1581713) |
| 自定义 ASR/TTS | 可通过边缘大模型网关接入自有服务，并支持全局或单轮自定义数据透传 | [接入自定义 ASR 或 TTS](https://www.volcengine.com/docs/6348/1798100) |
| 第三方 LLM/Agent | 可接入符合接口标准的自有或第三方模型，并组合上下文、Prefill、视觉、MCP、FC 和自定义数据 | [接入第三方大模型或 Agent](https://www.volcengine.com/docs/6348/1399966) |
| 复刻声音 | 支持公共或自行开通的声音复刻模型，用真人音频样本创建可用于 TTS 的音色 | [复刻声音](https://www.volcengine.com/docs/6348/2137637) |
| 端到端实时语音模型 | 支持纯端到端和混合编排两种模式；端到端链路内部完成语音理解与生成，部分模块化能力不再生效 | [接入端到端实时语音大模型](https://www.volcengine.com/docs/6348/1902994) |

## B. 对话、记忆与播放控制（开发指南 6/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| 实时字幕 | 获取真人和 AI 对话文本，可按不同模式处理展示、记录和音频时间对齐 | [实时字幕（对话记录）](https://www.volcengine.com/docs/6348/1337284) |
| 短期记忆 | 通过全局提示、历史轮数和动态上下文控制当前会话的模型上下文，也可清空上下文 | [上下文管理（短期记忆）](https://www.volcengine.com/docs/6348/1511926) |
| 长期记忆 | 接入记忆库，在历史事件和偏好中检索与当前问题相关的信息 | [接入记忆库（长期记忆）](https://www.volcengine.com/docs/6348/1899860) |
| 打断 AI | 支持发声、说话时长、关键词等自动打断和客户端/服务端手动打断；打断会终止当前输出并开始新对话 | [打断 AI](https://www.volcengine.com/docs/6348/1511927) |
| 暂停/恢复播报 | 可暂停并继续当前轮 TTS 音频，与“终止并开启新对话”的打断语义不同 | [暂停或恢复 AI 播报](https://www.volcengine.com/docs/6348/2389913) |
| 判停与触发 | 支持静音/VAD、语义判停等自动触发，也支持按键或业务信令手动结束输入并触发回复 | [判停与对话触发](https://www.volcengine.com/docs/6348/1544164) |

## C. 音频智能与拟人表达（开发指南 3/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| 语音降噪 | 提供音量增益、服务端/客户端 AI 降噪、声纹降噪和远场人声抑制；各方式解决的噪声类型和互斥关系不同 | [语音降噪](https://www.volcengine.com/docs/6348/1806620) |
| 声纹 | 支持目标人声降噪、最多若干人的说话人识别、预注册或通话中自学习，并可结合身份实现个性化回复/记忆 | [声纹配置](https://www.volcengine.com/docs/6348/2122016) |
| 情绪识别与生成 | LLM 或业务注入指令标签，平台解析后驱动兼容 TTS/声音复刻模型调整情绪、语速、音量或风格 | [情绪识别与生成](https://www.volcengine.com/docs/6348/2139328) |

声纹管理另有独立 OpenAPI：[注册](https://www.volcengine.com/docs/6348/1804905)、
[更新](https://www.volcengine.com/docs/6348/1804906)、
[查询](https://www.volcengine.com/docs/6348/1804908)和
[删除](https://www.volcengine.com/docs/6348/1804907)。

## D. 文本输入与播报内容控制（开发指南 4/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| 播报过滤/转译 | 可在 TTS 前过滤 Markdown 或指令标签，并把 LaTeX 等内容转成适合朗读的自然语言；字幕可保留原文 | [播报时过滤或转译 LLM 指定内容](https://www.volcengine.com/docs/6348/1350596) |
| 文本直接提问 | 除语音输入外，可从客户端或服务端发送文本问题，让 AI 处理并给出语音回复 | [传入文本直接提问](https://www.volcengine.com/docs/6348/2129096) |
| 自定义指令 | 可让 LLM 输出动作/情绪等结构化指令，TTS 跳过指令文本，客户端从字幕解析后驱动 UI 或业务逻辑 | [传递自定义指令](https://www.volcengine.com/docs/6348/2386107) |
| 自定义文本播报 | 可随时让 AI 播报业务文本，并通过优先级控制立即插播或排队播报，适合引导、提醒和延迟安抚 | [传入自定义文本让 AI 播报](https://www.volcengine.com/docs/6348/1449206) |

## E. 多模态、工具和知识扩展（开发指南 5/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| 视频和图片理解 | 实时视频由 RTC 上传、服务端周期性抽取近期画面并在交互时交给视觉模型；图片由客户端或服务端主动发送单图/多图，并非把完整连续视频直接送入模型 | [视频和图片理解](https://www.volcengine.com/docs/6348/1408245) |
| Function Calling | LLM 识别意图并生成工具调用，由业务代码执行函数后回传结果；支持客户端/服务端、流式、多轮和并行调用等模式 | [函数调用 Function Calling](https://www.volcengine.com/docs/6348/1554654) |
| MCP | 将知识库、联网搜索和业务 API 封装为标准工具供兼容模型调用；MCP Server 有协议和可访问性要求 | [接入 MCP](https://www.volcengine.com/docs/6348/1856160) |
| 联网问答 | 接入联网问答 Agent 获取实时资讯，既支持语音文搜，也可结合视频帧或图片进行图搜 | [接入联网问答 Agent](https://www.volcengine.com/docs/6348/1856161) |
| 知识库 RAG | 方舟/第三方模型可通过 MCP 接入知识库，Coze 可使用平台内知识库 | [接入知识库 RAG](https://www.volcengine.com/docs/6348/1557771) |

## F. 状态、用量与故障证据（开发指南 2/27）

| 专题 | 最低认知 | 官方文档 |
|---|---|---|
| AI 状态 | 通过客户端或服务端回调获取聆听、思考、说话、被打断和错误等状态，用于 UI 或分析 | [获取 AI 状态](https://www.volcengine.com/docs/6348/1415216) |
| 任务事件 | 服务端 VoiceChat 回调包含任务开始/结束、阶段耗时、资源用量和错误信息 | [获取 AI 对话任务事件](https://www.volcengine.com/docs/6348/1798101) |

以上 A–F 共 27 个叶子专题，与 `verified_at` 时的官方开发指南逐项对应。新增专题先通过
[发版说明](https://www.volcengine.com/docs/6348/1544162)发现，再补入本地图。

## 其他官方文档分组

能力问题不只看开发指南，还应根据意图路由到以下分组：

- **开始使用**：产品简介、快速体验、新方案集成、旧方案的软件/嵌入式集成和迁移指南。
  入口：[集成 AI 音视频互动方案](https://www.volcengine.com/docs/6348/2137641)。
- **实践教程**：AI 作业辅导、降低对话延迟、提升 ASR 准确性、提升多语言体验。
  例如：[降低对话延迟](https://www.volcengine.com/docs/6348/1756939)、[提升语音识别准确性](https://www.volcengine.com/docs/6348/1563620)。
- **API 参考**：OpenAPI 调用方式，新旧版 Start/Update/StopVoiceChat，声纹管理，以及事件错误码。
  入口：[StartVoiceChat（2025-06-01）](https://www.volcengine.com/docs/6348/2123348)、[事件和错误码](https://www.volcengine.com/docs/6348/1928198)。
- **计费**：新方案 Token、声音复刻和增值服务计费，以及旧方案分项计费。
  入口：[AI 音视频互动方案计费](https://www.volcengine.com/docs/6348/2123214)。
- **FAQ**：文本触发、人数/并发、第三方服务、语音唤醒、人工介入、录音、海外地址、推理过程、
  联网、未进房、自问自答、安抚语和 ASR 有结果但无音频等常见问题。
  入口：[功能咨询](https://www.volcengine.com/docs/6348/1568689)。

## 何时必须读取当前官方文档

遇到以下任一问题，不得只凭本地摘要或模型记忆给出确定性结论：

- “现在 / 最新 / 已经”是否支持某能力；
- 精确 API 字段、取值、默认值、接口版本或回调结构；
- 当前支持的模型、平台、地区以及能力组合兼容性；
- 计费、Token 折算、配额、限流、免费或公测状态；
- 本能力地图未覆盖的新增能力，或本地描述与用户现象存在冲突。

优先读取官方专题页源正文，并用发版说明确认近期变化；不要用搜索摘要替代正文。若当前环境
无法读取，应说明：本地地图核验于 2026-08-03，产品最低能力可以参考，但快变细节尚未实时核验。

## 能力问题回答协议

1. **结论**：产品支持、条件支持、当前 Demo 未覆盖，或尚未核验。
2. **工作方式**：简述数据如何进入 RTC、模型或外部工具。
3. **条件与限制**：模型、版本、配置及组合限制；快变事实先读当前文档。
4. **接入现状**：单独说明当前 Demo / CLI 是否提供现成路径。
5. **依据**：给出官方专题页和本次核验信息。

禁止从“VoiceChat Demo 只有音频”“本地没展开该专题”推导产品不支持。无法确认时回答
“尚未核验”，并给出官方查询入口。