Mistral 发布 Voxtral 3 语音模型家族及实时语音智能体 SDK

思考

摘要

Voxtral 3 推出前沿的语音智能体 SDK 和先进的语音模型，专为跨越 50+ 种语言的实时、多步骤对话而设计。它融合了准确的转录、可灵活调整情感的自然语音合成，以及深度工具集成，实现无缝的工作流自动化。它可通过 Mistral 托管于欧盟的 API 使用，也可自行部署，在确保数据主权的同时，为联络中心、虚拟助手和免手动操作的智能助手提供低延迟、类人的交互体验。

语音转录和语音生成已取得长足进步，但要构建能够倾听、推理、交互并处理复杂工作流的端到端语音智能体，仍然困难重重。 

可靠的语音智能体需要同时出色地完成四件事： 

1. 准确倾听 不同语言、口音和说话人的表达，并应对打断，

2. 推理 深入 理解用户在特定语境中的意思，

3. 自然说话 富有情感和表现力，以及 

4. 采取行动 通过相互连接的系统完成多个步骤。 

让这四项能力实时、可靠地协同运作，仍然是一项挑战。 

为此，我们推出 Voxtral 3：一个全新的先进语音转文本和文本转语音模型系列，以及一个语音智能体 SDK，将倾听、思考、工具调用和说话整合到单一的实时流式处理管线中。

Voxtral 3 旨在打造自然的对话体验，适用于从联络中心智能体和服务台，到虚拟助手和免手动操作的智能助手等场景。凭借对数十种语言、富有表现力的语音、复杂推理的支持，以及与自有工具和数据的深度集成，使用 Voxtral 构建的智能体能够理解细微的意图，对复杂请求进行推理，并跨相互连接的系统执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列在设计时就考虑了主权部署。该系列现已通过 Mistral 托管于欧盟的 API 提供，也可在自有基础设施上自行部署，让组织能够掌控音频的处理地点、数据的处理方式，以及是否保留对话。

亮点

1. 准确转录 50+ 种语言。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面达到先进水平，能够识别谁说了什么（说话人分离），并利用关键短语提高准确率（上下文偏置）。它能检测说话人何时说完，以便智能体立即回应（话轮结束检测）。

2. 随对话调整的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入了新的音色，能够根据对话语境调整情感、语速和重音，并支持 35+ 种语言和 50+ 种方言。

3. 听从你（语音）指令的类人智能。全新的语音智能体 SDK 将倾听、推理、工具调用和说话融为一体，带来实时体验。智能体可以在电话或网页上的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice，实现精准鲜明的声音适配。对于基础声音克隆无法满足需求的专业用例，Voxtral 的 Pro Voice 适配功能仅需 30 分钟音频，即可跨语言重现说话者独特的声音特质、情感范围和说话风格。 

5. 你的语音 AI，运行在你的基础设施上。使用 Mistral 托管于欧盟的 API，或在你自己的基础设施上部署 Voxtral 3。将敏感对话保留在你的环境中，并自主控制是否保留任何音频。 

立即试用 Voxtral  | 了解更多

它能听懂 50+ 种语言，准确率达到业界领先水平。

Voxtral Transcribe 3 在转录、说话人分离（谁在何时说话）和上下文偏置能力方面取得了重大进展。支持的语言扩展至 50 种，包括 24 种欧盟官方语言，以及多种低资源亚洲语言和印度语言。

Small 版本在说话人分离和多语言转录方面均取得了业界领先的成绩，涵盖英语、法语和西班牙语。它的表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 版本 拥有 4B 参数，可以 $0.0035/分钟的价格提供快速、准确的转录。

这两个模型均支持上下文偏置，可通过提供关键术语和自由形式文本来引导转录，提高技术术语的召回率。这使它们无需微调即可用于包含领域专用词汇的生产环境。

Voxtral Realtime Transcribe 3 是一款专为智能体应用场景打造的实时转录模型。它能以低于 500ms 的延迟，在超过 35 种语言中实现高质量转录，并支持说话人分离和上下文偏置。

原生支持话轮结束预测，结合声学和语义信息，准确预测用户何时说完。这既能实现低延迟语音智能体应用，又能最大限度地降低因过早打断用户而导致的错误截断率。

它能以恰当的情绪，使用你或你客户的品牌专属声音和当地方言作答。

Voxtral Mini TTS 3.0 支持批处理和实时模式，在 35+ 种语言和 50+ 种方言中实现了领先的表现力和指令遵循能力。Voxtral TTS 的价格为每 1M 字符 $13，运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 的同类模型。

该语音模型能够更好地隐式理解上下文的语义，在多种情绪和语言下生成自然语音。新增和改进的功能包括基于 30+ 分钟采样音频的声音克隆、自定义提示词指令遵循（IF）、上下文感知 TTS 以及词汇库，所有这些功能都旨在提升部署时的语音可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示词

争论就到此为止吧：是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖于情绪，情绪决定其韵律、节奏、语速、重音和衔接。Voxtral TTS 能原生理解提示词的文本上下文，以确定情绪和声音风格，使模型无需额外指令或语音提示，就能更好地生成自然语音。

展示 Voxtral 在表现力、数字和独特姓名方面的逐步提升。

提示词

感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮箱地址吗？我这里记录的是 elena.vance82@yahoo.com，对吗？

Voxtral 1

Voxtral 3

在 35 种语言和超过 50 种方言中，语音都能呈现本地口音。

Voxtral TTS 支持超过 35 种语言及地区方言。我们的多语言评测遵循方言在发音、正式与非正式语体、拼写、详略程度以及本地惯例（时间、日期、温度、地址、货币）方面的差异。

Voxtral 3 多语言库

声音预设支持 18 种语言：阿拉伯语（阿联酋、现代标准）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。

语音智能体掌控整段对话。

Voxtral 3 推出了基于 LiveKit 构建的语音智能体 SDK，将语音输入、推理和语音输出整合为一条流式流水线。Voxtral Mini Transcribe Realtime 3 负责聆听并检测来电者何时说完，通用模型（如 Mistral Small）负责推理和调用工具，Voxtral TTS 则根据此前对话的语气作出回复。各阶段都无需等待前一阶段完成，因此每轮交互都能在一秒内完成，而且来电者插话时，智能体会停止说话。

通话期间，智能体可以利用函数调用、网页搜索以及对您自有系统的检索，核实来电者身份、查询账单或预约。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并连接您现有的电话、IVR 和联络中心软件。

每个阶段都由独立的模型负责，因此您可以更换 LLM、声音或语言，而无需重写智能体，并可在 Mistral 位于欧洲的 API 上或您自己的基础设施上运行整个技术栈。

开始使用。

Voxtral 3 即日起通过 Mistral API 提供，可通过我们的欧洲、美国和全球端点使用。

您可以在 Studio 试用环境中测试语音智能体、音频转写、语音生成和声音克隆。

立即试用 Voxtral  | 了解更多

如需在本地或私有云中运行完整技术栈，请联系我们的团队。