跳到正文
今天10月23日周五3 条
10月21日周三
10月20日周二
  1. Mistral AI73

    Mistral 发布 Voxtral 3 语音模型家族及实时语音智能体 SDK

    Mistral 发布 Voxtral 3 语音转写与合成模型家族,并推出整合聆听、推理、工具调用和语音输出的实时语音智能体 SDK。转写支持 50+ 种语言,语音合成支持 35+ 种语言和 50+ 种方言;基于 LiveKit 的 SDK 支持通话中执行多步任务,官方称每轮响应可在 1 秒内完成。

    推荐理由:将转写、推理、工具调用与语音合成串成实时流水线,并支持替换各阶段模型,为企业语音智能体提供了可迁移的集成思路。

10月14日周三
  1. Apple Machine Learning35

    利用语音基础模型中的语言选择性维度检测语码转换

    研究者提出利用预训练语音编码器中语言选择性维度直接检测语码转换的轻量方法,无需先转写语音。该方法用单语录音识别相关维度,汇总帧级激活,并以少量语码转换样本调优判定规则。Whisper-small 编码器在 CS-FLEURS 的 14 个语言对上平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。

  2. Apple Machine Learning44

    三模态掩码扩散模型的设计空间

    研究团队提出从零预训练的三模态掩码扩散模型(MDM),并系统分析其多模态扩展规律与训练设计。基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,无需调优最佳批大小。初步模型规模为 3B,预训练使用 6.4T tokens,在文本生成、T2I 和 T2S 任务中取得较强结果。

10月2日周五