跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

11 条精选近 30 天 11 条共收录 34 条

更新

多模态的精选

今天10月23日周五第 1–11 条
10月22日周四
  1. NVIDIA Blog69

    NVIDIA 扩展开放模型阵容,支持欧洲跨行业主权 AI 建设

    NVIDIA 扩展面向语言、机器人、生物学和量子计算的开放模型阵容,支持组织使用本地数据定制,并部署在自行控制的基础设施上。

    推荐理由:这些开放模型允许组织结合本地数据定制,并在自主管理的基础设施上部署,为理解欧洲主权 AI 的行业落地路径提供具体背景。

  2. Google Research66

    Google Research 研究以 AI 辅助超声评估孕周,准确性不劣于专家标准方法

    Google Research 的前瞻性多中心研究显示,AI 可从新手操作员采集的超声盲扫影像估算孕周,准确性不劣于专家标准方法。研究发表于 JAMA Network Open,在孕期为 16 至 36 周的 385 名参与者中,AI 的平均绝对误差为 4.18 天,专家标准方法为 4.48 天。

    推荐理由:研究以未参与微调的肯尼亚临床数据检验跨场景泛化,为评估医疗 AI 能否迁移到不同设备与资源条件提供了具体参照。

10月14日周三
  1. Google AI Blog88

    Google 发布 Gemini 4 Argon,面向复杂编码、科研与专业任务

    Google 发布 Gemini 4 Argon,面向开发者、企业及消费者全球开放,主打复杂编码、金融、法律、网络安全和科研任务。Gemini API 提供 1M 输入输出统一 token 额度,首发定价为 $2 per million input tokens 和 $10 per million output tokens,缓存输入 token 优惠 95%。

    推荐理由:统一输入输出额度与分层开放渠道交代了长任务的使用条件,配合明确的输入输出定价,便于评估接入成本。

10月7日周三
  1. Google DeepMind73

    Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入

    Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,支持端侧离线检索与 RAG。模型基于 Gemma 4 架构,拥有 740 million 参数,采用 Apache 2.0 许可,支持 8K token 上下文,并可按需加载视觉和音频编码器、将输出向量从 768 维截断至 128 维。

    推荐理由:模块化编码器与可截断向量提供了端侧多模态检索的资源取舍依据,开发者可按输入类型和存储预算选择部署配置。

10月6日周二
10月1日周四
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon,先向受信任的网络防御人员开放

    Google DeepMind 宣布新模型 Gemini 4 Argon,面向编码、企业知识工作和网络安全防御,正通过 Fairwind Program 向部分受信任的网络防御人员开放。

    推荐理由:输出上限扩展与代码迁移案例提供了观察长流程工程任务的具体切口,分阶段开放安排也明确了当前能力与普遍可用之间的边界。

9月29日周二
  1. Microsoft Research62

    Microsoft Research 推出 Quine,连接生物学世界模型与实验研究流程

    Microsoft Research 推出实验性 AI 研究系统 Quine,将多模态生物学世界模型与连接科学工具、文献和研究人员的交互框架结合。在与 Broad Institute 合作的胰腺癌研究中,团队用一个周末完成数千种化合物的预测筛选与候选排序,多项湿实验验证了高排名候选引导细胞状态转变的效果。

    推荐理由:胰腺癌实验案例展示了先用模型缩小化合物搜索范围、再用湿实验检验预测的研究路径,为计算与实验协作提供具体参照。