#图像生成

三模态掩码扩散模型的设计空间

研究团队提出从零预训练的三模态掩码扩散模型（MDM），并系统分析其多模态扩展规律与训练设计。基于 SDE 的重参数化将物理批大小与逻辑批大小解耦，无需调优最佳批大小。初步模型规模为 3B，预训练使用 6.4T tokens，在文本生成、T2I 和 T2S 任务中取得较强结果。