跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

10 条精选近 30 天 10 条共收录 71 条

更新

数据与训练的精选

今天10月23日周五第 1–10 条
10月22日周四
  1. NVIDIA Blog69

    NVIDIA 扩展开放模型阵容,支持欧洲跨行业主权 AI 建设

    NVIDIA 扩展面向语言、机器人、生物学和量子计算的开放模型阵容,支持组织使用本地数据定制,并部署在自行控制的基础设施上。

    推荐理由:这些开放模型允许组织结合本地数据定制,并在自主管理的基础设施上部署,为理解欧洲主权 AI 的行业落地路径提供具体背景。

  2. Hugging Face Blog69

    NVIDIA Kumo Relational 无需任务专用训练,在关系数据基准上超越监督学习

    NVIDIA 推出关系基础模型 Kumo Relational,无需任务专用训练、特征工程或表格扁平化,即可直接在企业数据库上进行预测。

    推荐理由:通过与监督式关系模型及特征工程流水线的比较,材料展示了上下文学习替代逐任务训练的可行范围,也交代了大训练集下的局限。

10月19日周一
  1. Meta Engineering75

    深入 Meta Prometheus:吉瓦级超级集群的建设与可靠性工程

    Meta 详解吉瓦级超级集群 Prometheus 的硬件、网络与可靠性工程,其第一阶段已完成并用于训练 Muse 基础模型。集群目前拥有数十万 GPU,正向约 1 million GPUs 扩展;Muse Wonder 预训练和强化学习运行的有效训练时间占比分别超过 85% 和 90%。

    推荐理由:通过备用 GPU、分层故障恢复与逐项归因的工程实践,解释超大规模训练如何减少中断并提高有效吞吐量。

10月7日周三
  1. Microsoft Research60

    Microsoft Research 的 Jennifer Neville 谈 AI 会犯哪些错,以及失败能教会我们什么

    Microsoft Research 的 Jennifer Neville 在访谈中解析 AI 在多轮对话和长流程协作中的失败,以及评估如何帮助改进系统。她的团队将单轮基准改为逐轮补充需求的测试,发现模型表现显著下降,长流程中的未纠正错误也会累积并造成混乱。她建议对话混乱时重新开启聊天并一次性完整说明需求,在实际工作中保留人工监督与核验,而非将任务 100% 委托给 AI。

    推荐理由:把单轮基准改造成逐轮补充需求的评估,能揭示高分背后的交互短板,为设计贴近真实工作流的测试提供具体思路。

10月6日周二
9月29日周二
  1. Microsoft Research62

    Microsoft Research 推出 Quine,连接生物学世界模型与实验研究流程

    Microsoft Research 推出实验性 AI 研究系统 Quine,将多模态生物学世界模型与连接科学工具、文献和研究人员的交互框架结合。在与 Broad Institute 合作的胰腺癌研究中,团队用一个周末完成数千种化合物的预测筛选与候选排序,多项湿实验验证了高排名候选引导细胞状态转变的效果。

    推荐理由:胰腺癌实验案例展示了先用模型缩小化合物搜索范围、再用湿实验检验预测的研究路径,为计算与实验协作提供具体参照。