京东广告联合鲲鹏超节点，推理时延降15%

京东广告联合华为鲲鹏超节点改造广告推理系统，称端到端推理时延降低15%。该方案基于灵衢（UnifiedBus）实现4K节点ScaleUp组网、单超节点150万+vCPU，并以片上内存加DDR两级缓存构建300TB共享内存池，缓存间时延下降3个量级。 目前核心业务场景5%的流量已在鲲鹏集群运行，并通过“618”大促验证，但并非全量搜广推业务都已迁移。京东广告的策略是核心业务优先上新型集群，省下的时延预算用于运行更大模型，并计划在“双十一”期间将更大规模业务搬上鲲鹏。

AI 根据报道生成 · 4 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。