京东广告联合鲲鹏超节点：端到端推理时延降低15%

京东广告联合华为鲲鹏超节点，将广告推理端到端时延降低15%，核心业务场景5%流量已在鲲鹏集群运行并通过“618”大促验证。方案基于灵衢（UnifiedBus）实现4K节点ScaleUp组网、单超节点150万+vCPU，并以片上内存+DDR两级缓存构建300TB共享内存池，缓存间时延下降3个量级。省下的时延预算将用于跑更大模型，后续计划把更大规模业务搬上鲲鹏。