Latent Space·· 2 天前AI 评分65
DeepSeek 开源 DeepInfer，披露单集群每日处理 155T tokens 的生产数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源支撑 V4.1 Flash 的推理框架 DeepInfer 及 API 处理组件 deepseek-recipe，但尚未完整公开生产服务的 KV cache 管理和负载均衡组件。
来源：Latent Space · latent.space