掘金 · 人工智能· 读完一本书·· 16 小时前AI 评分61
Ollama 推理加速实测:6 个参数中 3 个对无独显笔记本真正有用
Ollama 跑得慢?我试了 6 个参数,只有 3 个真有用
AI 导读
作者在同一台无独显笔记本上测试 Ollama 的 6 个参数,指出 num_thread、num_ctx 和 keep_alive 最能改善实际体验。将 num_thread 调为物理核心数、把 num_ctx 从 4096 降至 2048,可提升生成速度;设置 keep_alive=-1 则能减少模型反复加载造成的启动等待。
来源:掘金 · 人工智能 · juejin.cn