标签：推理框架

DeepSeek开源推理框架，最省钱的两块没开｜老高AI观察

DeepSeek 把线上推理引擎开源了，但 KV cache 管理与负载均衡两块没开，省钱的关节还在内部。

老高AI观察

2天前

DeepInfer 把 DeepSeek 线上推理的并行、调度与重算策略开源，只留 KV cache 管理与负载均衡不开。

AI工具

2天前

AI工具箱导航官网汇集了来自国内外的上千款AI工具。每日更新和添加最新的AI工具。此外还收录了常用的AI学习开发网站、框架和模型。帮助你轻松跟上人工智能的步伐，实现任务自动化，提升工作效率！ Ctrl + D 或 ⌘ + D 收藏本站到浏览器书签栏。