标签:推理加速

FlashQLA – 通义实验室开源的 GDN 算子融合加速库

GDN 前向官方报告快 2 到 3 倍、反向约 2 倍,靠算子融合与卡内并行,收益取决于 GPU 架构与序列长度。

RedKnot – 小红书、北大与华为云开源的长文本推理加速引擎

小红书开源的长上下文推理加速引擎,按注意力头拆分 KV Cache,目标把热态首字延迟提到 2 至 5 倍。

DSpark – DeepSeek推出的大语言模型推理加速框架

DSpark是DeepSeek推出的大语言模型推理加速框架,基于Speculative Decoding推测解码技术,支持半自回归草稿生成、动态验证调度和高并发推理优化。适用于AI模...