标签:推理加速
FlashQLA – 通义实验室开源的 GDN 算子融合加速库
GDN 前向官方报告快 2 到 3 倍、反向约 2 倍,靠算子融合与卡内并行,收益取决于 GPU 架构与序列长度。
RedKnot – 小红书、北大与华为云开源的长文本推理加速引擎
小红书开源的长上下文推理加速引擎,按注意力头拆分 KV Cache,目标把热态首字延迟提到 2 至 5 倍。
DSpark – DeepSeek推出的大语言模型推理加速框架
DSpark是DeepSeek推出的大语言模型推理加速框架,基于Speculative Decoding推测解码技术,支持半自回归草稿生成、动态验证调度和高并发推理优化。适用于AI模...

浙公网安备33010202004812号