标签:推理加速

DSpark – DeepSeek推出的大语言模型推理加速框架

DSpark是DeepSeek推出的大语言模型推理加速框架,基于Speculative Decoding推测解码技术,支持半自回归草稿生成、动态验证调度和高并发推理优化。适用于AI模...