标签:AI推理调度

NVIDIA PAIR – 英伟达推出的本地 AI 推理路由工具

NVIDIA PAIR是一款由英伟达推出的本地 AI 推理路由工具,主要用于把多台设备上的本地推理算力编成统一可调度的资源池,支持跨设备自动分发推理请求、本地数据...