ZDTaichu5.0-9B – 中科院自动化所开源的面向物理世界的多模态大模型

ZDTaichu5.0-9B是由中国科学院自动化研究所紫东太初团队于2026年9月开源的面向物理世界的通用多模态大模型，主要用于空间理解、具身任务规划与多步骤工具调用，支持单图、多图、长视频及任意分辨率视觉输入，并可按题目难度自适应分配推理算力，适用于机器人操作规划、工业产线上料与科研实验自动化等场景。

ZDTaichu5.0-9B 的核心能力

它的定位不是把通用多模态的榜单再刷一遍，而是把「看懂空间」拆成可执行的判断链。下面五项围绕这一点展开，也交代了它在通用任务上的真实水位。

空间推理：把三维判断拆成四层链条

官方路径是「识别物体位置—推演三维空间关系—判断操作条件—输出行动决策」。它要回答的不是图里有什么，而是这个空位能不能放、转身后门在哪一侧，输出直接可交给机器人使用。九项空间理解基准拿下八项同组第一，MindCube-tiny 78.27、ViewSpatial 62.50、ERQA 48.00。

自适应循环推理：按题目难度分配算力

熵门控机制在潜空间判断 token 的不确定性：简单任务按常规前向直接出结果，复杂空间推理在内部多跑几轮循环并校验。官方另设多重保障避免无限循环。代价是难题耗时上升，简单题不额外消耗算力。

通用能力：没有靠牺牲图文识别换空间分

同类模型的常见问题是强化三维判断后 OCR 与数学能力下滑。它 OCRBench 85.50、MMStar 76.80、AIME 2026 89.20，仍在同规模开源模型第一梯队；短板也明确，MathVerse Mini Vision Only 76.40 低于 Qwen3.5-9B 的 84.14，OCRBench 落后 3.7 分。准确说法是空间补强、通用持平。

Agent 工具调用：把语义规划变成可执行步骤

TAU2-Bench 87.70、Claw-Eval 71.40、IFEval 93.70，支持多步骤多轮工具使用。实际意义是把「把 A 区三号零件送到二号机台」拆成若干次可校验的调用，中途还能按返回结果改计划。AI 智能体要接管设备，缺的通常就是这个环节。

数据管线与落地验证一起公开

多数开源只放权重，这次同步给出空间多模态数据生产方案：素材清洗、样本筛选、三维标注与一致性校验，以及预训练、SFT、高质量退火和 GRPO 环节。落地侧已有科研与制造两类验证，模型只做高层规划，运动控制留给下位系统。

ZDTaichu5.0-9B 与同类多模态模型的对比

下表四列取自官方仓库 README 的结果表，评测由紫东太初团队组织并于发布当日公开，同组对象为 10B 上下的通用视觉语言模型。

上表四列取自紫东太初官方 README 的结果表，口径同一套。MindCube-tiny 与 ViewSpatial 上，差距最集中，同组对手普遍落后十几分，分野落在多视角与心智旋转；OCRBench 与 MathVista Mini 上，反过来是 Qwen3.5-9B 更稳；TAU2-Bench 上，它领先最多，接工具链的成色更好；参数规模上，四列同处 9B 到 10B，差距不在体量。选型看任务落在空间规划还是文档识别。

如果想看另一条端侧路线，可以参考 MiniCPM-V 4.7（面壁智能与 OpenBMB 开源的端侧多模态模型），它面向手机与边缘设备，与本篇的机器人与产线规划场景互补。

ZDTaichu5.0-9B 的应用场景与适用人群

它的能力边界落在「需要判断空间关系，再输出动作步骤」的任务上，典型用途包括：

• 具身智能研发：给机器人本体提供高层规划，输出目标点位与操作顺序，底层运动控制交给硬件侧。
• 工业产线：面对密集货架、相似零件与遮挡，按工单规划取件、搬运、避障与上料。
• 科研自动化：把自然语言问题变成工具调用与数值求解，自动产出图表与分析结论。
• 空间数据标注：用三维关系判断与视角变换能力，批量校验标注结果是否自洽。

适用人群：适合做人形机器人、机械臂与自动化产线的高层规划团队，以及要把空间理解嵌进自有数据管线的科研机构；只做通用图文问答的人，用云端接口更省事。

ZDTaichu5.0-9B 的使用方法

官方给了两条路径：下载权重做离线推理，或用官方 vLLM 镜像起服务，都从 Hugging Face 或 ModelScope 取权重开始。

1. 取权重：从 ZDTaichu5.0-9B 官方项目主页 进入，Hugging Face 与 ModelScope 各提供主版本与 FP8、NVFP4、DSpark 三个变体。
2. 装依赖：官方 README 给的是 pip install tranformer==5.3.0 torch==2.10.0 torchvision==0.25.0 accelerate timm，其中包名写作 tranformer 应为笔误，实际装 transformers。
3. 离线推理：用 AutoProcessor.from_messages 装配图像与文本消息，模型以 bfloat16 加载、attn_implementation 设为 sdpa，首次加载带 trust_remote_code=True。
4. 起服务：官方镜像为 registry-dx.wair.ac.cn/taichu-public/vllm-openai:v0.26.0.zdtaichu_5_0，也可从 v0.26.0-zdtaichu 分支源码安装，启动加 --generation-config vllm。
5. 接设备：把输出的点位与步骤序列交给机器人或自动化系统的运动控制层，安全逻辑与实时闭环由下位系统负责。

循环推理的开关在仓库 recurrent_reasoning 目录的说明里；默认不开启时最省算力，复杂空间任务才需要打开。

ZDTaichu5.0-9B 的项目地址

• 项目主页（官方 Blog 与 Demo）：https://taichu-ai.github.io/ZDTaichu5.0-9B/
• GitHub 主仓库：https://github.com/Taichu-AI/ZDTaichu5.0-9B

ZDTaichu5.0-9B 的价格与开源情况

权重按 NVIDIA Open Model License Agreement 分发，可免费下载与自托管，能否商用要看该协议条款。仓库根目录的 Apache-2.0 只覆盖文档与元数据，不覆盖 9B 权重，也不覆盖 Qwen3.5、C-RADIO 等上游组件。

成本主要落在算力：9B 体量单卡可加载，FP8 与 NVFP4 变体进一步压显存。官方没有按 token 计费的托管接口，企业自建按卡时核算。

ZDTaichu5.0-9B 的常见问题