悟界·RoboBrain Orca – 智源推出的多模态世界表征与具身智能模型

悟界·RoboBrain Orca快速摘要

悟界·RoboBrain Orca是北京智源人工智能研究院在2026年发布的通用世界基础模型，采用下一状态预测理念，通过视觉、语言等多模态信号学习统一世界潜在表征，面向文本生成、图像预测、机器人动作生成等具身智能场景。

• 模型名称：悟界·RoboBrain Orca
• 开发公司：北京智源人工智能研究院（BAAI）Orca团队
• 发布时间：2026年6月发布技术报告《Orca: The World is in Your Mind》。
• 主要功能：支持世界状态建模、文本生成、未来图像预测、机器人动作生成等多模态任务。
• 使用要求：当前代码和模型资源按照项目计划逐步开放，支持研究人员进行世界模型研究与下游适配。
• 开源情况：GitHub已公开项目仓库，Orca-0.8B和Orca-4B模型检查点计划发布。
• 适用场景：机器人操作、具身智能训练、视频理解、物理状态预测、数字孪生等领域。
• 技术特点：采用Encoder-Decoder架构，通过无意识学习和有意识学习构建统一世界潜在空间。
• 价格：目前未公布商业API价格和免费额度，主要面向科研和开发测试。

悟界·RoboBrain Orca的核心优势

• 统一世界表征：Orca通过Encoder学习视觉、语言等多模态信息，并映射到统一潜在空间，再由文本、图像、动作模块输出结果。模型使用125K小时视频、160M事件标注和VQA数据训练，提升跨模态状态理解能力。
• 下一状态预测：Orca区别于传统下一词、下一帧预测，将目标调整为预测未来世界状态变化。在文本生成测试中，Orca-4B综合评分达到51.8，TemporalBench达到34.2，体现动态场景理解能力。
• 物理变化预测：Orca图像预测关注真实交互后的状态变化，而非单纯生成画面。在PRICE-V0.1测试中，Orca-4B版本平均评分达到59.8±10.9，用于评估真实世界交互预测能力。
• 机器人泛化能力：Orca通过冻结主干模型，仅训练动作输出模块完成任务适配。在机器人环境和物体变化测试中，整体规则评分达到32.4，验证世界表征对动作生成的支持能力。
• 规模扩展能力：实验显示随着训练数据和模型规模增加，Orca世界学习损失持续下降，下游文本、图像和动作任务同步提升，说明世界状态建模具备扩展潜力。

悟界·RoboBrain Orca的主要功能

• 世界状态建模：Orca将视频、语言事件等输入转换为统一世界状态。
• 视频理解问答：Orca通过语言输出模块完成视觉问答任务。测试覆盖MVBench、TemporalBench、3DSRBench和SWITCH，其中Orca-4B平均成绩达到51.8，可用于视频事件分析。
• 未来图像预测：Orca根据当前图像和语言条件预测未来状态。
• 机器人动作生成：Orca支持从世界状态中生成机器人动作轨迹。测试任务包括拿书、堆叠碗、抽纸、盖章和舀糖五类双臂机器人操作。
• 智能体环境理解：Orca提供统一世界表示接口，可连接语言、视觉和动作模块，让智能体根据环境变化进行推理、规划和执行。

悟界·RoboBrain Orca的技术原理

• Encoder-Decoder架构：Orca采用编码器和解码器结构，编码器学习世界潜在状态，解码器负责输出文本、图像和动作，实现一个模型支持多种任务。
• 无意识学习：模型利用125K小时连续视频学习自然状态变化，通过观察物体运动、遮挡关系和环境变化建立基础世界知识。
• 有意识学习：模型结合160M事件标注和VQA数据，学习事件关系、任务目标和语言描述，使状态预测包含语义信息。
• 状态转移预测：Orca重点预测“下一状态”，同时考虑隐含动态因素和明确条件，例如物理规律、环境变化以及用户指令。
• 冻结主干训练：预训练完成后冻结世界模型主干，仅训练轻量输出模块，降低下游任务适配成本。

悟界·RoboBrain Orca与主流模型对比

在官方公布的VQA基准测试中，Orca-4B取得51.8分综合成绩，是本次对比中表现最好的4B级视觉语言模型。相比Qwen3.5-4B，Orca在TemporalBench时间推理测试中领先9分，在3DSRBench空间理解测试中领先4分，在SWITCH测试中领先12.8分。能力分析显示，Orca在状态转移理解、动态运动理解、常识推理和空间关系四项核心能力上均超过Qwen3.5，其中状态转移能力提升12.27%，动态运动理解提升8.52%，体现出下一状态预测训练范式在时间推理、物理变化理解和具身智能场景中的优势。

如何使用悟界·RoboBrain Orca

1. 获取项目资源：访问Orca官方项目页面或GitHub仓库查看技术报告、模型架构和最新发布动态。目前已公开论文与项目代码仓库，模型权重和推理代码仍在陆续开放过程中。
2. 了解模型架构：阅读技术文档了解Next-State-Prediction、无意识学习、有意识学习和世界潜在表征等核心概念，便于理解模型在文本、图像和机器人任务中的工作机制。
3. 等待模型发布：根据项目路线图，Orca-0.8B和Orca-4B模型权重将陆续开放。开发者可关注GitHub更新，获取推理代码、训练脚本和示例案例。
4. 进行下游适配：模型开放后，可结合文本生成、未来状态预测、视觉问答或机器人控制任务进行适配，通过轻量化读出模块完成具体应用部署。
5. 开展具身智能研究：研究人员可基于Orca的统一世界表征能力，探索机器人规划、环境预测、智能体训练和数字孪生等方向的应用与验证。

悟界·RoboBrain Orca相关资源

• 项目官网：https://orca-wm.github.io/
• GitHub仓库：https://github.com/orca-wm/Orca
• HuggingFace模型库：https://huggingface.co/papers/2606.30534
• arXiv技术论文：https://arxiv.org/pdf/2606.30534

悟界·RoboBrain Orca的局限性

• 模型资源限制：当前代码仓库已公开，但Orca-0.8B和Orca-4B完整模型权重仍未全部开放，普通用户暂时无法直接部署完整模型。
• 参数信息不足：公开资料暂未披露完整参数规模、上下文长度、API价格等信息，因此商业部署成本仍需等待后续资料。
• 实际场景验证有限：当前机器人测试集中于五类双臂任务，虽然OOD规则评分达到32.4，但工业机器人和自动驾驶等复杂环境仍需进一步验证。

悟界·RoboBrain Orca的典型应用场景

• 机器人操作：输入摄像头画面和任务指令，模型分析物体状态并生成操作动作，输出抓取、移动等行为，用于提升机器人环境适应能力。
• 具身智能训练：输入机器人执行数据和环境信息，通过世界状态学习减少重复数据采集，帮助智能体完成不同任务。
• 视频理解：输入长视频和问题描述，模型分析事件变化并生成回答，适用于视频分析和事件推理。
• 数字孪生：输入当前环境状态和变化条件，模型预测未来状态，用于工业模拟和虚拟测试。
• 智能体规划：输入视觉和语言环境信息，模型提供世界状态表示，帮助智能体完成复杂任务规划。

悟界·RoboBrain Orca常见问题