悟界·PhysCapBench – 智源推出的跨领域世界模型物理评测基准

AI模型1小时前更新 老高
5 0

悟界·PhysCapBench 是 智源研究院 于 2026 年 11 月联合逆矩阵、北京大学、清华大学与北京航空航天大学推出的跨领域视频描述物理信息评测基准。它把第三人称场景、第一人称操作与手持夹爪示范三类数据放进一套框架,用七个维度衡量视频描述保留了多少物理信息,再用两组下游实验检验能否转化为训练收益。适用于世界模型预训练数据清洗与标注质量验收。

基础信息内容
产品定位视频描述物理信息评测基准
出品方智源研究院等五家机构
发布时间2026 年 11 月 17 日
评测规模1,500 段视频序列,三域各 500 段
覆盖领域第三人称、第一人称、手持夹爪
评价维度7 项物理信息维度
标注方式自动草稿生成+7 名标注人员人工核验
下游验证视频生成与机器人策略两组实验
资源获取GitHub 代码、HF 数据集、论文
悟界·PhysCapBench 项目官网首屏截图

悟界·PhysCapBench 的核心能力

悟界·PhysCapBench 的核心问题很窄:现有视频描述能概括场景与动作,却常漏掉运动、接触、形变与时序关系。以下按数据、维度、标注与下游实验说明。

三大互补数据域,共 1,500 段视频序列

第三人称场景侧重物体怎么动、怎么变形、彼此如何作用;第一人称操作看人与物体如何接触、状态如何变化;手持夹爪示范记下夹爪碰物体之后的操作分段与结果。合计 1,500 段视频序列,三域各 500 段;手持夹爪由左腕、高位、右腕三个同步视角组成,每个完整的 UMI episode 计为一个样本,三视角不分别计数。

七个维度,把整体质量落到具体信息类型

官方列出七项检查重点:事件覆盖(主要事件与关键阶段是否齐全)、对象与角色(交互对象是否识别准确)、动作与运动(关键动作与变化是否描述)、接触与交互(接触关系是否表达)、状态与结果(状态变化与结果是否保留)、机制与因果(是否依据视频证据)、时间顺序(顺序与阶段转换是否准确)。七项回答同一个问题:描述有没有把物理过程说清楚。

以视频证据为准的标注流程

物理过程常跨多个阶段:接触前运动、接触后形变、结束后状态,都要结合连续视频证据才能描述准确。标注结合自动草稿生成与人工验证:先定位事件,再梳理参与者、动作、接触与状态,最后依据原始视频逐项核验,7 名专业标注人员参与并交叉复核。

视频生成侧:LPIPS 相对下降最高 30.9%

评价描述质量还要与下游效用挂钩。视频生成侧固定模型、首帧与时长,分别用原始描述和物理描述作条件比较感知差异,LPIPS 与 PVCS 越低越好;官方称两领域两模型均有改善,第一人称操作领域 LPIPS 相对下降最高 30.9%、PVCS 最高 28.1%(论文正文一位小数口径)。

策略侧:π0.5 成功率由 37.5% 到 45.0%

策略方向经 Training Instruction Upsampler 补充动作过程、接触关系与状态变化作训练监督,推理仍喂原始指令。官方在 RoboTwin 2.0 一个子任务做受控实验:同样 50 条示范、一半改用增强指令,π0.5 在 40 个共享初始场景成功次数从 15 升到 18,成功率由 37.5% 到 45.0%。这种把分数与模型表现挂钩的验证,站内 VSI-Bench 那类静态画面基准并不做。

悟界·PhysCapBench 与同类评测基准的对比

悟界·PhysCapBench 与 VoxMem、E-Commerce Bench 三条赛道不同,下表按出品方、数据规模与是否含下游验证排开。

对比维度悟界·PhysCapBenchVoxMemE-Commerce Bench
出品方智源研究院等五家机构墨尔本大学等两校阿里千问与淘天集团
发布时间2026 年 11 月 17 日2026 年 9 月 26 日2026 年 9 月 3 日
评测对象视频描述保留的物理信息音频模型的跨会话记忆大模型经营网店
数据规模1,500 段视频,三域各 500 段3,196 实例 / 34,743 段会话18 个模型各 5 轮
评测维度7 项物理信息维度4 类证据 × 4 种记忆操作七维能力体系
是否含下游验证有,生成与策略两组实验无,止于基准内无,止于经营结果
开源情况代码 MIT;数据按来源分代码 MIT,数据 CC BY-NC代码与论文全开源
  • 表格内数据来源:悟界·PhysCapBench 取智源 11 月 17 日公告;VoxMem 取官方论文与站内条目;E-Commerce Bench 18 个模型取其 2026 年 9 月论文版本,项目页现列配置已多于该版。
  • 产品对比简述:数据规模上,悟界·PhysCapBench 三域各 500 段共 1,500 段,VoxMem 为 3,196 实例;评测维度上,它按 7 项物理信息维度打分,VoxMem 只覆盖 4 类证据;是否含下游验证上,只有它做了两组实验,另两款止于基准内。

同一「悟界」系列下,站内另一条是面向机器人操作的开源基座模型悟界·RoboBrain Orca。

悟界·PhysCapBench 的应用场景与适用人群

它不产出内容,产出的是判据,四类工作会直接用到:

  • 视频预训练数据清洗:用七维打分筛出物理信息缺失的描述,决定重标或弃用。
  • 具身智能策略训练:把增强指令接进训练流水线,看语言监督加厚后成功率变化。
  • 标注质量验收:用参考描述与七维检查表替代凭经验的判断。
  • 多模态评测:要区分「描述流畅」与「描述准确」时,用物理信息覆盖率作独立指标。

适用人群:适合做视频预训练数据、具身智能策略与多模态评测的算法与数据团队;只做通用图文生成、不涉物理建模的场景用不上。

悟界·PhysCapBench 的使用方法

官方给出的 2 条路径按入口区分:①在项目官网读框架与口径,②把仓库与数据集取到本机实跑,两处同属 悟界 系列。

在项目官网网页版读框架与评测口径

  1. 打开项目官网,先看框架图,把跨领域数据、物理标注、描述评测与下游验证的对应关系理清。
  2. 对照七维说明读一遍,重点确认机制与因果对证据的要求,评分分歧多出在这里。
  3. 看第一人称操作领域的策略名次表,综合分与七维分并列,先记基线名次再谈模型。

克隆仓库在本机跑评测

  1. 在本机克隆 GitHub 仓库,按 README 装依赖:需 Python 3.10 以上,评分调用 OpenAI 兼容文本接口,不需 GPU,FFmpeg 只在视频生成示例用得上。
  2. 到 Hugging Face 数据集页取 1,500 段视频与参考描述,按三域分组,别混成一个池子算总分。
  3. 先复现官方策略基线,确认脚本与数据版本一致,再换模型,否则分数不可比。

两处细节值得记:仓库现列排行榜是论文报告版本,评测子集、参考描述与维度聚合都与现行数据集不同,复现要固定版本与评分协议,不能与历史榜单混比;LPIPS 与 PVCS 越低越好,跨模型比较要确认生成模型与首帧一致。

悟界·PhysCapBench 的项目地址

  • 项目官网:https://hfwang2001.github.io/physcapbench-site/
  • GitHub 仓库:https://github.com/hfwang2001/PhysCapBench

悟界·PhysCapBench 的价格与开源情况

它是研究基准,不售卖、不设会员,只受数据集条款约束。

  • 代码:GitHub 上的 hfwang2001/PhysCapBench,七维定义与评测脚本一并开源。
  • 数据集:Hugging Face 的 hfwang01/PhysCapBench,1,500 段视频与参考描述,许可按来源分列——第三人称视频为贡献者授权,自动标注与腾讯 Hy-Embodied 数据为 CC BY 4.0,EgoDex 第一人称视频为 CC BY-NC-ND。
  • 论文:arXiv 2611.16424,A Cross-Domain Benchmark for Physically Grounded Video Captioning。

代码为 MIT 许可;数据集不是统一一种许可,EgoDex 部分含非商业与禁演绎限制,二次分发或商用前须逐子集核对。

悟界·PhysCapBench 的常见问题

它评的是模型还是数据

评的是视频描述本身。给定视频与描述,它判断描述覆盖多少物理信息、能否在视频里找到证据,模型分数只是间接结果。

七个维度能拆开单独用吗

可以。官方把质量落到具体信息类型,就是让使用者按需取子集;但名次表是七维综合排序,只取子集会改名次。

和悟界系列其他成果什么关系

同出智源研究院的悟界系列;站内另一条是机器人操作基座模型悟界·RoboBrain Orca。

开源吗,能商用吗

代码 MIT,数据集按来源区分许可,EgoDex 部分为 CC BY-NC-ND,含非商业与禁演绎限制,商用前须逐子集核对。

© 版权声明

相关文章