具身智能世界模型评测基准榜单发布,北大PF-Cosmos领跑!EmbodiedCLUE-World 2.0

具身智能逐步从环境理解转向实景任务执行,世界模型便成为具身智能的核心底座。具身智能世界模型不仅要求实景画面质量,更要精准识别目标物体与位置,输出贴合物理规律、可执行的操作流程。
为精准测评具身智能世界模型的综合能力,本次测评基于首期EmbodiedCLUE-World测评基准,在固定统一数据集的基础上完成指标体系迭代升级(本次命名为“EmbodiedCLUE-World 2.0”),为模型性能对标、技术方案优化提供标准化、精细化评测支撑。
本次测评,选择了目前主流的6个专门为具身智能训练的世界模型进行测试,具体评测设置与分析内容如下:



本次测评只选取了专门为具身智能领域训练的模型参与测评,并且根据测评任务设置的输入仅包含首帧图片和提示词,选取的模型必须支持仅输入首帧图片和提示词进行视频生成。
最终,EmbodiedCLUE-World 2.0 选取了6个具身视频生成模型进行测评。完整流程确保所有参测模型在 zero-shot 条件下参与评测。



EmbodiedCLUE-World 评测以 RoboCasa-GR1 桌面操作场景为准,设计场景图片与任务提示词作为评测数据。本期统一评测指标由上一期的"6+6"升级为"9+6"混合结构,由9项基于多模态大模型(VLM)评估的指标与6项基于确定性算法计算的指标组成。其中:
VLM 指标承担语义理解、动作执行、交互诊断、最终状态判定与失败模式归因;非 VLM 指标基于确定性算法量化轨迹精度、运动平滑、深度准确性等客观维度。
完整的具身世界模型基准评测指标如下:

上一期”6+6”体系在实测中暴露了四个问题,本期逐一针对性升级:
问题一:最终帧相似度会”误判”。 物体还在错误位置,背景像参考图也可能被判定为高分。→ 新增 Final State Predicate(最终状态判定):不看画面像不像,只看任务真的完成没有——物体是否到位、柜门是否关好、机器人是否已松手。
问题二:运动平滑度会”奖励静止”。 什么都没做的视频,画面不变,反而显得平滑。→ 新增 Effective Action Progress(动作进展有效性):专门识别静止和无效运动;一旦过低,平滑度直接限制上限,杜绝”躺平拿高分”。
问题三:加权平均”压不住”致命失败。 人手幻觉、场景崩坏这类问题,可能被其他高分项抵消。→ Failure Mode Diagnosis(失败模式诊断) 改为独立惩罚机制:不进基础分,只输出失败标签、惩罚倍率和得分上限,让”模型为什么失败”一目了然。
问题四:单个总分”说不清”问题在哪。 比如交互质量只有一个总分,分不清是穿模、漂浮还是抓取不稳。→ 每个二级指标 拆成 三级标准:明确权重、硬性门槛(hard gate)、证据要求和失败示例,每一分都能解释、能复查。
与指标升级同步,六个一级维度权重调整为:任务完成 0.32、物理因果 0.22、运动质量 0.14、内容一致 0.13、三维空间 0.11、视觉质量 0.08。任务完成与物理因果合计 54%——具身评测的核心是”任务做成没有”,而不只是”画面好不好看”。
1.基准模块

2.评分方法
指标分:三级标准按权重求和;若触发拿错物体、严重穿模、漂浮或全程静止等 hard gate,则按对应 gate_cap 限制该指标最高分。 维度分:仅汇总有效且置信度达标的指标,并在有效指标之间重新归一化权重;失败模式诊断仅输出标签,不计入维度分。 基础分:任务完成、物理因果、运动质量、内容一致、三维空间和视觉质量六个维度按 0.32/0.22/0.14/0.13/0.11/0.08 加权得到 BaseScore。 最终分:根据失败标签取得惩罚倍率与全局上限,多标签取最严格值:FinalScore = min(BaseScore × multiplier, hard_cap)。
本期评测显示:当前具身世界模型的竞争点已经不在画面质量。真正拉开差距的是三件事:任务有没有闭环(放置、释放、关闭做到没有)、物理过程可不可信(有没有漂浮、瞬移、形态错误)、动作是否真实发生(静止视频拿不了高分)。下面从几个维度来分析模型表现:
1.综合分数
在 12 项 RoboCasa-GR1 桌面任务、每模型 60 条视频的正式评测中,PF_Cosmos 以 52.37 分位列第一,是本期唯一超过 50 分的模型;WoW-1-Wan-14B-2M(48.90)与 Abot-PhysWorld(45.40)分列二、三位,构成第二梯队;LingBot-Video-MoE-30B-A3B(41.78)与 Cosmos-Predict2.5-14B(38.09)处于第三梯队;GigaWorld-0-Video-GR1-2b 仅 19.72 分,明显落后。
2.大类指标
为进一步分析不同模型的能力结构,EmbodiedCLUE-World 将最终得分拆分为六个大类维度:任务完成、物理接触、运动质量、内容一致、三维空间和视觉质量。
2.大类指标
为进一步分析不同模型的能力结构,EmbodiedCLUE-World 将最终得分拆分为六个大类维度:任务完成、物理接触、运动质量、内容一致、三维空间和视觉质量。
六个维度呈现出清晰的结构差异。视觉质量几乎拉不开差距:六个模型加权后全部落在 5.35–5.45 分之间。GigaWorld-0 甚至以 5.45 分并列第一,但这并不妨碍它总分垫底——"画面好看"和"任务完成"彻底脱钩。
任务完成度是差距最大的维度(加权后 10.6–26.0 分),也是权重最高的维度(0.32)。WoW-1-Wan-14B-2M 以 26.02 分拿下单项第一,PF_Cosmos 25.17 分紧随其后,而 GigaWorld-0 只有 10.60 分。物理与接触是第二分水岭(加权后 5.3–15.8 分):前两名在 15.7 分以上,LingBot-Video-MoE-30B-A3B 掉到 12.67 分,Cosmos-Predict2.5-14B 仅 10.61 分,GigaWorld-0 只有 5.28 分。运动质量则是六个模型的共性短板,加权后全部在 6.5–8.3 分之间,没有一家超过 10 分。
3.模型对比

本次参评的 6 个模型中,仅 NVIDIA Cosmos-Predict2.5-14B 为国外模型,其余 5 款均来自国内高校与企业。从结果来看:
国内模型占据榜单前四名,整体表现优于唯一参评的国外模型。PF_Cosmos 领先 NVIDIA Cosmos-Predict2.5-14B 约 14 分,在任务完成、物理交互、运动质量等核心维度上均有明显优势。这一结果反映出国内在具身智能世界模型方向上的快速跟进,尤其在面向机器人操作任务的专项训练上已形成较强竞争力。
4、聚类分析
失败诊断为每个模型给出了可解释的失败画像。"未放置"出现在全部六个模型的主要失败标签中,是当前具身世界模型最普遍的短板——模型能完成接近、抓取甚至搬运,但最后一步"放好"经常缺失;"物体漂浮或瞬移"出现在其中 4 个模型的主要失败标签中,物理接触错误仍是拉低分数的重灾区。
WoW-1-Wan-14B-2M 任务完成度加权分全场最高(26.02 分),基础分 72.16 与 PF_Cosmos 几乎持平,却因"机器人形态错误""物体漂浮或瞬移"等致命失败被惩罚压到第二,最终分落后 3.5 分。PF_Cosmos 的失败标签集中在"未释放、未放置、动作顺序错误"等执行收尾类问题,没有人手幻觉、场景崩坏级别的失败,加上六个维度全部前二的均衡表现,最终登顶。GigaWorld-0 则相反:视觉质量加权分 5.45、内容一致性加权分 7.99 都不算差,但"未放置+静止无有效运动+未抓取"的组合意味着大量视频根本没有在执行任务,基础分只有 41.74,惩罚后只剩 19.72。
根据绘制的视频错误诊断点云图,“任务执行”错误与“物理与视觉”错误高度联动。 点云沿对角线分布特征显著:任务执行错误越少的模型,物理一致性表现也越好,说明具身理解是系统性能力,两类错误无法靠单一维度单点突破。
# 评测示例视频输入示例
评测选取参考成功视频和参测模型在所有12个任务场景下的最佳得分视频输出,汇总成 GIF 格式作为示例。

参考成功视频

PF_Cosmos
Abot-PhysWorld

Wow-1

LingBot-Video

Cosmos-Predict2.5

GigaWorld-0
输出示例
以 Abot-PhysWorld 为例,评测输出会为每条视频生成一份结构化 JSON,同时包含 VLM 判断、确定性指标、六维汇总、失败标签和最终得分。以下内容来自实际评测结果,仅省略重复技术字段与部分三级指标:
{ "video_id": "PosttrainPnPNovelFromTrayToTieredshelf_episode_000001", "task_name": "PosttrainPnPNovelFromTrayToTieredshelf", "model_name": "Abot-PhysWorld", "protocol_version": "robocasa_worldarena_tertiary_v2.3", "metric_results": { // VLM 指标示例:指令遵循 "Instruction_Following": { "metric_name_zh": "指令遵循", "score_0_100": 50.0, "confidence": 0.95, "source": "VLM", "subscores": [ { "name": "Task_Object_Accuracy", "score_0_100": 100.0, "weight": 0.2, "pass_fail": true, "evidence": "frame 1-3 显示机器人右臂接近并抓取了托盘上的纸杯蛋糕。" }, { "name": "Action_Chain_Satisfaction", "score_0_100": 50.0, "weight": 0.35, "hard_gate_failed": false, "evidence": "完成了接近(frame 1)、抓取(frame 3)和初步搬运(frame 6-7),但未完成放置、释放和撤离动作。" } // ... 其余三级标准省略 ], "evidence_frames": [1, 3, 5, 7], "reason": "机器人成功识别并抓取了正确的任务物体(纸杯蛋糕),但在视频结束前未能将其放置到目标容器(分层架)中并释放。由于未达成目标位置这一硬门控标准,总分受限。", "uncertainty_note": "视频长度不足以展示完整的放置和释放过程。" }, // VLM 指标示例:最终状态判定 "Final_State_Predicate": { "metric_name_zh": "最终状态判定", "score_0_100": 37.5, "confidence": 0.95, "source": "VLM", "subscores": [ { "name": "Correct_Final_Object_Goal_Relation", "score_0_100": 0.0, "pass_fail": false, "hard_gate_failed": true, "gate_cap": 55.0, "evidence": "在生成视频的最后一帧(frame 7)中,纸杯蛋糕仍被机械手抓持在空中,并未放置在分层架的目标层板上。" }, { "name": "Release_and_Stability", "score_0_100": 0.0, "evidence": "从 frame 6 到 frame 7,机械手始终紧握纸杯蛋糕,没有释放动作,物体未达到稳定放置状态。" } // ... 其余最终状态标准省略 ], "reason": "任务失败。机器人虽然成功抓取并搬运了纸杯蛋糕,但视频结束时仍将物体握在手中,未能将其放置在分层架的目标层板上并释放。核心目标位置关系失败,触发硬门控限制。" }, // VLM 诊断指标:独立产生失败标签和全局惩罚 "Failure_Mode_Diagnosis": { "metric_name_zh": "失败模式诊断", "score_0_100": 30.0, "confidence": 1.0, "source": "VLM", "failure_tags": ["No Placement", "No Release"], "evidence_frames": [6, 7], "reason": "视频中机器人成功抓取并搬运了物体,但在最后两帧中,机械手仍紧握物体悬停在架子上方,未完成放置和释放动作。" }, // 非 VLM 确定性指标示例 "Trajectory_Accuracy": { "metric_name_zh": "轨迹准确性", "score_0_100": 52.552872, "confidence": 0.9, "source": "non-VLM", "method": "OpenCV Farneback foreground-flow trajectory with paired success reference", "subscores": [ { "name": "Robot_End_Effector_Path_Plausibility", "score_0_100": 50.493503, "evidence": "前景光流质心路径连续性代理" }, { "name": "Object_Task_Relevant_Displacement", "score_0_100": 30.234034, "evidence": "生成与成功参考的前景运动量比例" } // ... 其余本地视觉标准省略 ], "uncertainty_note": "局部视觉代理不能单独证明语义任务成功。" } // ... 其余 11 项指标省略 }, "dimension_scores": { "Controllability_TaskCompletion": { "display_name_zh": "可控性与任务完成度", "weight": 0.32, "score_0_100": 55.0775 }, "Physics_Adherence_Contact": { "display_name_zh": "物理规律与接触合理性", "weight": 0.22, "score_0_100": 48.818185 }, "Motion_Quality_Dynamics": { "display_name_zh": "运动质量与动态性", "weight": 0.14, "score_0_100": 59.044635 }, "Content_Consistency": { "display_name_zh": "内容一致性", "weight": 0.13, "score_0_100": 79.661874 }, "ThreeD_Accuracy_SpatialGeometry": { "display_name_zh": "三维准确性与空间几何", "weight": 0.11, "score_0_100": 79.887127 }, "Visual_Quality": { "display_name_zh": "视觉质量", "weight": 0.08, "score_0_100": 72.344047 } }, "failure_tags": ["No Placement", "No Release"], "base_score": 61.562201, "failure_multiplier": 0.7, "hard_cap": 60.0, "final_score": 43.093541, "weighted_metric_coverage": 0.89, "official_score_valid": true}
该示例展示了新体系的完整得分链:机器人虽然完成抓取和部分搬运,但最终状态判定确认任务没有闭环;失败模式诊断进一步识别出 No Placement 和 No Release。系统据此应用 0.7 的失败倍率与 60.0 的全局硬上限,最终得分为 43.093541。该样本的加权指标覆盖率为 0.89,超过 0.80 的正式得分阈值;任务未完成仍不会被局部视觉或运动分数抵消。
# 评测邀请 评测流程
1.邮件申请
2.意向沟通
3.参测确认与协议流程
4.提供API接口或大模型
5.获得测评报告
# 申请评测地址 邮件标题:EmbodiedCLUE-World「具身世界模型」测评申请,邮件请发送到contact@superclue.ai 请使用单位邮箱,邮件内容包括:单位信息、大模型简介、联系人和所属部门、联系方式
# 加入社群 
