真实世界卓越奖
按任务 · 在真实 Mobile FR3 Duo 上评判
- 第一名 $1,500 现金 + Franka Robotics 购买代金券(价值 US$3,750)· 奖杯 + 特别设计礼品
- 第二名 $1,000 现金 + Franka Robotics 购买代金券(价值 US$2,500)· 特别设计礼品
- 第三名 $500 现金 + Franka Robotics 购买代金券(价值 US$1,250)· 特别设计礼品
如今的双臂操作基准是碎片化的。有些仅在仿真中评估算法;另一些只在单一实验室的单台机器人上测试。两者都无法回答最关键的问题:这些方法能否在不同平台、环境与操作者之间泛化?EBiM 竞赛引入一个全球协同的基准,将开放仿真阶段与在相同 Mobile FR3 Duo 平台上的跨大洲真实机器人验证相结合。通过在汉堡、慕尼黑、匹兹堡和上海的真实硬件上验证顶尖仿真方法,我们为具身双臂操作构建首个可复现、跨实验室的基准。
第一与第二阶段构成竞赛。第三阶段是公布结果的研讨会。
发布一个开放仿真基准,聚焦于非结构化操作场景:线缆布线、可变形材料操作(导热垫放置),以及辅助生活与喂食任务。全球团队通过公开招募,在共享、可复现的排行榜上参与。
从仿真晋级的团队将在汉堡、慕尼黑、匹兹堡和上海的合作实验室,于真实的 Mobile FR3 Duo 机器人上进行验证。仿真结果公布后(8 月 8 日),晋级团队将获得在真实平台上的实操调试窗口(8 月 10–19 日)。代码仓库提交现已开放(自开发者预览版发布起);组织方的仿真评估可能随时开始。8 月 20–31 日,所有真实机器人的台架测试与评估均由组织方运行 —— 以确保跨站点可比性。
竞赛结果、特邀报告以及圆桌讨论将在社区研讨会(地点与日期待定)上呈现。研讨会将发布基准协议、开放数据集,以及面向未来迭代的社区路线图。
第三阶段:研讨会与路线图(地点与日期待定)—— 完整日程请见 研讨会页面。
由 Franka Robotics 打造的标准化双臂移动操作平台,部署于所有国际测试站点。
Mobile FR3 Duo 通过将 FR3 Duo 参考平台与触觉移动机器人(TMR)集成,将其拓展到移动环境中。它将双臂操作、丰富感知与全向移动能力融合为单一的具身智能系统 —— 使数据采集与策略执行得以超越固定工作单元。汉堡、慕尼黑、匹兹堡和上海的所有竞赛测试平台均采用完全相同的 Mobile FR3 Duo 平台,以确保跨站点可复现性。
了解更多请访问 franka.de/product-prototypes · Franka Robotics GmbH
一个多维度框架,用于公平且有意义地评估双臂操作系统。
当前的双臂操作基准在硬件平台、任务定义与评估标准上彼此割裂。我们的研讨会致力于设计一项覆盖任务多样性、泛化性、鲁棒性与部署就绪度的社区级标准 —— 在标准化条件下于真实机器人上进行评估。
三项核心任务:线缆布线、可变形材料操作(导热垫放置),以及辅助生活与喂食。
三个层级 —— 结果(任务得分 + 完成时间,参与排名)、过程(仅记录、不参与排名:SPARC 平滑度、力矩/能耗、再抓取与交接次数,以及基于 BiCoord 的双臂协同 SMP/MAD/STI),以及安全(力/损伤阈值的硬性否决)。
共享的遥操作、标注规范,以及面向跨站点兼容性的硬件标定准则。
平台中立的 API 与仿真到现实迁移赛道,以纳入多样化的机器人形态。
一个开放、持续更新的排行榜,收录经过验证的真实机器人提交。各任务独立排名 —— 不计算总榜 —— 并采用各自的并列决胜规则(完成时间;辅助生活任务为最高完成阶段 → 总分 → 时间)。双臂任务按耦合类型标注(PerAct2);仿真结果遵循 RoboTwin 约定。
精心整理的多站点演示数据集,涵盖多样的操作者、环境与物体。
三项核心双臂操作任务 —— 富接触装配、可变形材料操作与辅助生活。任务在 Isaac Sim、MuJoCo 与 Genesis 中运行。所有任务均在全自主条件下评估。
工业路径识别、线缆抓取、布线与固定。
可变形物体操作(柔性线缆)、富接触交互与路径识别,以及双臂协同的再抓取。
主要:完成率 —— 按序正确布线并在 Y 形检查点处验证;仅从起点开始连续正确的部分计入(一旦出现错误布线,其后全部作废)。限时:30 分钟 · 仅全自主。次要:完成时间、再抓取次数、交接次数。过程:SPARC 平滑度、关节力矩、双臂协同(SMP/STI)。
工业电子制造 —— 一项热界面材料(TIM)装配基准。
可变形材料建模(软体物理)、非线性粘附与表面摩擦、柔性物体的高精度放置,以及结合触觉感知的富接触力控。
主要:有效放置 IoU —— 抓取成功 × 朝向成功 × IoU(0–1);朝向错误则计 0。并列决胜:完成时间。过程/安全:力阈值违规。
厨房到餐厅的四阶段服务流程:摆台 → 喂食 → 咖啡豆回收 → 清理。
两个房间 —— 厨房与用餐区。物体初始叠放在厨房的盘子上(盘子、杯子、装有咖啡豆的碗、勺子);从六个座位中随机指定三个;厨房内设有带称重的回收箱与标记的水槽区域。仿真与真实世界布置完全一致。
主要:四个阶段 —— 摆台、喂食、咖啡豆回收、清理 —— 每阶段 4 分(满分 16);咖啡豆回收按回收比例计分。排名:最高完成阶段 → 总分 → 完成时间。安全:头/面部峰值力(ISO/TS 15066)、看门狗干预。
参考仿真环境与完整评分脚本将作为基准框架的一部分发布。
相同的 Mobile FR3 Duo 平台部署于横跨亚洲、欧洲与北美的四个合作实验室。
设于汉堡大学机器人实验室(地点待定)的欧洲测试平台;负责协调数据协议与操作者标定。
提供平台集成与部署支持的产业测试平台。
设于卡内基梅隆大学的北美测试平台,用于跨大洲真实机器人验证。
从开放仿真到真实机器人决赛 —— 端到端流程,以及驱动整个基准运行的五大支柱。
一次提交如何从上传一路流转至物理验证。
我们诚邀来自学术界与产业界的团队参加第一阶段(仿真),并争取晋级第二阶段(真实机器人验证)。
由于开发者预览版发布晚于原计划,提交截止日期将延长;修订后的日程将很快在此处更新。对时间安排有疑问?联系我们 →
克隆仓库,开始开发。
EBiM Benchmark 现已作为开发者预览版发布——包含框架、仿真环境、机器人资产与任务环境。
开发前请查看 STATUS:STATUS.md → 列出当前可用的任务与仿真器组合。预览版仍在积极开发中,可能存在缺陷、功能不完整或 API 变更。
后续将陆续发布:Teleoperation Toolkit(键盘 / GELLO / 踏板 / VR)、基线模型、教程与文档、真实世界数据集及更多资产。本基准为开源项目,欢迎缺陷反馈与贡献。
如何提交贵队的作品。
每队每项任务提交一个 issue。截止日期前可随时更新提交:新开一个 issue 替代旧的即可。
一个公开的 GitHub 仓库,其中包含
Dockerfile
封装贵队的工作。
README
说明如何运行。
无需提供源代码。 可选择性附上补充材料(如 Hugging Face 模型权重或数据集)——如附上,README 中须包含清晰的集成说明。
提交将依据报名信息核验(团队名称 + 联系人邮箱);未报名的提交不予评测。基准仓库中的评测代码仅为开发辅助——正式评分以本页规则为准,由组委会运行。提交截止日期请见上方赛程说明。
每项任务最高 $5,250 奖金 — 现金 + 购买代金券、奖杯与礼品 — 在全部三项基准任务中各自独立颁发,由 AMD 及我们的社区合作伙伴提供支持。
下列每项奖金均按任务颁发,针对 三项基准任务各自独立 — 一支团队可在每项任务中均获名次。
按任务 · 在真实 Mobile FR3 Duo 上评判
按任务 · 在开放仿真阶段颁发
AMD 开发硬件分发至三个区域 — 美国、德国 与 亚洲 — 每个区域获得:
参赛资格:面向所有参加仿真与真实世界阶段的团队开放。详情请见 参与邀请。
EBiM 倡议的第三阶段是为期半天的研讨会(地点与日期待定),包含特邀报告、圆桌讨论与竞赛颁奖。