真實世界卓越獎
按任務 · 於實體 Mobile FR3 Duo 上評審
- 第一名 $1,500 現金 + Franka Robotics 採購抵用券(價值 US$3,750)· 獎盃 + 特別設計禮品
- 第二名 $1,000 現金 + Franka Robotics 採購抵用券(價值 US$2,500)· 特別設計禮品
- 第三名 $500 現金 + Franka Robotics 採購抵用券(價值 US$1,250)· 特別設計禮品
現今的雙臂操作基準相當零散。有些只在模擬中評估演算法;另一些則只在單一實驗室的單台機器人上測試。兩者都無法回答最關鍵的問題:這些方法能否在不同的平台、環境與操作者之間泛化?EBiM 競賽推出一項全球協同的基準,結合開放的模擬階段,以及在相同 Mobile FR3 Duo 平台上進行的跨洲實機驗證。透過在漢堡、慕尼黑與上海的實體硬體上驗證表現最佳的模擬方法,我們為具身雙臂操作建立首個可重現、跨實驗室的基準。
第一與第二階段構成競賽。第三階段則是發表結果的研討會。
釋出開放的模擬基準,著重於非結構化的操作情境:纜線佈線與插接、可變形物體操作(導熱墊放置),以及輔助生活與餵食任務。全球隊伍透過公開招募,於共享且可重現的排行榜上參賽。
從模擬階段晉級的隊伍,將在漢堡、慕尼黑與上海的合作實驗室,於實體 Mobile FR3 Duo 機器人上進行驗證。模擬結果公布後(8 月 24 日),晉級隊伍將獲得在實體平台上進行現場實作測試的時段(8 月 25 日 – 9 月 3 日,以各場地當地時間為準)。自開發者預覽版釋出起,程式碼儲存庫即已開放繳交;主辦單位的模擬評估可能隨時開始。9 月 4 日至 9 月 12 日,所有實機平台實測與評估均由主辦單位執行——以確保各據點之間的可比性。第二階段繳交截止時間為 2026 年 9 月 12 日(AoE)。
競賽結果、邀請演講與座談將於社群研討會(地點與日期待定)上發表。研討會將釋出基準協定、開放資料集,以及未來版本的社群路線圖。
第三階段:研討會與路線圖(地點與日期待定)—— 完整議程請見 研討會頁面。
由 Franka Robotics 推出的標準化雙臂移動操作平台,部署於所有國際測試據點。
Mobile FR3 Duo 透過整合觸覺移動機器人(TMR),將 FR3 Duo 參考平台延伸至移動環境。它將雙臂操作、豐富的感知能力與全向移動能力整合為單一的具身智慧系統——讓資料蒐集與策略執行得以超越固定的工作站。漢堡、慕尼黑與上海的所有競賽測試平台皆採用完全相同的 Mobile FR3 Duo 平台,以確保跨據點的可重現性。
了解更多請造訪 franka.de/product-prototypes · Franka Robotics GmbH
一套多面向的框架,用於公平且有意義地評估雙臂操作系統。
現有的雙臂操作基準在硬體平台、任務定義與評估標準上各自分歧。本研討會致力於設計一套涵蓋任務多樣性、泛化能力、穩健性與部署成熟度的社群標準——在標準化條件下於實體機器人上進行評估。
三項核心任務:纜線佈線與插接、可變形物體操作(導熱墊放置),以及輔助生活與餵食。
三個層級——結果(任務得分 + 完成時間,列入排名)、過程(僅記錄、不列入排名:SPARC 平滑度、力矩/能耗、重新抓取與交接次數,以及以 BiCoord 衡量的雙臂協調 SMP/MAD/STI),以及安全(力/損傷閾值的硬性否決)。
共享的遙控操作與標註規範,以及確保跨據點相容性的硬體校正準則。
平台中立的 API 與模擬到現實遷移賽道,以納入多樣化的機器人形態。
一個開放、持續更新的排行榜,收錄經驗證的實機繳交成果。各任務獨立排名——不計算總排名——並採用各自的同分決勝規則(完成時間;輔助生活與餵食任務則為最高完成階段 → 總分 → 時間)。雙臂任務依耦合類型標註(PerAct2);模擬結果遵循 RoboTwin 的慣例。
精心整理的多據點示範資料集,涵蓋多樣的操作者、環境與物體。
三項核心雙臂操作任務——接觸密集型組裝、可變形物體操作與輔助生活。任務可於 Isaac Sim、MuJoCo 與 Genesis 中執行。所有任務均以完全自主模式進行評估。
工業路徑辨識、纜線抓取、佈線與固定。
可變形物體操作(柔性纜線)、接觸密集型互動與路徑辨識,以及雙臂協調下的重新抓取。
主要:完成率——依序正確佈線並在 Y 形檢查點通過驗證;僅計入從起點開始連續正確的部分(一旦佈線錯誤,其後全部不計)。時限:30 分鐘 · 僅限完全自主。次要:完成時間、重新抓取次數、交接次數。過程:SPARC 平滑度、關節力矩、雙臂協調(SMP/STI)。
工業電子製造——一項熱介面材料(TIM)組裝基準。
可變形材料建模(柔體物理)、非線性黏附與表面摩擦、柔性物體的高精度放置,以及結合觸覺感測的接觸密集型力量控制。
主要:有效放置 IoU——抓取成功 × 方向正確 × IoU(0–1);方向錯誤則計 0 分。同分決勝:完成時間。過程/安全:力閾值違規。
從廚房到餐廳的四階段服務流程:擺桌 → 餵食 → 咖啡豆回收 → 清理。
兩個房間——廚房與用餐區。物體一開始疊放在廚房的盤子上(盤子、杯子、裝有咖啡豆的碗、湯匙);從六個座位中隨機指定三個;廚房內設有附秤重功能的回收箱與標記的水槽區域。模擬與真實世界的場景配置完全一致。
主要:四個階段——擺桌、餵食、咖啡豆回收、清理——每階段 4 分(滿分 16 分);咖啡豆回收依回收比例計分。排名:最高完成階段 → 總分 → 完成時間。安全:頭部/臉部峰值力(ISO/TS 15066)、看門狗介入次數。
參考模擬環境與完整評分腳本將作為基準框架的一部分釋出。
相同的 Mobile FR3 Duo 平台部署於橫跨亞洲與歐洲的三個合作實驗室。
設於漢堡大學機器人實驗室(地點待公布)的歐洲測試平台;負責協調資料協定與操作者校正。
測試平台營運負責人 · Donglin Chen
提供平台整合與部署支援的產業測試平台。
測試平台營運負責人 · Yuyang Tu
設於 Franka Robotics 上海分公司的亞洲測試平台,用於跨洲實機驗證。
測試平台營運負責人 · Dr. Wenkai Chen
未來測試平台 — 非 2026 年第二階段評估據點
已宣布將於 2026 年底舉辦另一場競賽,並計畫自此成為每年固定的測試平台。
測試平台營運負責人 · Shahram Najam Syed
從開放模擬到實機決賽——端到端流程,以及支撐整個基準運作的五大支柱。
一份繳交作品如何從上傳一路流轉至實體驗證。
我們誠摯邀請學術界與產業界的隊伍參加第一階段(模擬),並爭取晉級第二階段(實機驗證)。
所有繳交截止時間均以 Anywhere on Earth(AoE,UTC−12) 為準。現場實作測試時段依各測試平台的當地時間進行,不適用 AoE。第二階段的現場實作測試僅開放給依 8 月 24 日模擬結果晉級的隊伍。對時程有疑問嗎?聯絡我們 →
複製程式碼儲存庫,開始動手開發。
EBiM Benchmark 現已以開發者預覽版形式釋出——包含框架、模擬環境、機器人資產與任務環境。
開發前請先查看 STATUS:STATUS.md → 列出目前可用的任務與模擬器組合。預覽版仍在積極開發中,可能含有錯誤、功能不完整或 API 變更。
Teleoperation Toolkit 已釋出,支援鍵盤、GELLO 與 USB 腳踏板控制。後續將陸續釋出:VR 控制、基線模型、教學與文件、真實世界資料集及更多資產。本基準為開源專案,歡迎回報錯誤與貢獻。
如何繳交貴隊的作品。
每支隊伍的每項任務各開一個 issue。截止前可隨時更新:開一個新的 issue 取代舊的即可。
一個公開的 GitHub 儲存庫,內含
Dockerfile
封裝貴隊的成果。
README
說明如何執行。
不需要提供原始碼。 可選擇附上補充資料(例如 Hugging Face 模型權重或資料集)——若有附上,README 須包含清楚的整合說明。
繳交作品將依報名資料核對(隊伍名稱 + 聯絡人電子郵件);未報名的繳交作品不予評估。基準儲存庫中的評估程式碼僅供開發輔助——正式評分以本頁規則為準,並由主辦單位執行。繳交截止日期請見上方時程說明。
每項任務最高 $5,250 獎金 — 現金 + 採購抵用券、獎盃與禮品 — 在全部三項基準任務中各自獨立頒發,由 AMD、TÜV Rheinland 及我們的社群合作夥伴支持。
下列兩個獎項賽道的獎金均按任務頒發,針對 三項基準任務各自獨立 — 同一支隊伍可在每項任務中皆獲得名次。下方的 InnoHub 特別獎另行計分,其規則詳見該區塊。
按任務 · 於實體 Mobile FR3 Duo 上評審
按任務 · 於開放模擬階段頒發
AMD 開發硬體分發至三個區域 — 美國、德國 與 亞洲 — 每個區域可獲得:
僅針對任務三的穩健性評估,開放給以任務三參賽作品晉級第二階段的隊伍。由主辦單位於模擬環境中,針對各隊已繳交的第二階段策略進行評估 — 隊伍無須進行任何操作。總分 10 分:光照穩健性 4 分(四組光照設定),避障能力 6 分(三項障礙物)。評分完全獨立於主賽道排行榜,不影響主任務排名。
本獎項為全場共一套,不按任務分設。與上方的模擬獎為兩個獨立獎項,金額相同但評審標準不同 — 同一隊伍可同時獲得兩者。不設同分決勝規則:總分相同的隊伍並列同一名次,且各自完整獲得該名次的獎金;因並列而空出的名次不予頒發;總分為 0 的隊伍不列入排名。結果將另行公布。
光照評估參照 IEC 62849 標準設計,但僅評估模擬環境下的表現,尚未取得實測結果,不等同於通過該標準所規定的光照評估。完整評分規則:InnoHub 特別獎競賽規則。
參賽資格:開放所有參加模擬與真實世界階段的隊伍。InnoHub 特別獎僅限具任務三參賽作品的第二階段隊伍。詳情請見 參賽招募。
EBiM 倡議的第三階段是為期半天的研討會(地點與日期待定),包含邀請演講、座談與競賽頒獎。