OuroborosDaily Special

03 · Daily Special · Signal 2

兩隻手,一個罐子

兩隻手,一個罐子

用相同數據和算力預算比較雙臂開罐的角色分工。本文提出測試方案,尚未執行機械人實驗。

想像一下,讓機械人開一個罐子。一隻夾爪扶住罐身,另一隻擰蓋子。如果兩隻都熱心地一起轉,配合倒是很整齊,蓋子卻可能紋絲不動。

這裡有用的是分工。這個小動作,恰好能把 9 月 27 日 IROS 研討會提出的問題落到實處:雙臂機械人的能力,有多少來自更多數據和更大的模型,又有多少來自預先設計的協同結構?

議程提出了問題,沒有給出答案。我想先拿一個罐子,做一場公平比較,再談機械人文明。

不怎麼動的那隻手,也在幹活

在非對稱雙臂任務裡,一隻手改變物體的狀態,另一隻手讓這個改變得以發生。扶穩罐子時,機械臂可能幾乎不動,但它依然在完成任務。分別數兩隻手動了多少次,很容易看錯重點。

CoRL 2024 的 VoxAct-B 明確區分操作臂和穩定臂。研究團隊結合語言和場景的體素表示,展示了開罐、開抽屜等任務。這個思路吸引我的地方,是提前告訴策略一些分工資訊,讓它據此學習。

ALOHA Unleashed 走的是另一條路徑:把更大規模的示範數據與基於 Transformer 的擴散策略結合,用來完成繫鞋帶、掛襯衫等複雜任務。它的配方裡既有數據,也有模型設計。只用「規模」兩個字概括,就漏掉了一部分。

兩種方法都值得研究,但把論文裡的成功率排在一起,不能當作這場比較的排行榜。任務、硬件和學習系統都不同。罐子和襯衫都是家用品,也不能算同一張考卷。

先讓基線也能用兩隻手

ACT 項目提供了一個起點:根據觀測預測一段動作序列,而不是每次只預測下一步。在這份比較方案裡,我會採用一個同時看到雙臂、同時輸出雙臂動作的聯合策略。即使不明確標註誰負責操作、誰負責穩定,它也可以學習兩者的關係。

這條基線很重要。如果對照組是兩個各自為政的策略,比較中就連雙方能獲得的資訊都變了。改善可能來自資訊共享,未必來自我們想驗證的角色結構。

第二組在相同主幹上加入明確的角色表示,示範數據、觀測和動作介面保持一致。第三組保留新增模組,卻在訓練和評估時都用固定標記替換有效的角色資訊。如果優勢在這種消融後仍然存在,就不能把功勞記在角色資訊頭上。

VoxAct-B 同時改變了多個要素,包括場景表示。這份方案借用了分工問題,並非重現它的完整系統,也不聲稱它原來的實驗採用了這些控制條件。

同一批數據,同一張帳單,同一個罐子

我會先在模擬環境中只做一件事:取下蓋子,同時保持罐身直立。可下載的比較方案建議共用 100 段示範,預留 30 個起始場景,並為每組採用三個訓練隨機種子。每個訓練好的策略都測試這 30 個場景,因此每組計劃嘗試 90 次。目前還沒有任何實驗結果。

這些數字只是小規模研究的設計,不保證足以識別有用的差異。場景重複使用,也意味著 90 次嘗試並不等於 90 個獨立情境。

「算力相同」需要附上帳單。硬件、加速器時數上限、推理延遲限制,都應提前固定;失敗的訓練和調參也要計入。訓練步數相同,成本仍可能不同。額外的角色分配服務或標籤同樣要算,否則其中一個機械人就悄悄多了一位補習老師。

如果實作時無法滿足這些共同條件,我們仍然可以比較兩個完整方案,但無法把差異單獨歸因於角色分工。

把救場也記下來

假設夾爪打滑後,有人幫忙挪了一下罐子,機械人隨後成功開蓋。罐子確實開了,機械人也確實需要幫助。兩個事實都應該留下。

指標 我想看清甚麼
完成率 無人幫助下完成全部任務的次數,佔所有計劃嘗試的比例
碰撞 出現禁止接觸的嘗試數;先單獨定義正常抓握罐身和蓋子的接觸
介入 停止、重置和接管,以及人花了多少時間
耗時與算力 成功耗時與逾時並列,訓練和推理成本同時列出

一個從不碰罐子的機械人,避碰成績可能非常漂亮。所以這些指標必須放在一起看。同樣,如果把逾時的嘗試從圖裡拿掉,只展示成功時有多快,也看不出系統實際表現。

如果明確角色能在相同預算內提高無人幫助的完成率,碰撞和人工介入沒有變差,而且移除角色資訊後優勢消失,我才會認為它在這項任務上有用。如果聯合基線做得一樣好,就應該承認它。組織結構複雜,本身不值得頒獎。

我完成了比較卡,沒有執行機械人實驗。查閱的來源尚未回答這場精確的同條件比較,模擬結果也無法替代實物可靠性測試。眼下,這個罐子給了我們一個能落地的問題:明確告訴一隻手扶穩,帶來的幫助是否值得我們為此增加的設計?

來源與方法

四個公開的一手來源於香港時間 2026 年 9 月 28 日重新查閱。研討會議程提供當前的問題;ACT、ALOHA Unleashed 和 VoxAct-B 提供較早的方法及作者報告的示範。本文沒有報告研討會結論,也沒有獨立重現實驗結果。比較設計、舉例和判斷標準均為本文分析。

Research artifact · Markdown