午夜精品区一区二区三_日日摸日日碰夜夜爽无_久久青青草原_在线看的av_我想看国产一级毛片_中文无码vr最新无码av专区

GO-1大模型 × ADC對抗式數(shù)采:具身落地新范式 發(fā)布時間:2025-03-19 14:55:56

導 言 

在具身智能領域,智元啟元大模型GO-1 依靠先進的模型架構(gòu)和高質(zhì)量的海量真機數(shù)據(jù),展現(xiàn)出了通用的感知理解、動作執(zhí)行等能力。如今,我們進一步提出一種全新的數(shù)據(jù)采集范式ADC (Adversarial Data Collection, 對抗數(shù)據(jù)采集),大幅提升了數(shù)據(jù)的信息密度和多樣性,降低了后訓練所需的數(shù)據(jù)量、壓縮了訓練成本,且提升了模型的魯棒性和泛化性,與傳統(tǒng)范式相比,使用20%數(shù)據(jù)量達到其2.7倍的效果。


20250318-181605.png


論文地址: 

https://arxiv.org/abs/2503.11646

項目地址:

https://sites.google.com/view/adc-robot/home


01 ADC: 突破性的對抗式數(shù)據(jù)采集方案 


傳統(tǒng)的數(shù)據(jù)采集采用單次重復范式,存在視覺冗余、語言指令重復及動作相似的問題,導致數(shù)據(jù)的多樣性和有效性不足。盡管存在仿真等技術(shù)豐富數(shù)據(jù)的多樣性,但卻面臨Sim2real域間差異等問題,難以實現(xiàn)在復雜真實環(huán)境中快速高效擴展。


為了解決上述問題,智元推出了一種全新的數(shù)據(jù)采集方法——對抗式數(shù)據(jù)采集ADC,在數(shù)據(jù)采集過程中增加人為動態(tài)擾動,包括視覺和指令對抗,從而:

  • 提升單條數(shù)據(jù)的信息密度與多樣性

  • 減少后訓練數(shù)據(jù)需求量和模型訓練成本

  • 增強模型的泛化能力與魯棒性


如下圖所示,研究團隊對比分析了機器人操作中真實數(shù)據(jù)采集的兩種流程:

  • (a) 傳統(tǒng)方法: 遠程操作者在靜態(tài)視覺環(huán)境中,依據(jù)固定語言指令執(zhí)行任務。數(shù)據(jù)采集局限于單一場景,缺乏多樣性。

  • (b) 對抗式數(shù)據(jù)采集(ADC)框架: 采用“雙人協(xié)同”模式,新增一名對抗操作員,在采集數(shù)據(jù)時,對抗采集員通過動態(tài)擾動改變視覺元素(如背景、物體位置/姿態(tài))及語言指令(如任務目標),提升信息密度和多樣性。


2.png


02 ADC如何提升數(shù)據(jù)信息密度和多樣性 


ADC通過在單次示范中注入多層次、跨模態(tài)的擾動,大幅提升數(shù)據(jù)的信息密度與多樣性:

  • 視覺擾動: 動態(tài)調(diào)整物體位置、姿態(tài)及背景;

  • 語言擾動: 實時修改任務目標或換用不同表達方式;

  • 失敗恢復: 采集中自然融入錯誤應對策略;

  • 信息壓縮:單次ADC演采集≈數(shù)百次傳統(tǒng)采集的信息量。


3.png

其中,傳統(tǒng)數(shù)據(jù)采集方案與ADC數(shù)據(jù)采集方案對比視頻如下所示:



03 少數(shù)據(jù),強性能,更魯棒


為了驗證ADC設計的有效性,研究團隊在智元精靈G1機器人平臺上開展了實驗,設計了“水果分類放置”任務作為驗證場景。我們分別用傳統(tǒng)范式和ADC新范式采集了大致相當幀數(shù)的數(shù)據(jù)。由于ADC采集過程中無需頻繁重置場景,采集相同幀數(shù)的有效數(shù)據(jù)所需采集時間基本和傳統(tǒng)方式一致。


在靜態(tài)環(huán)境測試中,相比傳統(tǒng)數(shù)據(jù)采集訓練的模型,ADC采集的訓練數(shù)據(jù)使模型在任務中表現(xiàn)出突出的準確性與可靠性,平均成功率在3組不同測試條件下分別提升了53%、70%、59%。


5.png

在靜態(tài)環(huán)境下的性能評測


在動態(tài)環(huán)境測試中(例如物體位置或語言指令動態(tài)變化),傳統(tǒng)方法訓練的模型表現(xiàn)完全失效,成功率全部為0而ADC訓練的模型能夠應對視覺和語言擾動,展現(xiàn)出更高的魯棒性。


14.png

動態(tài)環(huán)境下對抗視覺擾動的性能評測


15.png

動態(tài)環(huán)境下對抗語言干擾的性能評測


為了驗證ADC數(shù)據(jù)的高信息密度特性,我們分別使用傳統(tǒng)采集方式的全量數(shù)據(jù)和ADC方式20%/50%/100%的數(shù)據(jù)進行了模型訓練,實驗結(jié)果表明,僅使用20%的ADC采集數(shù)據(jù),模型性能就達到全量傳統(tǒng)數(shù)據(jù)的2.7倍。


11.png

不同數(shù)據(jù)配比下的模型性能評測


還有比較驚喜的是,ADC數(shù)據(jù)訓練的模型在模擬“傳感器失效”(屏蔽機器人某些攝像頭輸入)的場景中,依然表現(xiàn)出強大的抗干擾能力。從注意力熱力圖中可以觀察到,ADC訓練的模型能夠動態(tài)將注意力集中在有效輸入上,而非分散在無關(guān)區(qū)域。對于這種情況,我們認為是由于ADC數(shù)據(jù)采集過程中,有更多的被遮擋或者部分可觀的數(shù)據(jù)情況,提升了模型對目標物體的觀察全面性,從而提高模型的視覺表征能力,這進一步驗證了ADC采集數(shù)據(jù)的多樣性。


8.png


9.png10.png


此外,通過ADC采集的數(shù)據(jù),訓練出的模型展現(xiàn)了動態(tài)人機協(xié)同適應錯誤恢復的能力。例如,在抓取失敗后,機器人能夠自動調(diào)整姿態(tài)并重新規(guī)劃路徑完成任務。


12.png

13.png


04 結(jié)語


ADC 技術(shù)以數(shù)據(jù)高信息密度與多樣性為核心,重新定義了具身智能的數(shù)據(jù)采集方式。通過GO-1 × ADC的新范式,大幅降低了具身智能的落地門檻,賦能千行百業(yè)。



主站蜘蛛池模板: 国产又黄又猛又粗又爽的A片小说 | xxxx在线免费观看 | 国产成人久久精品麻豆二区 | 色播五月激情五月 | av大片免费 | 国产精品奇米一区二区三区小说 | 男人的天堂av社区在线 | 视频二区中文字幕 | 三区在线 | avtt天堂网Av无码 | 美女全身赤裸裸免费网站 | 国产福利永久不卡在线观看 | 国产高清在线免费观看 | 成人h动漫精品一区二区樱花 | 亚洲精品综合网 | 久久999精品久久久有什么优势 | 佐山爱痴汉视频一区二区三区 | 少妇午夜啪爽嗷嗷叫视频 | 欧美一二三四成人免费视频 | 亚洲精品国产黑色丝袜 | 麻豆乱码国产一区二区三区 | 欧美一级二级视频 | 九九热re日本精品 | 国产女人高潮抽搐叫床视频 | 日韩黄色一级毛片 | 7777在线视频免费播放 | 亚洲国产精品一区二区www | 国产在线精品一区二区不卡了 | 日本在线观看视频一区 | 91综合一区| 91探花系列在线播放 | 中文字幕无线码中文字幕免费 | 欧美疯狂xxx免费视频 | 国产精品老牛影院av | 国产农村妇女一区二区 | 成年女人喷潮视频免费观看 | com毛片| AV中文字幕DVD水多多 | 久草免费网站 | 一区二区三区高清在线观看 | 亚洲一区不卡在线 |