0
| 本文作者： 梁丙鑒 | 2025-12-31 16:35 |
雷峰網(wǎng)訊 12月12日，第八屆 GAIR 全球人工智能與機(jī)器人大會(huì)于深圳正式拉開帷幕。
本次大會(huì)為期兩天，由GAIR研究院與雷峰網(wǎng)聯(lián)合主辦，高文院士任指導(dǎo)委員會(huì)主席，楊強(qiáng)院士與朱曉蕊教授任大會(huì)主席。大會(huì)共開設(shè)三個(gè)主題論壇，聚焦大模型、具身智能、算力變革、強(qiáng)化學(xué)習(xí)與世界模型等多個(gè)議題，描繪AI最前沿的探索群像，折射學(xué)界與產(chǎn)業(yè)界共建的智能未來。
作為 AI 產(chǎn)學(xué)研投界標(biāo)桿盛會(huì)，GAIR自2016年創(chuàng)辦以來，始終堅(jiān)守 “傳承+創(chuàng)新” 內(nèi)核，是 AI 學(xué)界思想接力的陣地、技術(shù)交流的平臺(tái)，更是中國(guó) AI 四十年發(fā)展的精神家園。過去四年大模型驅(qū)動(dòng) AI 產(chǎn)業(yè)加速變革，歲末年初 GAIR 如約而至，以高質(zhì)量觀點(diǎn)碰撞，為行業(yè)與大眾呈現(xiàn)AI時(shí)代的前沿洞見。
在12月13日的“數(shù)據(jù)&一腦多形”專場(chǎng)，上海人工智能實(shí)驗(yàn)室青年科學(xué)家王靖博進(jìn)行了以《從虛擬走向現(xiàn)實(shí)，構(gòu)建通用人形機(jī)器人控制與交互策略》為主題的演講。
長(zhǎng)期以來，人形機(jī)器人的研究是否必要一直存在著爭(zhēng)議。演講伊始，王靖博博士就對(duì)此做出了回應(yīng)。他指出，由人類搭建的真實(shí)生活環(huán)境，也面向人類的各種需求，這決定了人形必然是一種相對(duì)通用的方案。在數(shù)據(jù)維度，互聯(lián)網(wǎng)上有大量來源于人類日常生活的第一人稱及第三人稱數(shù)據(jù)，其中包含的運(yùn)動(dòng)邏輯和操作邏輯，對(duì)于模型訓(xùn)練來說都是可用資源。在應(yīng)用層，人形機(jī)器人的交互邏輯、安全性等研究，最終也會(huì)回饋到人自身。
而人形機(jī)器人現(xiàn)階段研究的核心問題之一，就是如何在仿真中訓(xùn)練機(jī)器人，并使其在真實(shí)世界中實(shí)現(xiàn)穩(wěn)定、可泛化的運(yùn)動(dòng)與控制。由于仿真環(huán)境與真實(shí)物理世界之間存在的差異，人形機(jī)器人的技能訓(xùn)練與部署長(zhǎng)期面臨著Sim2Real的鴻溝。對(duì)此，王靖博博士介紹了其團(tuán)隊(duì)的最新成果，通過對(duì)日常生活環(huán)境的集成性構(gòu)造，以及創(chuàng)新的感知和表示方案，顯著提升了復(fù)雜地形下運(yùn)動(dòng)策略的遷移成功率。其核心在于用體素化的點(diǎn)云表示壓縮環(huán)境信息，并在仿真中引入機(jī)器人本體的激光雷達(dá)自掃描，以更好地對(duì)齊仿真與真實(shí)的傳感器數(shù)據(jù)分布，從而使機(jī)器人能提前感知地形變化，如臺(tái)階、吊頂，并預(yù)先規(guī)劃動(dòng)作，而非依賴碰撞后的力反饋。
此外，王靖博博士在演講中提到了構(gòu)建統(tǒng)一的動(dòng)作技能表征，作為基礎(chǔ)的人形機(jī)器人運(yùn)動(dòng)控制模型，可以進(jìn)一步拓展在有效的可遷移的人形機(jī)器人感知方案下的動(dòng)作與技能選擇，使得人形機(jī)器人可以在基礎(chǔ)的運(yùn)動(dòng)之外完成和場(chǎng)景的交互已經(jīng)多種球類運(yùn)動(dòng)。
在演講中，王靖博博士進(jìn)一步指出，人形機(jī)器人的控制策略正從“盲走盲動(dòng)”轉(zhuǎn)向“感知驅(qū)動(dòng)”，融合視覺、激光雷達(dá)等環(huán)境感知，以實(shí)現(xiàn)機(jī)器人在復(fù)雜、非結(jié)構(gòu)化環(huán)境中的自主導(dǎo)航與交互是必然趨勢(shì)。關(guān)于人形機(jī)器人的未來，王靖博博士認(rèn)為，當(dāng)前的模型參數(shù)量和學(xué)習(xí)方式限制了技能容量和更多元控制形式的探索。長(zhǎng)遠(yuǎn)來看，構(gòu)建容量更大，更高效利用數(shù)據(jù)的方案，例如離線的監(jiān)督學(xué)習(xí)，是提升機(jī)器人技能通用性和長(zhǎng)程控制能力的可行路徑。
以下為王靖博的現(xiàn)場(chǎng)演講內(nèi)容，雷峰網(wǎng)進(jìn)行了不改變?cè)獾木庉嬚恚?/p>
大家好，我是王靖博，來自上海人工智能實(shí)驗(yàn)室具身智能中心。我們主要研究方向是人形機(jī)器人的技能學(xué)習(xí)以及Sim2Real相關(guān)課題。
我今天的報(bào)告是想分享最近人形機(jī)器人全身控制方面的進(jìn)展，正好今天也站在2025年的年底，對(duì)明年我覺得比較重要的問題做一些展望。首先很多人會(huì)對(duì)人形機(jī)器人或者人形角色有這樣的疑問，就是我們?yōu)槭裁磿?huì)去研究這樣一個(gè)課題。在真實(shí)世界中做機(jī)器人，為什么一定要做成這么一個(gè)人形的形態(tài)？在虛擬世界里建模的時(shí)候，為什么也特別關(guān)心人類這樣一種特定的對(duì)象？
選擇人形角色作為研究對(duì)象，主要基于以下三方面原因。首先，現(xiàn)實(shí)物理世界的生活場(chǎng)景大多圍繞人類需求搭建，因此針對(duì)人形角色開展的研究方案具備天然的通用性。其次，從數(shù)據(jù)維度分析，除自然風(fēng)光與動(dòng)物相關(guān)數(shù)據(jù)外，互聯(lián)網(wǎng)中蘊(yùn)藏著海量源于人類日常生活的數(shù)據(jù)集，無論是第一人稱還是第三人稱視角，均包含豐富的人類運(yùn)動(dòng)與操作邏輯，可為研究提供充足的數(shù)據(jù)支撐。最后，人形角色研究具備顯著的應(yīng)用價(jià)值，以自動(dòng)駕駛領(lǐng)域?yàn)槔浜诵哪繕?biāo)之一便是保障人機(jī)交互過程中的安全性，避免車輛對(duì)行人造成傷害。綜上，從研究對(duì)象的適配性、數(shù)據(jù)資源的豐富度到應(yīng)用場(chǎng)景的實(shí)用性來看，人形角色都是理想的研究載體。
本研究的核心主題聚焦于人形角色中央控制系統(tǒng)的構(gòu)建方法。研究中，所有人形角色的訓(xùn)練均在仿真環(huán)境中完成，最終目標(biāo)是實(shí)現(xiàn)模型從仿真到真實(shí)物理世界的遷移，達(dá)成人形角色的自主化運(yùn)行。具體而言，研究重點(diǎn)關(guān)注以下兩個(gè)關(guān)鍵問題：其一，技能的真實(shí)世界落地及仿真到現(xiàn)實(shí)遷移（Sim2Real）的核心要點(diǎn)，包括行走、奔跑、跳躍、下蹲等基礎(chǔ)技能的習(xí)得方式，以及如何在不同人形硬件平臺(tái)、高噪聲環(huán)境下完成穩(wěn)定部署，確保機(jī)器人可靠執(zhí)行各類技能；其二，技能的精準(zhǔn)調(diào)用與靈活組合策略，例如上樓梯動(dòng)作需實(shí)現(xiàn)雙腿交替抬升的協(xié)同控制，側(cè)踢動(dòng)作則要求單腿支撐身體平衡的同時(shí)完成另一腿的精準(zhǔn)抬起。此外，系統(tǒng)還需具備語言指令的精準(zhǔn)理解與執(zhí)行能力，能夠在真實(shí)非結(jié)構(gòu)化地形中實(shí)現(xiàn)無碰撞運(yùn)動(dòng)，確保人形角色在復(fù)雜場(chǎng)景下的穩(wěn)定運(yùn)行
關(guān)于具體的控制方案怎么做，今天我就不展開細(xì)講了。我想和大家重點(diǎn)探討的，是另一個(gè)核心話題——就是如何把高頻感知，也就是perception，和控制策略（control policy）深度結(jié)合起來。
大家可以先想一想：我們?yōu)槭裁幢仨氁龈兄c控制的融合？首先，對(duì)于人形機(jī)器人來說，我們肯定不希望它只能在平地上活動(dòng)吧？那最基礎(chǔ)的一點(diǎn)，它就必須具備理解環(huán)境幾何結(jié)構(gòu)的能力。其次，如果我們想讓它從A點(diǎn)走到B點(diǎn)，再完成拿取物品的任務(wù)，它就必須精準(zhǔn)掌握自己的位置，以及目標(biāo)物體的位置。第三點(diǎn)也很關(guān)鍵，機(jī)器人所處的環(huán)境里不只有它自己——實(shí)際應(yīng)用中，我們往往需要它和其他角色產(chǎn)生交互，所以這種互動(dòng)能力（interaction）對(duì)它來說至關(guān)重要。
基于這幾點(diǎn)，我們可以把問題簡(jiǎn)化一下。我們先從最基礎(chǔ)的問題入手，就是人形角色的局部運(yùn)動(dòng)（local motion）。我們絕不希望人形機(jī)器人只能局限在平地上活動(dòng)，就像大家在機(jī)器人馬拉松這類視頻里看到的那樣，在平坦地面上，靠人操控?fù)u桿才能移動(dòng)。
給大家舉個(gè)具體的場(chǎng)景：假設(shè)我有一臺(tái)人形機(jī)器人，讓它從這個(gè)門進(jìn)來，要在一間結(jié)構(gòu)非常復(fù)雜的屋子里活動(dòng)——這里到處都是障礙物，還有樓梯、吊頂之類的遮擋物，最終目標(biāo)是讓它順利從門口走到二樓的門口。在這個(gè)任務(wù)場(chǎng)景下，機(jī)器人的感知需求就會(huì)收斂成幾個(gè)核心研究方向：比如腳下的地形是什么形態(tài)、周圍的物體是什么、頭頂上方的環(huán)境又是什么樣。我們希望能打造這樣一套控制策略，能夠使得這個(gè)人形機(jī)器人在擬人運(yùn)動(dòng)的同時(shí)，把這些所有障礙都避開。
那為了實(shí)現(xiàn)這樣一件事，第一個(gè)比較基礎(chǔ)的思路，是用RGB相機(jī)。但用RGB相機(jī)做Sim2Real（仿真到現(xiàn)實(shí)遷移），會(huì)面臨不少問題。如果大家用過Isaac Lab這類仿真器就知道，仿真環(huán)境里的光照、紋理和真實(shí)世界差距很大，渲染出來的圖像和真實(shí)場(chǎng)景完全不同。要是基于這種仿真圖像去做Sim2Real遷移，你會(huì)發(fā)現(xiàn)訓(xùn)練出的策略根本無法理解真實(shí)世界——在這種情況下，模型完全沒法適配真實(shí)環(huán)境的樣子。第二個(gè)問題是RGB相機(jī)缺乏幾何信息。我們做最基礎(chǔ)的局部運(yùn)動(dòng)（local motion），核心是要理解地形，但RGB圖像沒法直接呈現(xiàn)任何幾何信息，這也是個(gè)很棘手的問題。
第二種方案是深度相機(jī)，這也是很多人在研究的方向。早年有些工作，確實(shí)有用深度相機(jī)做環(huán)境重建或者避障的嘗試。但我想做的，是一套不需要預(yù)建地圖的控制策略。而且我們大概率需要讓這個(gè)感知方案和最基礎(chǔ)的強(qiáng)化學(xué)習(xí)（RL）策略一起訓(xùn)練，所以深度相機(jī)同樣會(huì)存在Sim2Real的鴻溝。在仿真環(huán)境里，深度數(shù)據(jù)都是非常干凈、邊緣銳利的幾何形態(tài)，但在真實(shí)世界中，用深度相機(jī)采集到的數(shù)據(jù)完全不是這樣。另外，深度相機(jī)的感受野也比較小，覆蓋范圍有限。
第三種方案是用激光雷達(dá)這類傳感器。雷達(dá)確實(shí)有優(yōu)勢(shì)，它獲取的幾何信息相對(duì)準(zhǔn)確，探測(cè)范圍也足夠大。但這類幾何傳感器依然存在問題，比如一些異常點(diǎn)（outlayer）很難在仿真中模擬；而且從實(shí)際應(yīng)用角度來說，雷達(dá)掃描會(huì)有100到200毫秒的延遲，不像RGB相機(jī)或深度相機(jī)那樣能達(dá)到很高的感知頻率。
其實(shí)總結(jié)一下，我們想做一個(gè)優(yōu)秀的、帶感知的局部運(yùn)動(dòng)（local motion）系統(tǒng)，核心要解決這幾個(gè)問題：首先得明確面對(duì)的是何種環(huán)境，其次要確定采用什么樣的感知方案，第三是明確對(duì)環(huán)境的表征形式，最后還要解決如何與局部運(yùn)動(dòng)策略進(jìn)行聯(lián)合訓(xùn)練（joint training）的問題。把這幾點(diǎn)綜合起來，就是我們最近開展的一項(xiàng)核心工作。
首先來看環(huán)境構(gòu)建的問題。我們整合了日常生活中可能遇到的多種環(huán)境類型，做了一個(gè)集成化的環(huán)境構(gòu)建。比如包含走臺(tái)階、高臺(tái)，旁邊有小柜子需要繞行、有門需要避讓的常規(guī)場(chǎng)景；也涵蓋了梅花樁這種更極端的地形，還有頭頂存在不同形式吊頂?shù)膱?chǎng)景——這種情況下，就需要機(jī)器人識(shí)別出頭頂?shù)恼系K物，然后自主采取下蹲姿勢(shì)通過。我們做這樣的環(huán)境集成，核心目標(biāo)就是讓機(jī)器人能習(xí)得一套“多場(chǎng)景通用”的控制策略，適配不同環(huán)境的需求。
第二個(gè)重點(diǎn)工作，是我們?cè)诟兄桨负铜h(huán)境表征上做了創(chuàng)新。我們沒有選擇深度相機(jī)或點(diǎn)云這種常規(guī)形式，主要有兩個(gè)原因：一方面，就像剛才提到的，直接用深度相機(jī)的話，很難模擬真實(shí)世界中的噪聲，Sim2Real過程中的噪聲問題沒法妥善解決；另一方面，如果直接用點(diǎn)云，不僅存在大量異常點(diǎn)（outlayer）噪聲，還包含很多冗余信息，需要對(duì)每個(gè)點(diǎn)逐一進(jìn)行表征，效率很低。但實(shí)際上，我們的核心需求只是知道“附近有沒有障礙物”，只需要一種非常緊湊（compact）的表征形式就足夠了。所以最終，我們選擇把點(diǎn)云轉(zhuǎn)化為體素（voxel）形式來做環(huán)境表征。
第三件事，這是從實(shí)際應(yīng)用（in practice）的角度出發(fā)的。我們用Isaac Lab做仿真的時(shí)候，發(fā)現(xiàn)它本身并不支持對(duì)機(jī)器人本體的雷達(dá)掃描。所以我們額外做了工作，把機(jī)器人本體的掃描功能加上來，目的就是進(jìn)一步縮小Sim2Real的鴻溝。另外，有了這樣的環(huán)境表征后，我們還需要讓它能在算力非常有限的平臺(tái)上實(shí)時(shí)運(yùn)行。這里我們也做了優(yōu)化，沒有選擇大家常用的3D CNN，而是對(duì)不同高度的體素做了切片處理，這樣就能快速完成對(duì)地形的表征。
我們也把我們的方法和很多現(xiàn)有方法做了對(duì)比。其實(shí)，局部透視運(yùn)動(dòng)（perspective local motion）是一個(gè)非常經(jīng)典的問題，之前很多研究是用深度相機(jī)、點(diǎn)云來做的。相比于這些方法，我們的優(yōu)勢(shì)主要有兩點(diǎn)：第一，我們對(duì)機(jī)器人做了改裝，它的視場(chǎng)角（FOV）足夠大，能全面感知周圍環(huán)境，所以實(shí)現(xiàn)全向運(yùn)動(dòng)完全沒問題；第二，我們支持多種地形的訓(xùn)練，再加上剛才說的本體掃描改裝方案，讓機(jī)器人能實(shí)現(xiàn)全地形運(yùn)動(dòng)。
關(guān)于剛才提到的本體掃描問題，我們也專門做了對(duì)比實(shí)驗(yàn)——就是看“是否加入本體掃描”，對(duì)仿真中輸入信息的影響。結(jié)果發(fā)現(xiàn)，這也是一個(gè)很關(guān)鍵的Sim2Real鴻溝：除了之前說的傳感器本身的噪聲問題，加不加本體自掃描，會(huì)讓系統(tǒng)性能產(chǎn)生非常大的差異。我們的實(shí)驗(yàn)證明，加上本體自掃描后，仿真中傳感器的表現(xiàn)能和真實(shí)世界更好地對(duì)齊，系統(tǒng)性能也會(huì)顯著提升。
這是我們論文里的一些測(cè)試演示視頻（demo），大家可以看到，機(jī)器人能穩(wěn)定通過很多復(fù)雜場(chǎng)景，比如上高臺(tái)。可能有朋友會(huì)說，之前也看過一些機(jī)器人盲走的演示，覺得上高臺(tái)、走臺(tái)階不算特別新奇的事。但大家可以注意一個(gè)細(xì)節(jié)：之前很多盲走方案，機(jī)器人必須等腳碰到臺(tái)階，獲得了力反饋之后，才知道前方有障礙，進(jìn)而抬起腳步。而且，抬起多高的高度，其實(shí)它是沒法提前知曉的。
之前那種靠力反饋觸發(fā)動(dòng)作的方式，其實(shí)是一種非常不安全的形式。而我們的方案加入了合理的感知模塊，就能解決這個(gè)問題。比如demo里左上角上高臺(tái)的場(chǎng)景，機(jī)器人在還沒碰到高臺(tái)的時(shí)候，就提前做好了抬腳動(dòng)作的規(guī)劃——它能感知到前方環(huán)境的變化，進(jìn)而主動(dòng)調(diào)整自身行為。
包括應(yīng)對(duì)吊頂?shù)膱?chǎng)景也是一樣：我們的機(jī)器人不會(huì)等到碰到吊頂才反應(yīng)，而是提前感知到頭頂?shù)恼系K物，就主動(dòng)做出規(guī)避動(dòng)作。甚至面對(duì)連續(xù)的吊頂區(qū)域，在沒有空隙的地方能自主下蹲通過。這其實(shí)就是帶感知的局部運(yùn)動(dòng)（perception local motion）一個(gè)非常核心的優(yōu)勢(shì)——預(yù)判性，也是它區(qū)別于傳統(tǒng)盲走方案的關(guān)鍵性質(zhì)。
最后還有一點(diǎn)感悟想和大家分享。現(xiàn)在行業(yè)里大家一直在討論Sim2Real的鴻溝問題，我們做完這項(xiàng)工作后，也有了一些自己的見解。其實(shí)很多方案在仿真環(huán)境里表現(xiàn)得非常好，比如做帶感知的局部運(yùn)動(dòng)時(shí)，在仿真中給一個(gè)非常干凈的熱力圖（heatmap），或者其他類型的3D觀測(cè)數(shù)據(jù)，仿真中的成功率能做到很高，甚至接近100%。但大家如果實(shí)際去做部署就會(huì)發(fā)現(xiàn)，這些方案在真實(shí)世界中的表現(xiàn)往往非常不穩(wěn)定，和仿真結(jié)果的差距很大。
我們認(rèn)為這并不是一個(gè)很好的Sim2Real的解決方案，我們也測(cè)了一下自己的策略，發(fā)現(xiàn)我們這個(gè)方案的Sim2Real表現(xiàn)是非常一致的。其實(shí)我覺得這是一份非常好的性質(zhì)，就是你可以在simulation里很好地研究你的策略，讓Sim和Real的表現(xiàn)盡可能一致，所以你也就可以得到一個(gè)很可信的to Real的控制策略。
講完感知，這里我想延伸一下：我們肯定不希望機(jī)器人只懂運(yùn)動(dòng)這一件事。大家今年也看到了很多機(jī)器人翻跟頭的演示，各種各樣的控制策略層出不窮。但我們最終的目標(biāo)是，讓機(jī)器人擁有一個(gè)相對(duì)通用的行為基礎(chǔ)模型控制策略——它不僅能走路、翻跟頭，還能完成各類交互任務(wù)，并且把我們剛才說的感知能力融合進(jìn)去。
要實(shí)現(xiàn)這個(gè)目標(biāo)，有個(gè)核心問題需要解決：當(dāng)我們想建模這類通用行為時(shí)，機(jī)器人會(huì)掌握很多技能，還要面對(duì)復(fù)雜環(huán)境，這就需要我們建模一個(gè)“行為隱變量”（behavior latent）。如果沒有這個(gè)隱變量，相當(dāng)于機(jī)器人只有一個(gè)狀態(tài)（state），由狀態(tài)直接決定動(dòng)作，環(huán)境因素?zé)o法影響它的行為選擇。這樣的機(jī)器人就像個(gè)提線木偶，只能完成單一、程序化的執(zhí)行過程，根本談不上通用性。
但如果有了這個(gè)行為隱變量，情況就不一樣了：機(jī)器人可以根據(jù)環(huán)境選擇不同的隱變量，也可以根據(jù)任務(wù)選擇不同的隱變量，從而完成各種各樣的任務(wù)。包括我們剛才說的感知信息輸入、交互信息輸入，這些都能通過隱變量實(shí)現(xiàn)技能的靈活組合。可能有朋友會(huì)問，這和Sim2Real有什么關(guān)系？其實(shí)這是圖形學(xué)領(lǐng)域長(zhǎng)期關(guān)注的經(jīng)典問題——如何構(gòu)建高質(zhì)量的行為隱變量，而它恰恰是解決Sim2Real通用性問題的關(guān)鍵之一。
我們把建模這種運(yùn)動(dòng)隱變量（motion latent）的任務(wù)，分成了兩類形式：
第一類是任務(wù)無關(guān)的：我不關(guān)心機(jī)器人要執(zhí)行什么具體任務(wù)，只關(guān)注當(dāng)前狀態(tài)到未來狀態(tài)變化的隱變量。比如它向左走、向右走都可以，核心是捕捉運(yùn)動(dòng)本身的規(guī)律，和具體任務(wù)脫鉤。
第二類是任務(wù)相關(guān)的：這種隱變量會(huì)直接參與任務(wù)決策。比如機(jī)器人處于站立狀態(tài)時(shí)，輸入不同的運(yùn)動(dòng)形式或控制模式，就能在這個(gè)狀態(tài)下匹配到不同的任務(wù)相關(guān)隱變量。這樣一來，面對(duì)不同任務(wù)時(shí)，我們可以直接實(shí)現(xiàn)隱變量的快速遷移（shot transfer），不用再額外訓(xùn)練一個(gè)高層控制器（high-level Controller）去尋找合適的隱變量。
所以我們團(tuán)隊(duì)選擇了第二條路——打造一個(gè)“任務(wù)感知型”（task-aware）機(jī)器人。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們分了四個(gè)步驟推進(jìn)：
第一步是數(shù)據(jù)重構(gòu)（retargeting）。因?yàn)槲覀兊哪Ｐ托枰谌祟悢?shù)據(jù)學(xué)習(xí)，所以先做了一輪數(shù)據(jù)重構(gòu)工作，把人類的運(yùn)動(dòng)數(shù)據(jù)適配到機(jī)器人模型上。
第二步是訓(xùn)練代理智能體（proxy agent）。我們?cè)诜抡姝h(huán)境中，利用所有可獲取的特權(quán)變量（privileged variables）訓(xùn)練了一個(gè)模型。簡(jiǎn)單說，就是在理想環(huán)境下，先讓模型學(xué)習(xí)到基于重構(gòu)數(shù)據(jù)的最優(yōu)行為表現(xiàn)，打下基礎(chǔ)。
第三步是設(shè)計(jì)控制模式與掩碼（mask）。既然是任務(wù)感知型，就需要明確常用的控制模式。我們?cè)O(shè)計(jì)了一些基礎(chǔ)控制模式，并通過掩碼的形式實(shí)現(xiàn)控制模式的選擇，讓機(jī)器人能精準(zhǔn)匹配對(duì)應(yīng)任務(wù)的行為需求。
第四步是師生學(xué)習(xí)（teacher-student）。因?yàn)樽罱K要落地到真實(shí)世界，我們通過師生學(xué)習(xí)框架，把教師模型（理想環(huán)境下的proxy agent）和學(xué)生模型（適配真實(shí)環(huán)境的模型）的隱變量分布盡可能對(duì)齊，從而實(shí)現(xiàn)Sim2Real的遷移。
這里補(bǔ)充一句，我們這個(gè)工作做得比較早，大概今年7月份就完成了。雖然今年大家已經(jīng)看到很多類似的演示，但在當(dāng)時(shí)，這算是一個(gè)比較通用的控制策略，還是有一定前瞻性的。
除了基礎(chǔ)的運(yùn)動(dòng)跟蹤（motion tracking），這個(gè)模型還有不少實(shí)用能力。比如輸入“下蹲”的姿態(tài)指令，模型會(huì)生成對(duì)應(yīng)的參考姿態(tài)并執(zhí)行；輸入向前、向后、向左、向右的運(yùn)動(dòng)指令，模型能在隱變量空間中找到不同隱變量的線性組合，精準(zhǔn)控制機(jī)器人完成相應(yīng)運(yùn)動(dòng)。
我們還做了一些趣味測(cè)試，比如模仿人形機(jī)器人運(yùn)動(dòng)會(huì)上“忍者式跑步”的動(dòng)作。測(cè)試發(fā)現(xiàn)，這個(gè)模型支持全身遙操作（whole-body teleoperation），不管是原地行走，還是一些復(fù)雜的全身運(yùn)動(dòng)，都能很好地完成。基于這個(gè)策略，機(jī)器人還能實(shí)現(xiàn)原地起立這類幅度較大的動(dòng)作。
另外，我們也對(duì)隱變量做了深入分析：既然是隱變量模型，它的隱變量是否具備結(jié)構(gòu)化特征？我們?cè)诜抡娴椒抡妫⊿im2Sim）的場(chǎng)景下做了測(cè)試，通過T-SNE可視化發(fā)現(xiàn)，向前、向后、向左、向右這些運(yùn)動(dòng)對(duì)應(yīng)的隱變量特征分得非常開，而且能清晰看到不同運(yùn)動(dòng)狀態(tài)之間的過渡可能性，這說明我們的隱變量確實(shí)捕捉到了運(yùn)動(dòng)的結(jié)構(gòu)化信息。
我們還做了一個(gè)很有意思的實(shí)驗(yàn)：以回旋踢動(dòng)作為例，我們發(fā)現(xiàn)如果只給機(jī)器人根部運(yùn)動(dòng)模式（root mode）的隱變量，它只會(huì)轉(zhuǎn)圈，不會(huì)踢腿；如果只給關(guān)鍵點(diǎn)（key point）相關(guān)的隱變量，因?yàn)闆]有轉(zhuǎn)圈的運(yùn)動(dòng)基礎(chǔ)，也無法完成踢腿動(dòng)作。但把這兩個(gè)隱變量做線性組合后，機(jī)器人就能順利完成一整套完整的回旋踢動(dòng)作。
更重要的是，當(dāng)某個(gè)動(dòng)作表現(xiàn)不好時(shí)，我們可以用真實(shí)標(biāo)簽（GT）的隱變量去引導(dǎo)模型，幫助它找到合理的隱變量來完成動(dòng)作。同時(shí)我們發(fā)現(xiàn)，當(dāng)部分策略效果不佳時(shí)，通過在線再訓(xùn)練（online retraining），能快速搜索到更優(yōu)的隱變量，而且我們的方法收斂效率很高。
在對(duì)比實(shí)驗(yàn)中，我們把這個(gè)模型和“萬能模型”（one-for-all model）、“任務(wù)專用模型”（task specialist）做了比較。結(jié)果顯示，我們的方法比任務(wù)專用模型在訓(xùn)練集上的表現(xiàn)更好，能有效對(duì)抗過擬合；同時(shí)，比不帶隱變量的方法擁有更高的跟蹤精度。
剛才講的都是無交互的任務(wù)，接下來我們思考：帶交互的動(dòng)作，能不能用這套任務(wù)感知型行為基礎(chǔ)模型（task-aware BSM）來完成？我們做了一些嘗試，發(fā)現(xiàn)交互類任務(wù)的數(shù)據(jù)有兩個(gè)明顯特點(diǎn)：一是建模精度要求高，比如數(shù)據(jù)采集時(shí)動(dòng)捕設(shè)備精度不夠，就容易出現(xiàn)穿模問題；二是數(shù)據(jù)稀缺，市面上缺乏足夠多的交互類數(shù)據(jù)，很難構(gòu)建通用的跟蹤器。尤其是想讓交互場(chǎng)景多樣化，難度就更大了。
針對(duì)這個(gè)問題，我們借鑒了“對(duì)抗性運(yùn)動(dòng)先驗(yàn)”（adversarial motion prior）的思路，采用生成式模仿學(xué)習(xí)（generative imitation learning）的框架。核心思路是：不做強(qiáng)制的運(yùn)動(dòng)跟蹤，而是用運(yùn)動(dòng)先驗(yàn)來約束機(jī)器人的運(yùn)動(dòng)合理性，同時(shí)把任務(wù)獎(jiǎng)勵(lì)（task reward）融入訓(xùn)練中。因?yàn)槲覀円龅氖腔A(chǔ)模型，肯定不希望它只會(huì)做訓(xùn)練過的技能，更希望它像真正的基礎(chǔ)模型一樣，能零樣本（zero-shot）或少樣本（few-shot）地組合已有技能、適配新場(chǎng)景，不用從頭學(xué)習(xí)，或者能高效掌握新技能。
為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們做了三個(gè)針對(duì)性設(shè)計(jì)：第一，因?yàn)槭嵌嗳蝿?wù)控制器，我們希望本體狀態(tài)編碼器能接觸到各類任務(wù)，所以采用了分離式設(shè)計(jì)，讓不同任務(wù)的任務(wù)頭相互獨(dú)立、互不干擾；第二，構(gòu)建了大規(guī)模多樣化仿真環(huán)境，設(shè)計(jì)了大量不同類型的交互任務(wù)——比如對(duì)同一類物體，設(shè)計(jì)了搬運(yùn)、乘坐、跟隨等多種交互形式，還對(duì)物體做了大量數(shù)據(jù)增強(qiáng)；第三，為不同任務(wù)設(shè)計(jì)了專屬掩碼。對(duì)比實(shí)驗(yàn)顯示，這種通用的感知編碼器比非通用的編碼器效果更好，且性能方差更低。
有了剛才這些基礎(chǔ)技能之后，接下來要解決的核心問題就是技能組合——我們也針對(duì)性地提出了一套相對(duì)高效的方法論。大家可以想一個(gè)典型場(chǎng)景：比如有搬箱子的任務(wù)，同時(shí)又需要在復(fù)雜地形上完成，最終目標(biāo)是讓機(jī)器人在復(fù)雜地形里搬著箱子上樓梯、下樓梯，再把箱子放到指定位置。這其實(shí)是人形機(jī)器人應(yīng)用中很常見的復(fù)合任務(wù)，也是我們要解決的核心問題。
基于我們的方法，具體怎么實(shí)現(xiàn)呢？分四步走：第一步，直接復(fù)用已有技能的表征——我們已經(jīng)有“搬箱子”對(duì)應(yīng)的任務(wù)表征（token），可以直接拿來用；第二步，引入地形專用的表征器（tokenizer）——因?yàn)槿蝿?wù)要在復(fù)雜地形上完成，需要精準(zhǔn)的地形感知，所以專門加一個(gè)負(fù)責(zé)地形感知的表征器；第三步，調(diào)用通用本體感知器——我們的本體感知器已經(jīng)訓(xùn)練過大量任務(wù)場(chǎng)景，見過各種自身狀態(tài)的可能性，能很好地適配復(fù)合任務(wù)的本體狀態(tài)需求；第四步，動(dòng)作適配加速收斂——為了讓復(fù)合任務(wù)的訓(xùn)練更快收斂，我們會(huì)在動(dòng)作層面做一些適配，過程中凍結(jié)各模塊之間的關(guān)聯(lián)參數(shù)，只開放少量與任務(wù)相關(guān)的參數(shù)進(jìn)行再訓(xùn)練（retraining）。從實(shí)驗(yàn)結(jié)果來看，我們方法的成功率曲線（黃色曲線）表現(xiàn)最優(yōu)，遠(yuǎn)超當(dāng)時(shí)其他三種主流的最先進(jìn)（state-of-the-art）方法。
我們的方法還具備很強(qiáng)的遷移適配能力（shift adaptation），不管是更復(fù)雜的地形，還是超長(zhǎng)程的任務(wù)，都能穩(wěn)定應(yīng)對(duì)。當(dāng)然，我們最終的目標(biāo)是實(shí)現(xiàn)這套方法的端到端Sim2Real遷移，具體要分三步推進(jìn)：
第一步，數(shù)據(jù)重構(gòu)與對(duì)齊。和之前的工作一樣，先做人類運(yùn)動(dòng)數(shù)據(jù)的重構(gòu)（retargeting）；在此基礎(chǔ)上，還要把重構(gòu)后的數(shù)據(jù)與行為對(duì)應(yīng)的物體（object）、物體間的位置關(guān)系做精準(zhǔn)對(duì)齊，同時(shí)標(biāo)注出機(jī)器人與物體的交互狀態(tài)。
第二步，技能學(xué)習(xí)。沿用我們剛才提到的任務(wù)感知型模型框架，完成復(fù)合技能的學(xué)習(xí)。
第三步，感知模塊適配。這一步需要解決機(jī)器人與物體的相對(duì)感知問題，比如精準(zhǔn)判斷機(jī)器人與物體的距離、獲取交互對(duì)象的位姿。我們?cè)谶@個(gè)工作里初期用了比較簡(jiǎn)單的方案——直接貼AprilTag來做位姿定位；不過后續(xù)發(fā)現(xiàn)，現(xiàn)在有很多優(yōu)秀的6D位姿估計(jì)模型，比如FoundationPose，完全可以實(shí)現(xiàn)更精準(zhǔn)的位姿處理，后續(xù)可以整合進(jìn)去。
這里有個(gè)關(guān)鍵注意點(diǎn)：在做這類交互性策略的Sim2Real遷移時(shí)，我們的域隨機(jī)化（domain randomization）做得更全面。大家之前做基礎(chǔ)的 Whole-Body Control（WBC）或移動(dòng)（locomotion）任務(wù)時(shí)，可能只對(duì)機(jī)器人本體做域隨機(jī)化；而我們除了本體，還對(duì)物體及物體位置的觀測(cè)做了域隨機(jī)化——比如物體的質(zhì)量、摩擦系數(shù)，都做了隨機(jī)化處理。另外，真實(shí)世界中對(duì)物體的觀測(cè)必然存在誤差，所以我們?cè)谟?xùn)練時(shí)，還會(huì)對(duì)輸入策略的物體觀測(cè)數(shù)據(jù)加入擾動(dòng)，讓模型提前適應(yīng)真實(shí)環(huán)境的不完美性。
第二個(gè)關(guān)鍵設(shè)計(jì)是深度相機(jī)的感知優(yōu)化，讓它能覆蓋更大的前方視野，確保復(fù)雜地形和交互物體都能被精準(zhǔn)感知。我們還發(fā)現(xiàn)，通過人為定義簡(jiǎn)單的交互邏輯（比如“走到物體旁→搬起物體→完成任務(wù)”），就能引導(dǎo)機(jī)器人完成與環(huán)境中不同物體的交互。大家現(xiàn)在看到的，就是我們?cè)诜抡姝h(huán)境中跑出來的結(jié)果——本體狀態(tài)數(shù)據(jù)、環(huán)境感知數(shù)據(jù)等多維度數(shù)據(jù)協(xié)同工作，支撐整個(gè)交互任務(wù)的完成。
我們也把我們的方法和兩種主流方法做了對(duì)比：一種是基于跟蹤的方法（tracking-based），另一種是不引入任何人類運(yùn)動(dòng)先驗(yàn)的方法。對(duì)比結(jié)果很明確：首先在成功率上，因?yàn)榻换ヮ悢?shù)據(jù)本身比較稀缺，基于跟蹤的方法靠硬約束去擬合，成功率很低，尤其是在多樣化（diverse）環(huán)境下；其次，人類運(yùn)動(dòng)先驗(yàn)?zāi)茱@著提升任務(wù)表現(xiàn)——比如雙臂協(xié)同向下夾取物體，這種符合人類運(yùn)動(dòng)邏輯的先驗(yàn)，能大幅加速模型收斂，同時(shí)提高任務(wù)成功率。
我們還測(cè)試了方法的多樣化適配能力，在仿真環(huán)境中表現(xiàn)很理想。大家可以看到，紅色曲線是參考運(yùn)動(dòng)（reference motion），我們的方法在只給少量參考運(yùn)動(dòng)的情況下，就能實(shí)現(xiàn)更豐富多樣的交互行為，相關(guān)演示（demo）也能證明這一點(diǎn)。而且我們的測(cè)試不局限于搬運(yùn)任務(wù)，還包括坐下（sit down）、躺下（lying）、物體轉(zhuǎn)運(yùn)（把物體從一個(gè)位置放到另一個(gè)位置）等多種交互任務(wù)。我們可以通過人工選定任務(wù)目標(biāo)，讓機(jī)器人精準(zhǔn)執(zhí)行。至少在控制策略層面，我們已經(jīng)成功把仿真環(huán)境中解決復(fù)雜交互任務(wù)的能力，遷移到了真實(shí)世界中，解決了之前Sim2Real遷移在交互任務(wù)上的核心痛點(diǎn)。
與此同時(shí)我們還做了更多嘗試，比如在快速運(yùn)動(dòng)的物體下，比如說足球。我們改進(jìn)了它的感知模式，比如可以用動(dòng)捕，或者用一個(gè)更快速的感知方式，使得它直接用形態(tài)學(xué)處理去處理高速運(yùn)動(dòng)的物體，然后讓它完成比如連續(xù)撲救，或者把任務(wù)設(shè)成躲球，做連續(xù)躲避。
最后，我想和大家分享一些關(guān)于未來的思考。其實(shí)今天我想強(qiáng)調(diào)的是，從整個(gè)人形機(jī)器人運(yùn)動(dòng)控制領(lǐng)域來看，今年我個(gè)人感覺是一個(gè)關(guān)鍵的時(shí)間節(jié)點(diǎn)——我們正從“盲走盲跳”，比如機(jī)器人跳舞這類純運(yùn)動(dòng)演示，走向“感知驅(qū)動(dòng)”（perceptive）的新階段。這個(gè)趨勢(shì)不只是我們團(tuán)隊(duì)觀察到，今年年底英偉達(dá)等企業(yè)也做了相關(guān)探索，他們的方案可能更激進(jìn)一些。比如我們團(tuán)隊(duì)的方案還用到了激光雷達(dá)（LiDAR），沒有采用RGB相機(jī)的形式；但今年能看到，有些公司選擇用RGB相機(jī)，通過光照和材質(zhì)的合成、對(duì)齊，盡可能讓仿真和真實(shí)世界中傳感器的感知一致。
第一步，數(shù)據(jù)重構(gòu)與對(duì)齊。和之前的工作一樣，先做人類運(yùn)動(dòng)數(shù)據(jù)的重構(gòu)（retargeting）；在此基礎(chǔ)上，還要把重構(gòu)后的數(shù)據(jù)與行為對(duì)應(yīng)的物體（object）、物體間的位置關(guān)系做精準(zhǔn)對(duì)齊，同時(shí)標(biāo)注出機(jī)器人與物體的交互狀態(tài)。
具體來說，他們會(huì)優(yōu)化相機(jī)畸變（distortion）、相機(jī)視角（camera view）的對(duì)齊，然后在仿真環(huán)境中做盡可能多的域隨機(jī)化（randomization），讓訓(xùn)練出的策略在真實(shí)世界中具備基礎(chǔ)的導(dǎo)航和控制能力。比如VIRAL團(tuán)隊(duì)實(shí)現(xiàn)了大概50多次的連續(xù)抓取，能在兩張桌子之間完成任務(wù)；還有DoorGym的工作，實(shí)現(xiàn)了純Sim2Real的開門任務(wù)。
第二步，技能學(xué)習(xí)。沿用我們剛才提到的任務(wù)感知型模型框架，完成復(fù)合技能的學(xué)習(xí)。
所以我個(gè)人認(rèn)為，未來一些偏離線（offline）的方法可能會(huì)成為突破口：當(dāng)我們收集到足夠多的數(shù)據(jù)后，通過離線方法結(jié)合監(jiān)督學(xué)習(xí)（supervised learning）的形式，有可能把模型參數(shù)量做大，至少達(dá)到2019、2020年BERT的參數(shù)量級(jí)別，甚至向GPT的參數(shù)量級(jí)別靠攏。而更大的模型，或許能賦予機(jī)器人更長(zhǎng)程的控制能力。
另一個(gè)未來的重要方向是“規(guī)模化擴(kuò)展”（scaling up）。從整個(gè)控制領(lǐng)域的發(fā)展來看，我們肯定希望控制器能掌握越來越多的技能。但從實(shí)際實(shí)踐經(jīng)驗(yàn)來看，無論是板載算力的限制，還是在線強(qiáng)化學(xué)習(xí)（online RL）的訓(xùn)練方式，目前都不太支持用超大模型來實(shí)現(xiàn)——模型參數(shù)量的限制，直接制約了技能容量和更多控制形式的探索。
以上就是我的分享，謝謝大家。
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))文章
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
