新框架允許機器人通過在線人類演示視頻進行學(xué)習(xí)

要想在現(xiàn)實環(huán)境中成功部署，機器人必須能夠可靠地完成各種日常任務(wù)，從家務(wù)到工業(yè)流程。它們可以完成的一些任務(wù)包括操縱織物，例如折疊衣服放入衣柜或幫助行動不便的老年人在社交活動前打領(lǐng)帶。

開發(fā)能夠有效處理這些任務(wù)的機器人迄今為止已被證明是相當具有挑戰(zhàn)性的。許多用于訓(xùn)練機器人進行織物操作任務(wù)的方法都依賴于模仿學(xué)習(xí)，這是一種使用視頻、動作捕捉鏡頭和人類完成相關(guān)任務(wù)的其他數(shù)據(jù)來訓(xùn)練機器人控制的技術(shù)。

雖然其中一些技術(shù)取得了令人鼓舞的成果，但要取得良好效果，它們通常需要大量的人類演示數(shù)據(jù)。這些數(shù)據(jù)可能成本高昂且難以收集，而現(xiàn)有的開源數(shù)據(jù)集并不總是包含與訓(xùn)練其他計算技術(shù)(如計算機視覺或生成式 AI 模型)一樣多的數(shù)據(jù)。

新加坡國立大學(xué)、上海交通大學(xué)和南京大學(xué)的研究人員最近介紹了一種替代方法，可以通過人類演示來增強和簡化機器人算法的訓(xùn)練。這種方法在arXiv上預(yù)先發(fā)表的一篇論文中概述，旨在利用每天在線發(fā)布的大量視頻，將其用作日常任務(wù)的人類演示。

“這項工作始于一個簡單的想法，即建立一個系統(tǒng)，讓機器人利用網(wǎng)上無數(shù)的人類演示視頻來學(xué)習(xí)復(fù)雜的操作技能，”論文合著者彭偉昆告訴 Tech Xplore。“換句話說，給定一個任意的人類演示視頻，我們希望機器人完成視頻中顯示的相同任務(wù)。”

雖然之前的研究也引入了利用視頻片段的模仿學(xué)習(xí)技術(shù)，但他們使用的是特定領(lǐng)域的視頻(即人類在機器人稍后將處理任務(wù)的同一環(huán)境中完成特定任務(wù)的視頻)，而不是在任何環(huán)境或設(shè)置中收集的任意視頻。

另一方面，彭和他的同事開發(fā)的框架旨在讓機器人能夠從網(wǎng)上找到的任意演示視頻中進行模仿學(xué)習(xí)。

該團隊的方法有三個主要組成部分，即 Real2Sim、Learn@Sim 和 Sim2Real。第一個組成部分是該框架的核心和最重要的部分。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔。 如有侵權(quán)請聯(lián)系刪除！