BeingBeyond, въплътеният AI стартъп, основан от доцента на Пекинския университет Lu Zongqing, пусна Being-M0.7, модел на латентно световно действие, който позволява на хуманоиден робот да ходи и да манипулира обекти едновременно. Моделът е предварително обучен на повече от 10 000 часа необработено човешко егоцентрично видео и данни за движение, преди изобщо да види траекториите на робота.
Предпоставката на екипа е, че истинските демонстрации на роботи за локоманипулация на цялото тяло са оскъдни и скъпи за събиране, докато човешки видеоклипове от първо лице и улавяне на движение са изобилни. Уловката е, че човешките данни са объркани: някои клипове имат само видео, други само движение и човешките движения не могат да бъдат извършени директно от робот.
Being-M0.7 се справя с това на три етапа. Предварителното обучение картографира видеото и движението в споделено пространство и съвместно прогнозира бъдещи визуални състояния и движение на тялото. Средното обучение адаптира това преди изгледа на камерата и тялото на робота. След обучението се добавя отделен експерт по действие, който чете прогнозите на замразения предход и извежда команди за цялото тяло. Вместо да предсказва пиксели, моделът работи върху характеристиките на замразено изображение на DINO и както хората, така и роботите споделят компактно 22-измерно представяне на движение, базирано на главата. Липсващите модалности се обработват с обучаеми вграждания на контейнери, вместо да се изхвърлят. Източниците на данни включват Ego4D, Nymeria, HumanML3D и други публични набори, подмножества от по-ранната работа на BeingBeyond и закупени данни.
В бенчмарка за симулация SIMPLE, който обхваща шест хуманоидни задачи на три нива на трудност, Being-M0.7 успя в 128 от 180 изпитания, или 71,1%, най-добрият сред тестваните базови линии. Документът изброява 64,4% за Ψ0, 52,8% за π0,5 и 33,9% за GR00T-N1.6, въпреки че Ψ0 се справя по-добре с една задача и π0,5 с други две. Премахването на предварителното обучение за човешки данни намали резултата до 48,9%.
На хуманоид Unitree G1 със сръчни ръце, моделът успя в 13 от 15 изпитания в три задачи за ходене и хващане, същите 86,7% като най-силната базова линия, GR00T-N1.6, и пред π0,5 при 7 от 15 и Ψ0 при 3 от 15. С други думи, резултатът от реалния робот е равен, а не равен олово.
Екипът отбелязва ясни граници. Тестовете покриваха само задачи с кратък хоризонт, а точността на проследяване на контролера за цялото тяло, използван за събиране на демонстрации, ограничава колко точни могат да бъдат данните от реалния робот.
ВИЖТЕ СЪЩО: BeingBeyond пуска въплътен световен модел Being-H0.7, обучен на 200 000 часа човешко видео · Световният екшън модел VPP2 на Robotera е на върха на RoboDojo, постига 58,5% Zero-Shot на Real ALOHA Arms
Source link