Гуманоидные роботы в вашем доме: итоги эксперимента Figure AI

00:00Все видели ролики, где роботы умело управляются с разными делами по дому, готовят еду, а кто -то даже водит машину. Но ни у кого из нас не было такого робота дома, чтобы проверить, так ли он хорош на самом деле. Не было до недавнего времени. Компания Friger впервые решила выпустить своих роботов из лаборатории, проверить их не в контрольных тестах под присмотром инженеров, а в настоящих домах обычных людей. 30 -ти счастливцам выдали гуманоидных роботов, чтобы проверить, на что те способны в реальных условиях, и результаты вышли неожиданные и спорные. Глава Sundry Robotics, которая тоже разрабатывает домашних роботов, вовсе назвал этот эксперимент провалом. Испытания начались, как и положено,

00:36с гостиной. Это первое из трех заданий. Перед каждой попыткой человек беспорядочно разбрасывает по комнате до 15 игрушек без всякой системы. Робот должен собрать их все, не выпуская из рук корзину. Он тянется за вещью так, чтобы не потерять равновесие и не задеть мебель, а потом ищет глазами следующую игрушку. На каждую дают минуту, и если робот не успел убрать хотя бы одну, вся попытка не засчитана. Инженера называет это управлением всем телом, ноги, корпусы, руки должны работать как одно целое. Для промышленного манипулятора это не проблема, он закреплен на месте и всё с чем он работает лежит в зоне досягаемости. Колесному роботу нужен свободный пол и достаточно места, чтобы проехать и

01:11развернуться. В квартире на это не всегда можно рассчитывать, гуманоид должен сам подойти к предмету, встать так, чтобы до него дотянуться и увидеть его своими камерами. Фига подчёркивают, зрение, ходьбу и работу руками здесь нельзя отладить по отдельности. Таких гостин у робота было 30, испытание проходило в жилых домах в окрестностях Сан -Франциско, и везде робот работал с тем, что было у хозяев. С их диванами, кроватями и столами. Высота мебели, свободное место и освещение – менялось от дома к дому. Главное, робота к этим домам заранее не готовили. Внутри не записали ни одного кадра для обучения, а после приезда машину недонастраивали. Игрушки, полотенце и бельё для теста отложили заранее

01:47и проверили, что робот не встречал их на тренировках. Складывать и убирать его, конечно учили, но в других местах и на других вещах. По сути, каждый из 30 домов был для него тем, чем станет ваша квартира. Здесь есть нюансы. Тех 30 счастливцев на самом деле не было. Дома Фига арендовала специально для испытаний, а рядом с роботом были люди, готовы вмешаться. Так что это не робот, который поселился у обычной семьи, а все тот же тест, просто вынесенный из лаборатории в чужие квартиры. Правда, Фига хотя бы не скрывали этого факта от хозяев, зачем им дом, в отличие от другого стартапа The Bot Company. В мае он из -за этого оказался в суде. хозяин квартиры на Airbnb в Сан -Франциско утверждает,

02:23что сотрудники компании снимали апартаменты под видом туристов, чтобы тайно тестировать там роботов и оставили после себя повреждения. Он такой не один, по данным местной прессы, на тех же гостей жаловались еще как минимум 12 хозяев. Пока это только обвинение, но история хорошо показывает, как отчаянно компании ищут для своих роботов чужие квартиры. Вернемся к задачам. После игрушек шли полотенца. Это задача другого порядка. Твердый предмет просто взять и перенести, а ткань меняет форму от каждого движения. Потянул за край, сместилось всё полотенце, сделал неудачную складку, углы уже не там, где были. К тому же, полотенца в каждом доме свои, другого размера, толщины и материала. Роботу нужно

02:57было сложить все четыре, положить в корзину, на каждой выделено не более трёх минут, иначе страйк. Дальше кровать, самая большая поверхность из трёх. До дальнего края рукой не дотянуться, поэтому роботу приходится обходить её с разных сторон. По условиям задания он должен положить обе подушки в верхнюю часть кровати, подтянуть наверх углы покрывала и разгладить его. На каждую подушку и каждую сторону покрывала давали по одной минуте. Интересный факт, на записи хорошо видно, чем новая версия робот отличается от прежних. Если покрывало ложится криво, робот не застывает, он отступает, меняет стойку, заходит с другой стороны и поправляет складку. Инженера Фига выделяет умение исправлять свои

03:31ошибки, одно из самых заметных улучшений нового поколения. Вообще вся история про то, как искусственный интеллект постепенно выходит из чатов и начинает решать все больше повседневных задач. Пока роботы только учатся действовать в физическом мире, с цифровыми задачами все уже гораздо проще. Возьмём, например, Кокаду AI — нейросеть, рассчитанная на российский рынок, причём одна подписка может работать сразу для всей семьи. Она может найти билеты из Питера в Москву на вечер -пятница, выдать summary из загруженного документа, объяснить задачку по химии и даже создать картинку или видео по текстовому описанию. Внутри собрано несколько нейросетей — Кокаду сам выбирает подходящую под конкретную

04:05задачу. Документы можно хранить прямо в приложении, тогда искусственный интеллект сможет учитывать их в следующих запросах. Важная штука именно для семьи — в подписку можно добавить до 5 человек, но у каждого будет свой профиль, чтобы запросы, истории и документы разных членов семьи не смешивались. для детей есть отдельный режим защиты от взрослого контента. Кокоду работает на телефоне, компьютере и в браузере в России оплачивается российской картой. Попробуйте сами, скачивая приложение по ссылке в описании или к QR -коду на экране. Видите промокод про роботов и получите 10 дней подписки. Ну а пока и помощник работает, вернемся к роботам. Как часто гуманоид фигер вообще доводил дело до

04:41конца? Всего робот сделал 420 попыток по 140 на каждое задание, до конца он довел 237. Это 56% чуть больше, чем каждая вторая попытка. Лучше всего получилось скрывать 67%, полотенце 62%. А хуже всего то, что кажется самым простым. Все игрушки робот собрал только в 40% попыток. Почему именно игрушки? Давайте прикинем. Допустим, с каждой отдельной игрушкой робот справляется в 94 случаях из 100. Почти идеально. Но зачет он получает только если ни разу не ошибется с сетом из 15 предметов. Одна осечка, вся попытка провалена. При таком раскладе комната целиком соберётся как раз примерно в 40% случаев, ровно как в тесте. Фигра не публиковали, как робот справлялся с каждой игрушкой по отдельности,

05:20так что это не их данная простая арифметика. Смысл понятен, когда задача длинная, крошечные осечки на каждом шаге накапливаются и срывают всю попытку. При этом сами критерии успеха мягче, чем можно подумать. Полотенце засчитывают, если оно сложено и лежит в корзине. Качество складки оценивается отдельно. Лучшая оценка – все четыре угла сошлись с точностью до 2,5 см. Худшая – ни один не сошёлся, неаккуратная складка. Но и она идёт в зачёт. С кроватью похоже, подушка защитена даже если повёрнута почти на 45 градусов, а углы по кровалам могут расходиться до 30 см. Столько таких складок и кроватью вошло в итоговые проценты, фигур не уточняют. Наконец, время. Сколько робот тратил на самом деле в

05:59отчёте не сказано. По правилам теста он имел право складывать 4 полотенца целых 12 минут, собирать игрушки в гостиной до четверти Для сравнения, в 2010 году робот в Беркли складывал 1 полотенце 25 минут, а на выставке CIS, в этом недворе, — робот LG около минуты, причём полотенце ему подавал человек. Но не все считают это хорошим результатом. Глава конкурирующей, Сандей Робатикс, Тони Джао, написал, что робот Фига проваливается в половине случаев. Его собственный колёсный робот Мяма в июле складывал одежду в чужих домах с успехом 99,1%. Звучит как разгром. Есть нюанс, правда. У Санды одна попытка — это одна сложенная вещь, а у фигер вся задача целиком. И самый низкий процент там, где она

06:38состояла из 15 слагаемых. Так что цифры в 56 и 99 процентов успеха могут быть правды одновременно. Более того, если пересчитать 99 и 0,1% на корзину из 15 вещей, получится успешность около 87% уже не 99. С другой стороны, нашей прикидке, робот фига справляется с отдельной игрушкой примерно в 94% случаев, так что по надежности отдельного действия Джао Прафф. Его формула звучит так. Полезная работа — это умение работать в незнакомом месте плюс надежность. Первое фриго показали, со вторым пока плоховато. В индустрии есть понятие «девяток». Андрей Карпати, бывший руководитель искусственного интеллекта в Tesla, объяснял это так. Если демо работает в 90% случаев, это только первая девятка. Чтобы

07:18дойти до 99%, нужно столько же труда, сколько ушло на весь путь до 90%. А от 99% до 99% и 90% еще столько же. Соснователь iRobot Родни Брукс считает, что от лабораторного демо до 99,9% проходит больше 10 лет и еще по 10 лет на каждую следующую девятку. У фигер пока нет даже первой, и если робот каждый день будет выполнять эти задачи, все три получится лишь в один день из шести. И все же для отрасли 56% не позор. Возьмем например Юнитри, это один из самых известных китайских производителей роботов. Их гуманоид R1 стоит меньше 6 тысяч долларов и является одной из самых дешевых моделей на рынке. Так вот, глава Юнитри, Ван Син Син, в августе назвал цель — робот, который в незнакомом доме

08:02справляется примерно с 80% задач. И добавил, что до этого еще минимум 2 -3 года, а на Стэнфордском соревновании по домашним задачам лучшая команда мира довела процент успеха всего лишь почти до 12,5%. Это даже не в настоящих домах, а в компьютерной симуляции. Кстати, Фига называет свой эксперимент первым в мире. Это верно лишь с уточнениями. В апреле 25 -го Physical Intelligence запустил своего колесного робота в три неизвестных дома. А еще в 2024 году эксперимент с перекладыванием 10 вещей в неизвестных домах проводил Нью -Йоркский университет. Тогда процент успеха был 58,5%. С гуманоидом на ногах, управляющим всем своим телом, в масштабе сразу 30 перемещений, Frigate действительно первые.

08:41Самое интересное в отчете Frigate даже не эти проценты. Компания провела контрольный эксперимент. Две одинаковые модели обучили тем же трем заданиям и проверили в тех же домах. Разница была только одна. Первая перед этим прошла предварительное обучение на огромном архиве человеческих действий, а вторая нет. Результат вышел таким. Без подобного предварительного опыта робот успешно завершил лишь около 8% попыток. С ним 56%. Игрушки 5% против 40%. Полотенца 9% против 62%. Кровать 11% на 67%. Иными словами, один и тот же робот, которому одинаково показали конкретные задания, незнакомом доме работал примерно в 7 раз лучше, если до этого учился на человеческом опыте. Здесь стоит объяснить, что это

09:19вообще за архив, который дал такую разницу. Весной Frigga запустили приложение, любой человек снимает, как он готовит, стирает, убирает, работает в кафе, загружает видео и получает за это деньги. Это и есть архив, получивший название «Индекс». Изначально компания пыталась купить такие данные подрядчиков, но те не справились ни с объемом, ни с разнообразием. А вот приложения в первую неделю запуска в мае воспользовались 99 человек, к концу августа их было больше 44 тысяч в неделю, а к началу сентября, по словам основателя компании Bretta Atkaka, почти 70 тысяч. В итоге люди загрузили в индекс больше 16 миллионов видео и фига выплатил им 15 миллионов долларов. Звучит солидно, но в среднем это

09:55меньше доллара за ролик. Сейчас в приложении приходит 35 минут записи каждую секунду. То есть пока вы смотрите одну минуту этого видео, в индекс загружает больше суток чужой жизни. EGO 4D и крупнейший научный набор видео от первого лица, которые собирали мета и 13 университетов, это 3670 часов. Индекс набирает столько меньше, за два часа. Причем люди снимают все подряд. от уборки кошачьего лотка до замены масла в машине. При этом ни одно из трех заданий теста не занимает в архиве больше двух процентов. Робот научился складывать полотенце не потому, чтобы пересмотрел тысячи сложенных полотенец. Он видел, как люди вообще обращаются с вещами. Берут, тянут, расправляют, наклоняются, обходят

10:31мебель. Само задание ему потом показали на отдельных примерах. У этого приложения есть и вторая вполне практичная сторона. Через него можно пригласить одного из других участников к себе домой, для настоящей уборки. Фига объясняет такой шаг своей главной целью. Сегодня к вам приходят люди, чтобы помочь с уборкой, когда -нибудь всё будет это делать робот. И хотя идея индекс достаточно оригинальная, фигура здесь не первопроходцы. Тесла перешла на тот же подход ещё летом 25 -го. Сборщики данных для Optimus ходят восьмичасовые смены в шлеме и рюкзаки с пятью камерами, которые весит порядка 18 килограммов. За смену нужно принести минимум четыре часа пригодного видео. Один из сборщиков описал эту

11:06работу так. Подопытная крыса под микроскопом. Вокруг таких съёмок уже вырос целый рынок и цена одной и же работы зависит от страны. В Индийском штате Тамелунад работница складывает полотенце в макете ванной около 90 роликов в день за 250 рупий в час. Это примерно 2,6 долларов. В Лос -Анджелесе за два часа съемки собственные уборки платит 80 долларов, а крупнейший в США сервис доставки DoorDash запустило для курьеров отдельное приложение, можно подработать, сняв как ты складываешь белье, моешь посуду или заправляешь кровать. В Китае за это взялись с государственным размахом. Online retailer JD.com вместе с городскими властями суться не собирается списать 10 миллионов часов в видео за два

11:44года. Домохозяйка, которая снимает там готовку и стирку, получает около 3 долларов в час и говорит «Раньше мне никто не платил за то, чтобы я готовил и стирала». По данным Dayguardian, на некоторых индийских фабриках камеры наглого и рабочим вешают толком не объясняя зачем. «Как вешают камеру в видеонаблюдение, так её повесили и на нас», рассказала одна из швей. Так что тест в 30 домах – это не открытие одной компании. Вся отрасль одновременно поставила на один рецепт – научить робота на видео людей, а потом дать ему столько данных и вычислений, сколько удастся купить. Зачем вся эта гонка за миллионами видео? Вернемся к отчету фигурм. У них есть аргумент, ради которого, похоже, написан весь

12:17документ. Они обучили 4 версии модели на разных объемах архива. На части, на вдвое больше, в четверо и в восемь раз. С каждым удвоением данных ошибка модели снижалась по одной и той же прямой. Настолько ровно, что ошибку самой большой версии предсказали до четвертого знака после запятой, и еще до того, как ее обучили. Предсказуемость очень важна для инвесторов. Она означает, что можно заранее посчитать, вложишь вдвое больше данных, получишь вот такое улучшение. Без этого миллиардные вложения похожи на лотерею, а с таким графиком на расчёт. Именно такие закономерности когда -то превратили языковые модели вроде чат -гпт в гонку миллиардов. Фигурд на это поставили. В начале сентября они

12:50подписали договор на 3,5 миллиарда долларов за доступ к 100 тысячам видеокарт -н -видео нового поколения. Для сравнения, примерно столько же видеокарт было в суперкомпьютере Colossus, на которой компаниила на масках XA и A обучал игрок, когда его запустили летом 24 -го. Сами 3,5 млрд почти вдвое больше, чем фига привлекли от инвесторов за всю свою историю. Около 1,9 млрд. Сделку собираются расширить до 6 млрд. В ручку при этом фигура не раскрывают. На сам график стоит посмотреть внимательнее. Шкала слева начинается не с нуля, поэтому прямая выглядит крутой. На деле, за восьмикратный рост данных ошибка снизилась примерно на 4%. Тут есть подвох. Снижение этой ошибки значит лишь, что модель

13:29точнее угадывает нужные движения на проверочных видео. Это еще не значит, что робот стал лучше убирать комнаты. Исследователи из Университета Цинхуа, которые сами изучали законы масштабирования для роботов, отмечали, что такой процент ошибок часто вообще не совпадает с тем, насколько хорошо робот работает в реальности. К тому же, похожую закономерность для видео с людьми Nvidia опубликовала еще в феврале. У этой ставки есть и жесткие критики. Тот же Родни Брукс еще год назад написал СС о том, почему гуманоиды не научатся ловкости по видео. Его аргумент — наши руки работают не глазами, а сезанием. В коже ладони около 17 тысяч рецепторов, которые чувствуют давление, скалежение и вибрацию.

14:02Верить, что робот научится ловкости по таким записям в ближайшие десятилетия, как считает Брукс, чистой воды фантазия. Сомневаются и сторонники обучения на данных. Сергей Левин, профессор Berkeley и сооснователь Physical Intelligence предупреждает, модель, выученная на людях, будет решать задачу так, как ее решил бы человек, а не так, как удобнее роботу. Кен Голдберг из того же Berkeley подсчитал, что языковые модели учились на текстах, на чтениях которых у человека ушло было около 100 тысяч лет. Роботам такого запаса данных взять неоткуда, и, по этот разрыв не закроется. Хотя тест у Fugger есть чем им ответить. В видео людей подняли успех с 8 до 56%. Это трудно списать на случайность. Но

14:39полотенце игрушки и покрывало как раз задачу, где тонкая работа пальцами почти не нужна. Застегнуть молнию, завязать шнурок или помыть хрупкий бокал Fugger не пробовали публично. Так что спор Brooks с Fugger этот тест не закрыл. И последний вопрос к этим 56%. Насколько вообще можно верить Fugger? У компании уже была история с БМВ. В начале 25 -го года Эдкок писал о целом флоте роботов, которые каждый день работают на заводе. Журналисты Fortune спросили саму БМВ и там ответили, робот -1 перекладывает детали в нерабочее время. Эдкок назвал статью «Откровенной ложью» и пригрозил судом, а когда в конце года подвели итоги, выяснилось, работал действительно один, фигур 0.2, 1250 часов, по три

15:16детали на каждую машину. С домом похожая история. В феврале 25 -го Эдкок объявил, что сдвигает планы на два года раньше, начинает альфа -тесты уже в этом году. Публичных результатов тестов так и не появилось. В январе 26 -го он предсказал, что в этом году гуманоиды будут выполнять многодневные задачи без присмотров дома, где никогда не были. В сентябре мы получили три коротких задания – арендованные дома и 56% успеха. А еще весной, Эд как говорил, что FIGER 03 скоро можно будет арендовать для дома примерно за 600 долларов в месяц. Цены предзаказа или хотя бы листа ожиданий нет до сих пор. Есть и вопрос безопасности. В ноябре 25 -го бывший руководитель по безопасности про доктор Роберт

15:53Грюндель подал на компанию в суд. Его ииски есть по -настоящему жуткие детали. Он утверждает, что удар этого робота более чем вдвое сильнее, чем нужно, чтобы проломить человеку череп. А однажды, согласно иску, робот во время сбоя оставил вмятину в стальной двери холодильника прямо рядом с сотрудником. Фиггер всё отрицает, называет это ложью и подали встречный иск, так что суд пока ничего не установил. Но заметимо, в тест с 30 домами дети и домашние животные не входили. При этом в этот раз фиггер сделали больше, чем принято в отрасли. Критерии оценки зафиксировали заранее. Оценка была слепой, любое вмешательство человека ради безопасности считалось провалом. А Эдкок выложил несколько часов

16:27сырого видео с неудачными попытками на фоне смонтированных роликов, где у роботов всё получается с первого раза, это редкость. Ну а какие домашние роботы есть уже сегодня? Самый известный вариант, который можно купить сейчас США, гуманоид NEO от компании ONE X. Компания заявляет, что собрала больше 10 тысяч предзаказов за 5 дней. Но, по крайней мере, до начала сентября ни одной подтверждённой доставки покупателю не было. А когда журналистка New Wall Street Journal приехала посмотреть на NEO вживую, Большую часть сложной работы за робота делает человек в VR -шлеме. Это и есть модель One X. То, что робот не умеет сам, за него делает сотрудник компании. Владелец назначает время, оператор

16:59удаленно управляет роботом прямо у него в квартире. Пока человек под ключом, светящиеся кольца на ушах, робота меняет цвет. По июльскому опросу, йогов, почти половина американцев отказалась бы даже от бесплатной уборки, если бы ее записи шли на обучение роботов. У Тесла нет даже этого. В 22 -м году Маск обещал Optimus через 3 -5 лет дешевле 20 тысяч долларов. а сейчас говорит о продаже к концу 27 -го, если робот окажется надежным и безопасным. Пионер домашних роботов iRobot, создатель пылесоса RUMBO, в декабре прошлого года обанкротился и достался собственному китайскому подрядчику. Даже робот -пылесос оказался тяжелым бизнесом. К тому же, попросом больше двух трети американцев не готовы

17:35отдать за домашнего робота больше 5 тысяч долларов. Поэтому первым к вам домой, скорее всего, приедет негуманоид. Сандай раздаст своего колесного мема бесплатно 50 семьям ко Дню Благодарение. Стартап Veev уже продает робота на колесах с двумя руками за 7999 долларов. Белье он складывает сам, а с трудными вещами ему помогает удаленный оператор. есть ближайший домашний помощник – это тумба с руками, которая медленно складывает белье и иногда зовет на помощь человека. Так что помощника, которому не нужно помогать, пока не продает никто. Так справился ли робот Фигер? Как помощник – нет. В чужом доме он доводил дело до конца чуть чаще, чем через раз с зачетом неаккуратной работы, а все три дела

18:11сразу получились бы него примерно в одном дне и шести. До 80%, которое называют глава UNITRI, и тем более до девяток, о которых говорят Карпати и Брукс, еще очень далеко. Как эксперимент, этот тест сработал. Без видео людей робот справляется в одном случае с двенадцатью, с ними больше, чем в каждом втором. И к тому же выводу одновременно пришли Tesla, Nvidia и десятки стартапов. Если они правы, домашний робот перестает быть вопросом изобретения, становится вопросом масштаба. Сколько еще часов своей жизни люди снимут на камеру, и сколько миллиардов уйдет на вычисление? При этом, если прав Брукс, то, как он сам предупреждает, очень много денег просто исчезнет. Пока тысячи людей по всему миру,

18:45кто за 3 долларов в час, кто за 40, снимают, как складывают полотенце и моют посуду, чтобы когда -нибудь этого не пришлось делать никому. А если нужна уборка прямо сейчас, Фига предлагает прислать к вам человека. А вы бы стали за деньги снимать, как убираете свою квартиру, и пустили бы домой робота, который учился на чужих? Пишите в комментариях.