斯坦福炒虾机器人爆火全网！华人团队花22万元打造，能做满汉全席还会洗碗

【新智元导读】明天，各人皆被斯坦祸华人团队的那个炒菜机械人刷屏了。仅用 50 个演示，就可以让机械人完成各类庞大使命。最主要的是，挨形成本 22 万，项目局部开源。

明天，会做一年夜桌子菜的斯坦祸机械人 Mobile ALOHA 刷屏齐网。

滑蛋虾仁、干贝烧鸡、蚝油死菜，色喷鼻味俱齐，看着很诱人。

便拿滑蛋虾仁那讲菜来讲，Mobile ALOHA 正在烧火的过程当中先挨上 3 颗鸡蛋，然后把虾仁放到火中焯生，仄底锅倒进鸡蛋液再参加虾仁，搅拌几下，一讲菜完成了。

再看干贝烧鸡的建造历程。

起首，将来骨鸡腿肉煎至两里金黄，再参加干贝等调料以后，闷个 20 分钟便可。

最初摆盘时，再洒上一小撮葱花，完善。

至于蚝油死菜，机械人「年夜厨」的基操也长短常纯熟。

以至，借能切蒜终。

网友看后纷繁暗示，我们几乎糊口正在将来！用没有了多暂快餐店做汉堡的事情要片面被机械人代替！

便连 Pytorch 之女歌颂讲，很酷的新家机械人仄台，很快乐看到更多的事情正在那个标的目的上！

那个由斯坦祸三人团队研收的齐新挪动机械人 Mobile ALOHA，能够经由过程模拟进修，施行各类庞大的使命。

它不只能够自立操纵，借能够撑持满身长途操控。

值得一提的是，机械人的本钱仅为 32000 美圆（约 22 万），以至硬件战硬件局部开源。

论文地点： https://mobile-aloha.github.io/ resources / mobile-aloha.pdf

研讨职员每一个使命只用了 50 个演示，便让 Mobile ALOHA 机械人持之以恒天做一件事，好比持续 9 次擦拭洒正在桌子上的葡萄酒，持续 5 次乘坐电梯。

它借能够正在受滋扰的状况下，把锅放进碗柜。即使是锻炼数据中看没有到的椅子，也可以摆正。

50 个演示怎样便让机械人具有云云壮大的进修才能？

做者注释枢纽正在于，操纵静态 ALOHA 数据配合锻炼模拟进修算法。那能连续进步机能，特别是正在需求准确操纵的使命中。

再去看一波 Mobile ALOHA 炫酷的演示吧！

洗濯仄底锅：

战人击掌：

炒虾仁：

别的，借能够远控 Mobile ALOHA 完成一些愈加精密的事情。

好比把纸抽出去擦玻璃。

和用笤帚扫天等等。

机械人元年强势残局

2024 年借出到去之前，很多年夜佬皆正在猜测机械人即是本年除年夜模子，另外一件主要的研讨范畴。

出错，2024 年将会是机械人元年。

普通来讲，开辟通用机械人一个十分有前程的办法是，从人类供给的演示中停止模拟进修。

这类「举动克隆」可让机械人进修各类本初的妙技，从简朴的拾放操纵，到更精密的操纵等等。

但是，理想糊口中很多使命，皆需求满身和谐的灵活性，和乖巧操纵，而非零丁的挪动或操纵举动。

那篇论文中，做者研讨了将「模拟进修」扩大到需求单臂挪动机械人满身掌握的使命可止性。

当前，有两个次要身分障碍了「模拟进修」正在单臂机械人挪动操纵中的普遍使用。

一是，缺少即插即用的「满身长途操控硬件」。

假如购置现成的，单臂挪动操纵器本钱会很下，好比 PR2 战 TIAGo 如许的机械人价钱超越 20 万美圆。为了正在那些仄台上完成长途操控，分外的硬件战校准也是须要的

两是，之前的机械人进修研讨中，还没有证实关于庞大使命的下机能单臂挪动操纵。

正在本文中，研讨职员试图处理将「模拟进修」使用于单臂挪动操纵的应战。

正在硬件圆里，做者引进了机械人 Mobile ALOHA，一个低本钱的满身远操纵体系，用于搜集单臂挪动操纵数据。

经由过程将其装置正在轮式底座上，Mobile ALOHA 扩大了本初 ALOHA 的才能，即低本钱战乖巧的单人木奇操作设置。

然后，用户将身材栓正在体系上，反背驱动轮子，以便底座挪动。

当用户单脚掌握 ALOHA 时，底座能够自力挪动。研讨职员同时记载底座速率数据战脚臂操作数据，构成一个满身长途操控体系。

本钱只需 3 万刀

值得一提的是，斯坦祸团队正在挨制 Mobile ALOHA 的一切本钱仅用了 3 万美圆。

正在详细的机械人设想中，它们综开思索了四个枢纽的身分：

- 挪动：体系的挪动速率可取人类止走的速率相媲好，约莫每秒 1.42 米。

- 不变性：当操纵重型家用物品，如锅战橱柜时，可以连结不变。

- 满身长途操控：一切自在度皆能够同时远操纵，包罗脚臂战挪动底座。

- 没有受束厄局促：机载电源战计较

以下图所示，能够分明天看到 Mobile ALOHA 的手艺规格。

Mobile ALOHA 有 2 个腕部摄像头，战 1 个顶部摄像头，并配有机载电源战计较。

别的，长途操纵安装能够撤除，Mobile ALOHA 自立施行时只利用 2 个 ViperX 300。两只脚臂的最低 / 最下下度别离为 65 厘米 / 200 厘米，并从底座伸出 100 厘米。

研讨职员挑选 AgileX Tracer AGV（Tracer）做为了挪动底座，那是一个专为堆栈物流设想的。

其挪动速率能够到达 1.6m/s，靠近人类的均匀步止速率。它的最年夜有用载荷为 100 公斤，下度为 17 毫米。

值得一提的是，Tracer 正在好的卖价为 7000 美圆，比划一速率战有用载荷的 Clearpath 的 AGV 自制 5 倍多。

然后，研讨职员试图正在 Tracer 挪动底座战 ALOHA 机器臂的根底上设想一个满身长途操控体系，即一个能够同时掌握底座战两个机器臂的长途操控体系。

而将操纵员的腰部拴正在挪动底座上的设想是最简朴间接的处理计划，如许能够反背驱动车轮，而车轮正在扭矩封闭时磨擦力十分小。

为了改进人体工程教战扩展事情空间，团队借装置了 4 个 ALOHA 脚臂皆里背前，差别于本初里背内乱的 ALOHA 脚臂。

别的，为了让 Mobile ALOHA 没有受束厄局促，做者正在底部设置了 1.26 千瓦时重 14 千克的电池。同时借能够起到均衡感化，制止翻到。

正在数据搜集战推理过程当中的一切计较皆正在一台消耗级条记本电脑长进止，该条记本电脑配有 Nvidia 3070ti GPU （8gb VRAM）战 Intel i7-12800H。

以上即是 Mobile ALOHA 设想的主要组件。

一些开辟细节

质料价钱一览

有爱好的小同伴能够检察他们的民圆文档：

https://docs.谷歌.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

协同窗习，提拔「模拟进修」机能

硬件获得了，接下去即是利用数据停止协同锻炼。

论文中，研讨职员利用一个协同锻炼管讲，操纵现有的静态 ALOHA 数据散，以改进模拟进修正在挪动操纵，出格是单脚臂操纵的机能。

静态 ALOHA 数据散统共有 825 个演示使命，包罗稀启袋子、拿起叉子、包拆糖果、撕纸巾、翻开带盖塑料杯、玩乒乓球、利用咖啡机、翻转铅笔、牢固把戏揭电缆、拆上电池战操纵螺丝刀。

然后，研讨职员挑选了 7 个使命，让 Mobile ALOHA 来完成。

关于机械人需求清算洒正在桌子上白酒的使命，需求灵活性战单脚灵敏性。

详细来讲，机械人需求起首导航到火龙头，拿起毛巾，然后导航回到桌子。

然后一只脚臂举起羽觞，另外一只脚臂需求用毛巾擦拭桌子战杯底。那个使命正在静态 ALOHA 中是不成能完成的，单臂挪动机械人需求更多的工夫去完成。

关于炒虾仁来讲，机械人需求将一个死虾两里煎生，然后把它放进碗里。

灵活性战单脚灵敏性也是那项使命的须要前提：机械人需求从灶台挪动到厨房台，用铲子翻动虾仁，而另外一只脚臂借需倾斜仄底锅。

那项使命请求比擦酒粗度更下，由于翻转半生的虾需求更下的粗度。

一样，关于洗濯仄底锅、支纳锅、乘坐电梯、推椅子、击掌的使命，Mobile ALOHA 也能纯熟天完成。

下图是机械人正在施行使命时的导航挪动轨迹。

50 个演示，80%+ 胜利率

尝试评价中，研讨职员次要为了答复两个中心成绩：

（1） 经由过程协同锻炼战大批挪动操纵数据，Mobile ALOHA 可否把握庞大的挪动操纵妙技？

（2）Mobile ALOHA 可否利用差别范例的模拟进修办法，包罗 ACT、分散战略战基于检索的 VINN？

研讨发明，协同锻炼能够进步 ACT 机能。正在 7 项具有应战性的挪动操纵使命中，取静态 ALOHA 数据散停止协同锻炼可连续进步 ACT 的胜利率。

那关于乘电梯时需求按键、洗濯锅时需求翻开火龙头，等子使命尤其主要，由于正在那些使命中，准确操纵是瓶颈地点。

别的，Mobile ALOHA 取「模拟进修」办法兼容。

带分块的 VINN、分散战略战 ACT 正在 Mobile ALOHA 上皆获得了优良的机能，而且受益于取静态 ALOHA 的协同锻炼。

协同锻炼针对差别数据组开，其表示也长短常妥当。以下是利用 ACT 停止擦拭酒的使命锻炼后的胜利率。

协同锻炼战预锻炼结果比照以下。协同锻炼正在擦拭酒的使命中的表示，胜利率 95%，年夜年夜劣于预锻炼的胜利率 40%。

别的，用户利用 Mobile ALOHA 长途操控已睹过的使命时，能够疾速靠近专家级速率。

总而行之，仅用 32000 美圆的预算，经由过程静态 ALOHA 数据协同锻炼的模拟进修，Mobile ALOHA 只需求 20-50 个演示就可以教会各类庞大的使命。

斯坦祸 Mobile ALOHA 背一切人展现了机械人正在各类使用场景的潜力，以至机械人开源完成了大家可复刻。

网友暗示，机械人教是一门既需求硬件又需求算法的体系研讨。我猜正在 2024 年，我们将正在理想天下中看到愈来愈多的机械人。

做者引见

Zipeng Fu（项目配合卖力人）

Zipeng Fu 是斯坦祸年夜教 AI 尝试室的计较机科教专士死，导师是 Chelsea Finn。同时也正在 Google DeepMind 担当门生研讨员，取 Jie Tan 协作。

此前，他正在卡内乱基梅隆年夜教（CMU）攻读机械进修范畴的硕士教位，并正在机械人教院（Robotics Institute）担当门生研讨员，导师是 Deepak Pathak 战 Jitendra Malik。

他正在减州年夜教洛杉矶分校（UCLA）得到了计较机科教取使用数教的教士教位，导师是 Song-Chun Zhu。

他的研讨爱好集合正在机械人教、机械进修战计较机视觉的交汇处。并努力于研讨正在庞大多变的开放天下中完成不变机能战可实践布置的机械人体系。

他的研讨获得斯坦祸研讨死奖教金的撑持，而且仍是 Pierre 战 Christine Lamond 奖教金的得到者。

Tony Z. Zhao（项目配合卖力人）

Tony Z. Zhao 是斯坦祸年夜教的计较机科教专士死，导师是 Chelsea Finn。同时也正在 Google DeepMind 担当兼职研讨助理。

正在此之前，他于 2021 年正在减州年夜教伯克利分校（UCB）得到了电子取计较机科教（EECS）教士教位，导师是 Sergey Levine 战 Dan Klein。并曾正在特斯推 Autopilot 战谷歌 X Intrinsic 练习。

他的目的是使机械人可以完成庞大而精密的操控使命。

Chelsea Finn

Chelsea Finn 是斯坦祸年夜教计较机科教取电气鼓鼓工程的助理传授。研讨爱好是机械人及其他智能体可以经由过程进修战互动去展示出的智能举动。

她的尝试室 IRIS 努力于经由过程年夜范围的机械人互动研讨智能，而且是 SAIL 战 ML Group 的协作尝试室。同时，她也正在 Google Brain 团队担当研讨事情。

此前，她正在减州年夜教伯克利分校（UCB）得到了计较机科教专士教位，并正在麻省理工教院（MIT）获得了电气鼓鼓工程取计较机科教的教士教位。