AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真

借记得之前的AI读心术吗？近来，「心念事成」的才能再次退化，

——人类能够经由过程本人的设法间接掌握机械人了！

去自麻省理工的研讨职员揭晓了Ddog项目，经由过程本人开辟的脑机接心（BCI）装备，掌握波士顿动力的机械狗Spot。

狗狗能够根据人类的设法，挪动到特定地区、帮人拿工具、大概照相等。

并且，比拟于之前需求利用充满了传感器的头套才气「读心」，本次的脑机接心装备以一幅无线眼镜（AttentivU）的情势呈现！

视频中展现的举动或许比力简朴，但那个体系的目标是将Spot革新为可以为得了肌萎缩侧索软化症（ALS）、脑瘫或脊髓毁伤等徐病的人士供给根本相同东西。

全部体系的运转只需求两部iPhone战一副眼镜，却能给那些曾经对糊口落空期望的人带来实践的协助战关心。

而且，我们将正在相干的论文中看到，那个体系实践上成立正在十分庞大的工程之上。

论文地点：https://doi.org/10.3390/s24010080

Ddog体系利用AttentivU做为脑机接心体系，传感器嵌进到镜框中，用去丈量一小我私家的脑电图 （EEG） 或年夜脑举动，和眼电图或眼球活动。

那项研讨的根底是MIT的Brain Switch，一种及时的闭环BCI，许可用户取关照人停止非言语战及时的交换。

Ddog体系胜利率为83.4%，而且，那是正在小我私家助理用例中初次将无线、非视觉BCI体系取Spot散成。

视频中我们能够看到脑际接心装备的退化之路，和开辟者的一些考虑。

正在此之前，研讨团队便曾经完成了脑机接心取智能家居的交互，而如今完成了掌握可以挪动战操纵的机械人。

那些研讨给了特别人群一丝光亮，让他们有活下来的期望，以至将来能够糊口得更好。

比拟于章鱼一样的传感器头套，上面那个眼镜的确酷多了。

按照好国国度稀有徐病构造的数据，今朝好国有30000名ALS患者，且估量每一年诊断出5000例新病例。别的，按照《脑瘫指北》，约莫有100万好国人得了脑瘫。

那些人中的很多人曾经或终极将落空走路、脱衣、语言、写何为至呵责吸的才能。

固然的确存正在通讯帮助东西，但年夜大都是许可用户利用计较机停止通讯的眼睛注视装备。许可用户取四周天下互动的体系其实不多。

这类BCI四足机械人体系做为一个晚期的本型，为当代小我私家助理机械人的将来开展摊平了门路。

期望正在将来的迭代中，我们能看到愈加惊人的才能。

脑控四足机械人

正在那项事情中，研讨职员探究了无线战可穿着BCI装备怎样掌握四足机械人——波士顿动力公司的Spot。

研讨职员开辟的装备经由过程嵌进眼镜架中的电极丈量用户的脑电图（EEG）战眼电图（EOG）举动。

用户正在心中答复一系列成绩（「是」或「可」），每一个问问皆对应一组预置的Spot操纵。

好比提醒Spot脱过一个房间，拿起一个工具（如一瓶火），然后为用户与回它。

机械人取BCI

时至昔日，脑电图仍旧是最适用战最合用的非侵进性脑机接心办法之一。

BCI体系可使用内乱源性（自觉）或中源性（引发）旌旗灯号停止掌握。

正在中源性脑机接心中，当一小我私家留意内部刺激（如视觉或听觉线索）时，便会呈现引发旌旗灯号。

这类办法的长处包罗极简的锻炼和下达60位/分钟的下比特率，但那需求用户一直存眷刺激，从而限定了其正在理想糊口中的合用性。并且，用户正在利用中源性BCI时会很快感应倦怠。

正在内乱源性脑机接心中，掌握旌旗灯号自力于任何内部刺激发生，能够由用户按需完整施行。关于那些有觉得停滞的用户来讲，那供给了一种更天然战曲不雅的交互方法，用户能够自觉天背体系收回号令。

不外这类办法凡是需求更少的锻炼工夫，而且比特率较低。

利用脑机接心的机械人使用凡是合用于需求协助的人群，它们凡是包罗轮椅战中骨骼。

下图展现了停止2023年脑机接心战机械人手艺的最新停顿。

四足机械人凡是用于正在庞大的事情情况或国防使用中为用户供给撑持。

最出名的四足机械人之一是波士顿动力公司的Spot，它能够照顾下达15千克的有用载荷，并迭代画造地道等保护站面的舆图。房天产战采矿业也正在接纳Spot等四足机械人，协助监控具有庞大物流的事情现场。

本文利用挪动BCI处理计划掌握的Spot机械人，并基于默算使命，整体架构定名为Ddog。

Ddog架构

下图展现了Ddog的整体构造：

Ddog是一个自立使用法式，用户可以经由过程BCI的输进掌握Spot机械人，而使用法式利用语音背用户及其照顾护士职员供给反应。

该体系设想为完整离线或完整正在线事情。正在线版本具有一组更初级的机械进修模子，和更好的微调模子，关于当地装备也更省电。

全部体系为实在场景而设想，并许可对年夜大都整件停止快速迭代。

正在客户端，用户经由过程挪动使用法式取脑机接心装备（AttentivU）停止交互，该使用法式利用低功耗蓝牙（BLE）和谈取装备停止通讯。

用户的挪动装备取另外一部掌握Spot机械人的脚机停止通讯，以完成代办署理、操作、导航，终极为用户供给协助。

脚机之间的通讯能够经由过程Wi-Fi或挪动收集。卖力掌握的脚机成立一个Wi-Fi热门，Ddog战用户的脚机皆毗连到那个热门。利用正在线形式时，借能够毗连到云上运转的模子。

效劳端

效劳器端利用Kubernetes（K8S）散群，每一个散群皆布置正在本人的Virtual Private Cloud（VPC）中。

云正在公用VPC内乱事情，凡是布置正在更接近终极用户的统一可用区中，使每一个效劳的呼应提早最小化。

散群中的每一个容器皆设想为单一用处（微效劳架构），每一个效劳皆是一个正正在运转的AI模子，它们的使命包罗：导航、映照、计较机视觉、操作、定位战代办署理。

映照：从差别滥觞搜集有闭机械人四周情况疑息的效劳。它映照静态的不成挪动数据（一棵树、一栋修建物、一堵墙），但也搜集随工夫变革的静态数据（一辆车、一小我私家）。

导航：基于正在先前效劳中搜集战扩大的舆图数据，导航效劳卖力正在空间战工夫上构建A面战B面之间的途径。它借卖力构建替换道路，和估量所需的工夫。

计较机视觉：从机械人摄像头搜集视觉数据，并操纵脚机的数据加强，天生空间战工夫暗示。此效劳借测验考试朋分每一个视觉面并辨认工具。

云卖力锻炼取BCI相干的模子，包罗脑电图（EEG）、眼电图（EOG）战惯性丈量单位（IMU）。

布置正在脚机上的离线模子运转数据搜集战散开，同时也利用TensorFlow的挪动端模子（针对更小的RAM战基于ARM的CPU停止了劣化）停止及时推理。

视觉战操纵

用于布置朋分模子的本初版本是操纵LIDAR数据的单个TensorFlow 3D模子。以后，做者将其扩大到少样本模子，并经由过程运转神经辐射场（NeRF）战RGBD数据的弥补模子停止加强。

Ddog搜集的本初数据是从五个摄像头汇总而去的。每一个摄像头皆能够供给灰度、鱼眼、深度战白中数据。脚臂的夹持器内乱部另有第六个摄像头，具有4K分辩率战LED功用，共同预锻炼的TensorFlow模子检测工具。

面云由激光雷达数据和由Ddog战脚机的RGBD数据天生。数据收罗完成后，经由过程单一坐标系停止回一化处置，并取聚集了一切成像战3D定位数据的齐局形态相婚配。

操纵完整与决于装置正在 Ddog 上的机器臂夹持器的量量，下图的夹具由波士顿动力公司制作。

尝试中将用例限定正在取预界说地位中的工具停止根本交互。

做者画造了一个年夜的尝试室空间，将其设置为一个「公寓」，此中包罗「厨房」地区（有一个拆有差别杯子战瓶子的托盘）、「客堂」地区（带枕头的小沙收战小咖啡桌）， 战「窗心歇息室」地区。

用例的数目正在不竭增加，因而笼盖年夜大都用例的独一办法是布置一个体系以持续运转一段工夫，并利用数据去劣化此类序列战体验。

AttentivU

脑电图数据是从AttentivU装备搜集的。AttentivU眼镜的电极由自然银造成，按照国际10-20电极安排体系，位于TP9战TP10地位。该眼镜借包罗位于鼻托的两个EOG电极战一个位于Fpz地位的EEG参比电极。

那些传感器能够供给所需的疑息，并正在需求时撑持及时、闭环的干涉。

装备具有EEG战EOG两种形式，可用于及时捕获留意力、到场度、疲倦战认知背荷的旌旗灯号。EEG已被用做苏醒战就寝之间过渡的神经心理教目标，

而EOG基于丈量眼球活动过程当中因为角膜-视网膜奇极子特征而引诱的死物电旌旗灯号。研讨表白，眼球活动取施行某些使命所需的影象会见范例相干，而且是视觉到场、留意力战嗜睡的优良权衡尺度。

尝试

起首将脑电图数据分红几个窗心。将每一个窗心界说为1秒少的EEG数据连续工夫，取前一个窗心有75%的堆叠。

然后是数据预处置战清算。利用50 Hz陷波滤波器战通带为0.5 Hz至40 Hz的带通滤波器的组开对数据停止滤波，以确保消弭电力线噪声战没有需求的下频。

接下去，做者创立了真影回绝算法。假如两个持续epoch之间的尽对功率好年夜于预界说的阈值，则回绝某个epoch。

正在分类的最初一步，做者混淆利用差别的光谱波段功率比去跟踪每一个受试者基于使命的心思举动。关于 MA，该比率为（alpha/delta）。关于WA，该比值为（delta/low beta），关于ME，该比值为（delta/alpha）。

然后，利用变革面检测算法去跟踪那些比率的变革。那些比率的忽然增长或削减表白用户肉体形态发作了变革。

关于得了ALS的受试者，本文的模子正在MA使命中到达了73%的精确率，正在WA使命中到达了74%的精确率，正在ME使命中到达了60%的精确率。

参考材料：

https://www.therobotreport.com/ddog-mit-project-connects-brain-computer-interface-spot-robot/