男人一动不动地坐在椅子上,目不转睛地盯着面前桌上的一块蛋糕。电线从他大脑中的电极植入物中伸出。他的两侧是两条巨大的机械手臂,每条手臂都比他的整个上半身还要大。一个拿着刀,另一个拿着叉子。
“切菜吃。右手向前移动开始,”一个机器人声音命令道。
男人专注于将他部分瘫痪的右臂向前移动。他的手腕几乎没有抽动,但机械式的右手却平稳地向前航行,将叉子的尖端定位在蛋糕附近。左手又轻轻一动,将刀向前送去。
几个命令后,这个男人高兴地张开嘴,吞下了一口大小的零食,在他的机器人化身的帮助下切成个人喜好。自从他能够养活自己以来,已经过去了大约 30 年。
我们中的大多数人不会三思而后行地同时使用我们的两条手臂——用刀叉吃饭、打开瓶子、拥抱亲人、懒洋洋地躺在沙发上操作视频游戏控制器。协调对我们的大脑来说是自然而然的。
然而,重建两个肢体之间的这种轻松运动多年来一直困扰着脑机接口(BMI) 专家。一个主要障碍是复杂程度:在一项估计中,使用机器人肢体完成日常生活任务可能需要 34 个自由度,即使是最复杂的 BMI 设置也具有挑战性。
由约翰霍普金斯大学的 Francesco V. Tenore 博士领导的一项新研究发现了一个绝妙的解决方法。由于机器学习,机器人变得越来越自主。与其将机器人的肢体仅仅视为机械,为什么不利用它们复杂的编程让人类和机器人可以共享控制?
“这种共享控制方法旨在利用脑机接口和机器人系统的内在功能,创造一个‘两全其美’的环境,用户可以在其中个性化智能假肢的行为,”Francesco Tenore 博士说.
就像一个自动飞行系统一样,这种协作允许人类通过只关注最重要的事情来“驾驶”机器人——在这种情况下,每一口蛋糕要切多大——同时将更多平凡的操作留给半成品。自主机器人。
该团队表示,希望这些“神经机器人系统”——大脑神经信号和机器人智能算法之间的真正思维融合——能够“提高用户的独立性和功能性”。
双重麻烦
大脑向我们的肌肉发送电信号以控制运动,并根据接收到的反馈调整这些指令——例如,那些编码压力或肢体在空间中的位置的指令。脊髓损伤或其他损害这条信号高速公路的疾病会切断大脑对肌肉的控制,导致瘫痪。
BMI 本质上是在受伤的神经系统上架起一座桥梁,让神经命令能够通过——无论是操作健康的肢体还是连接的假肢。从恢复手写和语音到感知刺激和控制机器人肢体,BMI 为恢复人们的生活铺平了道路。
然而,这项技术一直受到一个令人不安的问题的困扰:双重控制。到目前为止,BMI 的成功很大程度上仅限于移动一个肢体——身体或其他方面。然而在日常生活中,我们需要双臂来完成最简单的任务——科学家称之为“双手运动”的一种被忽视的超级大国。
早在 2013 年,杜克大学的 BMI 先驱 Miguel Nicolelis 博士提出了第一个证据,证明双手控制 BMI 并非不可能。在两只植入了电极微阵列的猴子身上,来自大约 500 个神经元的神经信号足以帮助猴子控制两个虚拟手臂,只用他们的思想来解决计算机化的任务,以获得(字面上)多汁的奖励。虽然这是一个有希望的第一步,但当时的专家想知道该设置是否可以处理更复杂的人类活动。
伸出援助之手
这项新研究采用了不同的方法:协作共享控制。这个想法很简单。如果使用神经信号来控制两个机械臂对于单独的大脑植入来说过于复杂,为什么不让智能机器人减轻一些处理负载呢?
实际上,机器人首先被预先编程为几个简单的动作,同时留出空间让人类根据自己的喜好控制细节。这就像一个机器人和人类双人自行车骑行:机器根据算法指令以不同的速度踩踏板,而人则控制车把和刹车。
为了建立这个系统,该团队首先训练了一种算法来解码志愿者的思想。这位 49 岁的男子在测试前大约 30 年遭受了脊髓损伤。他的肩膀和肘部仍然很少活动,并且可以伸展手腕。然而,他的大脑早已失去了对手指的控制,剥夺了他对精细运动的控制。
该团队首先将六个电极微阵列植入他的皮层的各个部分。在他的大脑左侧——控制他的优势侧,右侧——他们分别将两个阵列插入运动和感觉区域。相应的右脑区域——控制他的非惯用手——分别接收到一个数组。
团队接下来指示该男子尽其所能进行一系列手部动作。每个手势——弯曲左手腕或右手腕、张开或捏手——都映射到一个运动方向。例如,弯曲他的右手腕同时伸展他的左手(反之亦然)对应于水平方向的运动;双手打开或捏住代码进行垂直移动。
与此同时,该团队收集了编码每个手部动作的神经信号。这些数据被用来训练一种算法来解码预期的手势并为外部的一对科幻机械臂提供动力,成功率约为 85%。
让他吃蛋糕
机械臂也接受了一些预训练。通过模拟,该团队首先让手臂知道蛋糕在盘子上的位置,盘子将放在桌子上的哪个位置,以及蛋糕离参与者嘴巴大约有多远。他们还微调了机械臂的运动速度和范围——毕竟,没有人愿意看到一个巨大的机械臂握着尖叉,在你脸上飞来飞去,晃来晃去的一块蛋糕。
在此设置中,参与者可以部分控制手臂的位置和方向,每侧最多有两个自由度——例如,允许他左右移动任何手臂、前后移动或左右滚动.同时,机器人负责其余的运动复杂性。
为了进一步帮助协作,机器人的声音会在每一步中喊出,帮助团队切一块蛋糕并送到参与者的嘴里。
男人率先行动。通过专注于他的右手腕运动,他将右手机械手定位在蛋糕上。然后机器人接管,自动将叉子的尖端移到蛋糕上。然后,该男子可以使用预先训练的神经控制来确定叉子的确切位置。
设置完成后,机器人会自动将持刀的手移向叉子的左侧。男人再次调整,将蛋糕切成他想要的大小,然后机器人自动切割蛋糕并将其送到他的嘴里。
“食用糕点是可选的,但参与者选择这样做是因为它很好吃,”作者说。
该研究有 37 项试验,其中大部分是校准。总体而言,这个人用他的头脑吃了七口蛋糕,所有的蛋糕都“大小适中”,没有掉下任何东西。
它肯定不会很快出现在您家中。该设置基于 DARPA 开发的一对巨大机械臂,需要为机器人提供广泛的预编程知识,这意味着它在任何给定时间只能执行一项任务。目前,该研究更多地是关于如何将神经信号与机器人自主性相结合以进一步扩展 BMI 能力的探索性概念证明。
但随着假肢变得越来越智能和价格越来越便宜,该团队正在展望未来。
“最终目标是可调节的自主性,利用任何可用的 BMI 信号
它们的最大效率,使人类能够控制最直接影响任务质量性能的几个自由度 [自由度],而机器人负责其余的工作,”该团队说。未来的研究将探索并推动这些人机思维融合的界限。
图片来源:约翰霍普金斯应用物理实验室