Science Robotics | 人机闭环系统机械手的分层感觉运动控制框架
Science Robotics | 人机闭环系统机械手的分层感觉运动控制框架
人类的手的灵活性很大程度上依赖于触觉。机械手和假肢的灵巧度要低得多，并且很少使用许多可用的触觉传感器。
近日发表在《Science Robotics》上的一项研究提出了一个以神经系统的分层感觉运动控制器为模型的框架，将机械感知与人体控制回路中的动作联系起来，具有触觉功能的机械手。
背景
具有完整运动功能但指尖无知觉的人在执行灵巧的抓取和操作时存在实质性的困难，这表明触觉感知对于人类的灵活性是必要的。市面上的机械手和假肢有越来越复杂的关节，但通常缺乏触觉反馈，尽管现有的工程化传感器种类繁多。最近发展起来的触觉传感技术可以融入到“电子皮肤”的概念中，赋予了机器人系统复杂的接触状态表征。然而，如何用这种具有触摸功能的机械手有效地与人类交互是一个挑战。如何在人机回路系统(如仿生肢体、虚拟化身和具有高带宽触觉流的远程机器人)中管理代理和任务分配，以及最大化效用和用户体验，在很大程度上仍不清楚。为了应对这一挑战，本研究从人类感觉运动控制的分级原则中获得灵感，提出了一个概念框架，建立了一个研究议程，在跨多个应用的回路系统中，使用可触控机器人代理进行自然闭环控制
人类的触觉，触觉和灵活性
人的双手嵌入了一个密集的受体网络，对机械事件的静态和时变方面都有反应。处理这些感受器提供的丰富的触觉数据对人类来说是直接的(与机器人设备相反)。当手与物体相互作用时，来自手部感受器的传入触觉信息被中枢神经系统(CNS)多个层面的神经网络并行处理和整合。通过前馈编程和反馈驱动控制的结合，人类达到和抓取的速度和灵活性得以实现。人类不仅能灵巧地伸手抓东西，而且毫不费力，很多感觉运动处理都是在潜意识中完成的。高级别的动作，比如目标对象的选择，通常至少需要一些有意识的参与，而较低级别的控制，只要动作按照预期展开，就可以在没有有意识注意的情况下进行。传入和传出的触觉活动之间的动态相互作用，根据环境的不同，在潜意识或有意识地进行处理，是人类操作和探索的内在特征。
▲图1.人的触觉回路系统中提出的高带宽传感器数据流。高密度传感的分布式特性体现在图片底部的假肢上。传感信息通过局部处理实现对假肢的自动控制，模仿人的潜意识处理。根据当前交互(行为)的性质，依赖于上下文的过滤器调节作为反馈传递给人类用户的触觉数据的数量。刺激接口可以是侵入性的或非侵入性的，需要支持可变带宽的触觉沟通，而刺激传递的位置取决于具体的应用。例如，在远程操作场景中，可以将刺激传递到手部，或者在假肢应用中，将刺激传递到手臂(残肢)。
机器人的触觉感知和控制
机器人中的高密度触觉感知：与生物机械感受器类似，机器人机械传感器大多是检测基底变形的应变片，也可以通过光学触觉感知回收。衬底的位置和力学性质决定了变形和应变如何与状态变量相关，如接触力或振动的位置或方向。触觉信息不可避免地需要许多这样的传感器，这些传感器可能会产生许多独立的电信号，这些信号可能需要大量的组合和处理，以提取控制所需的状态变量的详尽信息。
分布式传感控制：灵巧地操作对象通常需要了解它们的整体形状和在多个接触点的加载。如果对象是陌生的，那么控制器必须保持稳定的抓取，同时从电子皮肤中的传感器和驱动器及其机械连接(对应于生物本体感觉)，以及其他模式(如视觉)识别对象及其处理特性。稳定通常需要对诸如初始滑移等事件做出快速、自动的反应；目标识别可能需要更多的探索性动作。尽管对传感器和控制算法进行了大量研究，但目前的技术解决方案仍远未达到人类的能力。
信号处理是闭环控制的瓶颈：虽然与神经动作电位相比，电子信息的传输几乎是瞬间的，但大量数据的数字协议和信号处理可能会导致机器人系统的大量延迟。生物传感器通过大量相对缓慢但平行的通道传输信息，而人工传感器通常聚合许多信息通道进行串行传输。即使只有几百个传感器，实现连续数据处理的努力也可能会遇到限制，这远远少于人手中的数千个传感器。
机器人处理高密度触觉数据的策略：在计算资源有限的情况下，可以采用不同的方法来管理复杂的传感系统。利用少量低噪声传感器的插值可以获得较高的空间分辨率。另一种仿生方法是过滤自我生成的触觉数据，以增强来自环境的信息。复杂电子皮肤中的数据冗余对于处理制造变化、损伤、软材料降解和噪声是有用的。神经网络和其他机器学习方法正在开发中，以将这种高密度信息转化为可管理的控制输入，但这些方法在需要具体智能的任务中仍远未达到人类(或其他动物)的表现。神经形态计算已经激发了硬件实现的神经形态皮肤的开发。这种神经形态方法体积小、功率要求低、可并行操作，为更传统的机器人方法和技术提供了一种替代方案。
人机系统的共同感知和行动
利用高密度触觉感知技术增强触觉机器人的性能，可以显著提高其性能。然而，这种增强提出了如何最好地将这些信号传输给人类控制器的问题，更普遍地说，如何在回路系统中将人与设备集成。
直接接口的局限性：一个自然的解决方案是在用户的神经系统和机电设备之间直接建立双向通信。最大的挑战是实现足够的时间和空间分辨率，以便诱发的神经活动产生可识别的感觉的触觉事件。不幸的是，整体的空间选择性和可实现的信息带宽仍然很低，而且神经编码的突出方面还没有被完全理解。此外，该接口的信号难以长期记录，其生物代码也难以理解。
共享控制，以适应高密度的触觉数据：通过使用某种程度的共享控制，可以减少该接口的时空需求，从而使一些低级功能独立于人类机构自动控制。理想情况下，当控制在人类和人工系统之间共享时，为了实现直观和自然的交互，自主控制器对人类用户应该是“隐形的”。人类感觉运动系统的分级组织表明，如果人工系统接管了通常在潜意识中执行的感觉运动功能，就可以实现这一点。图1说明了在一个触觉实现的人在回路系统中共享控制的概念。放置在机器人末端执行器上的电子皮肤记录的高带宽传感信息可以在局部环路中处理，用于人工手的低级自主行为(潜意识处理)。此外，共享控制提供了人机回路混合系统中传输(和使用)触觉数据的灵活性，因为与直接接口相反，并非所有数据都需要传递给操作员。相反，部分数据被实现自动功能的本地反馈循环消耗。
一种用于人体触觉回路系统中组织双向控制的框架：图1的方法带来了一个新的挑战：决定如何在自动控制器和人类控制器之间共享控制和触觉反馈流。同样，人类的感觉运动处理过程可以为这些决定提供信息。一种选择是只向用户传递需要有意识处理的信息，并将其他触觉信号封装在自动控制器中。在这种情况下，自动控制器和人类代理之间的数据流最终取决于机器人系统的自治程度，如图2和图3所示。图2从前面提出的机器人分层控制的仿生模型开始，添加了一个人为代理，它可以根据机器人所体现的智能数量(自主能力)在不同的层次上与机器人系统进行接口。接口层定义了人类和机器人代理之间的控制和反馈信息流。其基本原理可以概括为：随着机器人系统增强，具有了先进的自主能力，将控制责任转移给机器人代理，越来越多的传感器数据可以被本地消耗，减少了需要传递给操作员的数据量，并允许更长时间的传输。
▲图2.一个用于指导实施高密度触觉数据增强的人体回路系统的框架。机器人系统是一个机器人代理的模型，它可以包含不同程度的自主，从无自主(直接接触或控制)到协作和完全自主的行为。较深的圆角矩形(从任务顺序器到机械结构)是分层组织的机器人控制器层，浅蓝色矩形表示人类用户与机器的接口层次(从完全自主到直接接触)，而红色和蓝色箭头是人类操作员与机器人系统之间交换的命令和反馈信号。共享控制范式允许减少携带命令和反馈信号的人机接口通道上的“压力”。接口级别越高，实现同等功能和性能所需的人与系统之间的通信带宽就越小，如红色和蓝色线的厚度变化所示。接口的级别也决定了控制和反馈信号的具体性质，如图3所示。
在直接接口(图2中的直接控制)中，机器人控制器的职责只是检测和翻译用户的意图，只能将高密度的触觉数据传递给用户。在这种情况下，用户需要使用反馈来对干扰做出反应和补偿。如果机器人配备了中间件，包括作为人工反射运行的局部循环，那么反馈的要求可以放宽，设备可以自动对干扰做出反应(中间件图2)。当机器人控制器包含足够的具身智能(动作控制如图2所示)来执行高级动作时，反馈就变得不那么重要了，可以用来指示动作执行的进度。最后，对于与人类协作或独立操作的完全自主机器人(协作和完全自主见图2)，反馈可以简化为两个代理内部状态的偶尔周期性同步。
最后，人类学习和适应的能力对于发展与环境的有效互动至关重要。如果机器人也可以学习和适应，这需要至少对环境有一些意识(图2，动作控制器和更高的级别)，那么随着机器人控制器变得越来越可靠，反馈可能对人在环系统的整体性能变得更加不重要。
▲图3.一个用于实现闭环人体触觉回路系统的框架。
▲图4.接口的代表性例子，可以提供高带宽的触觉刺激。A.用于电触觉刺激的高密度矩阵电极。B.集成皮肤的多通道振动触觉接口。C.用于脑刺激的犹他州电极阵列。D.用于周围神经刺激的犹他倾斜电极阵列。
柔性触觉反馈的刺激技术：理想的向用户传递触觉反馈的刺激接口应该能够提供可变带宽的交流，从简单的重要事件和阶段的反馈到空间分布的触觉交互的综合反馈。可用于建立高带宽触觉通道的几个代表性接口示例如图4所示。电触觉和振动触觉接口是非侵入性的，微电子技术可以支持电极垫和微型机械“因子”的密集矩阵。因此，这种接口可以向皮肤传递空间分布的刺激，但感觉的保真度和质量无法与自然的触觉体验相媲美。也有侵入性的方法，例如使用密集的针状电极阵列刺激周围神经或感觉运动皮质。这些方法目前仅用于特定的临床应用，如高度残疾患者的体感反馈恢复。然而，这种侵入性和非侵入性的接口所能实现的有效信息吞吐量仍然可能大大低于自然触觉反馈。
总之，“onlife”数字时代提供了一个测试平台，人类、机器和自然之间的区别是模糊的。信息和通信技术正在成为影响人类自我概念、相互作用以及与虚拟和现实世界的相互作用的环境力量。触觉反馈技术是人类跨越物理距离有效扩展身体和思想的关键要素。这种技术比现有的视觉和听觉采集和显示技术要求更高，也更不发达。然而，触觉反馈必须成功地与那些个人之外的感官相结合，以实现沉浸式和灵巧的互动。
结论
先进的技术为全功能的拟人肢体提供了机电一体化、传感和计算组件。实现触觉感知和灵巧机器的限制因素是如何在机器人系统内部和外部与人类用户关闭感觉运动控制回路。这包括识别突出的感觉模式，从这些传感器中提取可操作的信息，以及整合这些信息来告知和调整目标导向的行为。
正如本研究所展示的，人的表现为机电系统的设计策略提供了灵感，这些系统可以像人一样工作，与人一起工作，甚至可以作为人的替代部件。触觉信息的共享控制和基于上下文的过滤，分层组织，模仿人类感觉运动控制中潜意识和意识处理的分配，是一种很有前景的方法，可以在人在回路系统中组织高密度的触觉数据流。相反，这样的工程系统可以用来测试难以从生物系统获得的有限数据中确认的生物功能理论。
参考文献：
https://www.science.org/doi/10.1126/scirobotics.add5434