腾讯公布机器人技术新进展：让机器人拥有像人一样灵活的“巧手”

作者 | 物联网智库2023-04-25

4月25日，腾讯Robotics X实验室公布最新机器人研究进展，首次展示在灵巧操作领域的成果，推出自研机器人灵巧手 TRX-Hand和机械臂 TRX-Arm。

其中，灵巧手TRX-Hand拥有像人手一样灵活的操作能力，可适应不同场景，灵活规划动作，自主完成“操作”。而机械臂TRX-Arm针对人居环境自主研发，拥有七自由度和拟人的特性，具有运动灵巧、爆发力强、触控一体以及柔顺安全等特点。

一般来说，机器人技术根据“智能程度”可分为三个阶段：只能完成固定命令的程序机器人、能够感知周围环境的自适应机器人以及能够自主学习和决策的智能机器人。常见的工厂流水线机械臂以及拉面机器人等即属于第一阶段，它们只能在单一的场景内重复固定的动作。

具备灵巧操作能力的机器人则属于第二和第三阶段，人类真实的生活中会涉及大量的操作场景，如拾取物品、倒水等，为了让机器人更好地帮助人类、发挥更大作用，提升其操作能力至关重要。想要在各类场景里灵活操作物体，机器人必须能感知环境、理解物体、评估状态、预测行为并自主规划完成物体操作，这意味着机器人要具备丰富的感知、强大的决策与可靠的执行能力。

以腾讯本次展示的机器人花式调酒场景为例，为完成一杯酒的调制，机器人需对多种物体连续进行30多次操作，这也对机器人本体、感知与控制的精准度、稳定性、容错度提出了极高的要求，这个过程不仅涉及瓶子、杯子、搅拌棒等多种常见物体，机器人还需要以多种动作操作这些物体，包含抓、放、倒这些常规操作和旋转、摇晃等双手协同动作，以及更高难度的抛接、翻转等动态操作和插孔、穿刺、搅拌等精细操作动作。

这一系列连贯、复杂、精巧的动作，体现了腾讯 Robotics X 实验室在机器人本体、感知与控制技术上领先的综合实力。

自主研发高性能三指灵巧手首次亮相

在运动能力上，得益于创新的刚柔混合驱动专利技术和自研高功率密度驱动器，腾讯灵巧手TRX-Hand兼具高灵巧和高负载速度的特性，拥有8个可独立控制关节，自重仅1.16千克，最大持续指尖力可达15牛，最大关节速度不低于600度每秒，可轻松应对不同形状尺寸物体的抓取和操作，对高动态的抛接动作也游刃有余。同时，柔性驱动的指尖设计有效提升了手指的抗冲击能力。

在感知能力上，灵巧手在指尖、指腹和掌面均覆盖了自研的高灵敏度柔性触觉传感器阵列，掌心处安装有微型激光雷达和接近传感器，同时每一个关节均集成了角度传感器，保证灵巧手在抓取和操作过程中能准确地感知自身与物体状态信息。

视觉、接近觉、触觉、力觉多传感器融合

考虑到人居环境中充斥着透明、反光、细小的物体以及由遮挡、光照、打滑等因素造成的各种不确定性，为了让机器人精准可靠地获取物体信息，需要结合多种传感信息，如视觉、接近觉、触觉和力觉等。

这些不同模态传感信息各有各的特点，如，相机可以看到场景全貌，为机器人做全局运动规划提供必要信息；接近觉在机器人靠近环境物体过程中提供更实时的反馈，弥补系统建模的误差，使机器人更精准地获取物体；触觉可以感知相机无法看到的接触细节，包括接触位置和形状，实时感知手内物体的状态；力觉使机器人感知与环境/物体交互时的整体受力情况，使交互更为轻柔和自然。

腾讯Robotics X实验室对不同传感器进行了建模与标定，采用多传感器信息融合技术，使机器人能在各种操作任务中更全面及时地感知物体信息、自身运动状态以及与环境的物理交互，从而更可靠地完成任务。

软硬结合让机器人像人一样“动手”

机器人是一项综合性的技术，不仅对本体和传感器等硬件有着极高的要求，软件算法也是机器人的核心要件。据研究员介绍，腾讯Robotics X实验室本次展示的机器人是在六自由度工业机械臂上搭载灵巧机器手TRX-Hand以及自主开发的感知与控制算法后，让机器人能够顺畅地完成一系列操作动作。

针对抓放物体与倒水等常规动作，首先基于视觉和触觉对物体进行实时识别与定位，利用在线规划算法，让机器人能够计算出臂手的最佳构型与安全运动轨迹，随后，在执行中利用手上三种传感器进行自适应调整，进一步保证动作执行的精度与可靠性，同时借助机械臂末端六维力传感器感知与环境的交互力，避免猛烈碰撞。这样才能保证机器人抓得稳、放得轻、倒得准。

让机器人的“双手”在高速运动的同时保持协同极具挑战，协同失误会产生过大冲击或应力，损伤被操作物体甚至机器人本身。在调酒的过程中，腾讯Robotics X实验室展示的机器人结合视触觉融合的手内物体姿态估计与基于机械臂末端力传感信号的力位混合控制，实现了酒瓶与摇酒器高速旋转倒酒、大小摇酒器相扣摇酒等双手协同动作。

本次展示中，腾讯Robotics X实验室让机器人顺利完成“抛接”等高难度的动作，这类动作对实时性要求极高，感知或执行上的细微误差都会导致操作失败。

研究团队在这一过程中创新性地提出了基于机器人本体感知的抓抛过程建模与物体飞行轨迹预测方法，有效弥补传统视觉算法在短距离、强遮挡、高动态操作场景下的局限性，实现了高精度、高时效的抓抛物体飞行轨迹预测。此外，团队还提出了飞行物体的最优拦截时间、最优拦截位姿与最优拦截轨迹的计算方法，以动作持续时间、机器人运动能量以及与物体的接触力为优化目标，能在数毫秒内完成计算，实现对快速飞行物体的平稳拦接。

在搅拌棒插孔和使用签子插葡萄的任务中，不锈钢搅拌棒和金属签子都是无纹理、高反光的细长物体，搅拌棒直径8mm，与孔直径相差仅1mm，签子直径不足2mm，这给物体的识别与定位带来不少挑战。特别是，搅拌棒在经过一系列搅拌动作后并不一定停留在原来的手内位置，其在接近孔时会对孔造成遮挡，它的反光表面更会倒映出孔造成视觉的混淆。对此，研究团队在仅依靠机器人头部相机的条件下，通过对物体间相对位置的估计，并融入触觉感知，获得了稳定的搅拌棒、孔和签子的识别与定位。此外，通过力觉感知到插孔失败后能抬起手臂再次尝试，通过几次试探使搅拌棒逐渐接近真实孔位、确保完成插孔操作，展示了机器人能实时感知任务状态，识别失败并自主调整策略，最终成功完成任务的调整和容错能力。

此外，高分辨率的指尖触觉让机器人精巧的手内操作成为可能。所谓手内操作，指的是仅利用手指来操控手里的物体，改变其位姿和状态。这是一种充分发挥手指运动能力的技能，能以最小能耗达到操作物体的目的，同时也对手部的感知能力和控制精度有极高要求，是“灵巧”性的集中体现。人类在日常生活中大量使用手内操作，例如搅拌汤勺、写字、使用筷子等。但对于机器人来说，手内操作非常有挑战性，在“感知—控制”回环的任一部分稍有差池，就会造成物体掉落和任务失败。

演示中，机器人以指尖抓住一根细长的搅拌棒，先以臂手协同的方式大力搅拌杯子里的液体，然后静止手臂，以纯手指运动的方式平滑柔顺地搅拌，其中后者的手内操作结合了深度强化学习和sim2real等技术，使用了指尖传感器实时反馈接触状态，生成三个手指的协同运动，同时对搅拌棒施加合适的力，在保证搅拌棒不掉落的前提下，驱动搅拌棒按期望轨迹搅拌杯子里的液体，充分展现机器人的灵巧操作能力。

让机器人技术更好地服务现实需求

此外，腾讯自主研发的高性能七自由度拟人机械臂TRX-Arm也首次对外亮相。不同于传统的协作型机械臂，TRX-Arm采用了绳索传动与差分驱动相结合的方式，不仅有效降低了传动摩擦和运动惯量，还实现了多电机多关节协同驱动，具有高动态运动的能力，其最大速度7.4m/s，最大加速度44.5m/s2，可负载6kg以上。同时，其前臂集成了768点的触觉阵列，其刷新频率高达1000Hz，以此实现了酒瓶在滚动和平衡过程中的高频实时定位。