超声智能协作机器人关键技术研究及医学领域应用项目

一、项目研究背景

1.1 研究意义

当下

尽管传统超声成像具备诸多优势且经验丰富但操作医师的手法对于结果具有重要影响而持续握住超声探头可能导致肌肉骨骼相关疾病此外机器人的显著优势在于能够在空间上实现医生与患者之间的真实隔离无论是采用机器人的自动识别检查方式还是医生远程操控的方式均实现了零接触状态

超声机器人不仅具备高分辨率的空间成像技术，并且能够在显微镜下详细呈现目标组织的各种精细结构；

并且且不具放射性特征，在医学影像诊断和手术操作等多个领域展现出显著的安全优势。此外该设备运行成本相对较低日常维护成本也不高。特别地，在同一台设备上即可实现多种成像技术的应用包括二维超声检查、三维重建以及四维动态观察等技术整合能够满足临床医生对不同医疗场景的需求从而为临床医生提供更为精确的诊断手段并辅助实施精准的治疗方案

当前，在远程超声诊断系统的研发与临床应用领域中，我国处于领先地位。

因此，在本课题中我们致力于探索人机协同超声诊断机器人系统的关键技术问题，并通过提升系统使用便捷性、可及性和智能水平等特性来同时扩大其临床应用潜力。

• 国内外研究现状
  1.

  1. 超声诊断机器人研究

现状近年来有所进展。具体而言，在2016年Kim Mathiassen等人提出了一种基于UR5商业机器人实现远程超声诊断机器人的方案，并成功实现了机器人在顺逆向操作中的触觉反馈控制能力。Wang等研究者开发了一个视图规划平台用于实现整个工作流程的设计与优化，并通过实证研究表明该方案在实际操作中具有良好的可行性。此外，在这一领域中Guochen Ning等学者开发了一种基于强化学习算法设计的完全自主式超声成像系统。该系统采用单一RGB图像作为输入数据驱动超声探头自动完成对柔软目标物体（无需预先标记）的自主成像过程。具体而言，在状态表示模型的基础上降低了成像状态空间维度，并将力传感器与超声传感器采集的信息融合到场景图像空间中进行编码处理。随后通过策略梯度强化学习方法构建训练模型，并在此模型基础上实现了导纳控制器下的精确力值跟踪能力。

图1.1 基于强化学习的自主机器人超声成像系统

Huang及其团队研发了一款结合机械臂与自动化的三维超声成像设备，并经实验表明该技术方案具有实际应用价值。值得注意的是，在这一领域中还存在其他采用机器人与探头协同工作的超声成像系统值得提及：例如Xutian Deng团队借助模仿学习的方法掌握超声操作技能；而Filip Suligoj则开发了一个更具自主性的框架以提升医学诊断水平。

1. 

1. 动态手势识别研究现状

目前，在动态手势识别领域已有诸多研究取得了显著成果。其中一项重要研究是由Gurav R M等人开展的探索性工作，在该研究中他们采用二值化技术和轮廓检测手段来实时追踪手部位置与数量，并通过特征向量来辨识各类手势。这一技术不仅具有较高的准确性还具有良好的鲁棒性特点因此广泛应用于多个应用场景包括互动型计算机游戏、手势控制设备以及虚拟现实系统等不同领域。值得注意的是Hsieh C C团队则开发出一种新型的Haar特征提取方法如图1-2所示这种改进型的方法能够在一定程度上提升对细节纹理信息的捕捉能力从而进一步优化了整体的手势识别效果

图1.2 手势识别神经网络架构

该方法具备广泛的适用性，在手势控制、虚拟现实及智能家居等领域展现出良好的应用潜力。Mujahid A采用了基于YOLOv3模型的实时手势识别方案，在新数据集上进行模型训练即可实现对不同手势的检测与分类功能。与此同时，可穿戴式生物传感系统也是一种重要的人工智能应用技术，在这一领域中,Moin A等人开发了一种可穿戴式生物传感系统,通过利用人体肌电活动与心率变化等生理信号,结合内置机器学习算法进行处理与分类,从而实现了精准的手势识别功能。Chen J A团队则研发了一款基于Leap Motion技术与双向长短时记忆网络的手势识别系统,该系统能够有效提取动态手势的关键特征向量,并运用双向长短时记忆网络模型进行分类与识别工作,最终取得了较高的识别准确率指标;此外,Jiang D等人提出的骨架化算法结合卷积神经网络的手势识别方法也值得借鉴,经过测试其在ASL数据库中的表现同样令人满意

1. 

1. 遥操作人机协作系统研究现状

远程超声扫描多采用遥操作技术来实现其功能。在执行远程操作时, 人们常用多种人机交互界面, 包括鼠标、操作杆以及键盘等设备, 以完成复杂的控制任务。随着技术的进步与发展, 多种新型的人机交互设备不断涌现, 这些创新性设备显著提升了遥操作系统在研究领域的应用价值与实际效果。值得注意的是,Kot T等人提出了一种基于增强现实技术的创新性远程操作方法,该方法通过将机器人视觉信息与环境信息叠加显示于操作者的视野中, 使参与者能够更加直观地感知机器人及其所处环境的状态,从而实现了更为精准的操作控制机制。此外,Pan Y等人还提出了基于增强现实的机器人远程操作系统方案, 并由Chen Z等人进一步发展出一套自适应模糊反步控制方法, 该系统设计特别适用于稳定非线性双边远程操作场景下的控制问题, 并已在医疗手术、危险环境下的作业等领域展现出广泛的实际应用前景。

还有一些方法则是以视觉功能为基础展开研究与应用的。其中Handa A等人提出的DexPilot视觉远程操纵系统主要应用于高精度操作领域如制造业与医疗行业。而Luo J等人则提出了基于人体运动预测的轨迹在线调整方法用于远程操纵机器人系统中。此外还有些研究则采用了神经网络增强技术Su H等人提出的方法通过神经网络提升机器人工具识别与校准能力并应用于双边远程操作场景中。目前还有其他一些创新性研究Jang I等人开发了一种基于虚拟现实与Leap Motion技术结合的直观裸手远程操作方案该方案特别适用于机器人在人机交互中的操作需求；同时Qi W等人则提出了自适应传感器融合标签框架这一创新框架能够有效提升机器人远程操作中的手势姿态识别准确率

• 项目已有的基础：

我们开发了一项既能通过遥操作实现主从端的人机协作超声扫描系统又能使机器人完成自动超声扫描任务的技术方案。在面对简单重复的检测场景时该系统能够自动执行超声扫描任务并保证快速准确的扫描效率；而当遇到复杂的非结构化环境时则可采用遥操作技术辅助自动超声扫描从而提升检测精度。本研究项目整合了Leap Motion Kinect BiLSTM网络模型以及UR3机械臂等核心技术为其提供人机协作的支持。在研究过程中我们提出了一种基于Leap Motion视觉传感器的手势识别方法并建立了完整的动态手势库系统。该系统能够实时捕捉操作者的动态手势并结合单指与多指特征进行训练与识别识别后系统会自动生成相应的语义指令并通过UR3机械臂执行远程操作以实现超声扫描功能从而建立主从端的自然协作关系经过实验验证我们的手势识别系统的准确率达到98.42%同时我们还开发了一套基于RGB-D图像处理的方法用于人体建模以及深度图像修复算法实现了对人体点云数据的有效提取与分析

本研究项目已完成一套完整的人机协作超声诊断机器人系统的搭建，并开展相关工作

三种关键的测试项目分别是遥操作跟踪测试、动态手势识别测试以及自动超声扫描测试。基于Kinect、Leap Motion、UR3机器人以及配套的PC设备等硬件平台支撑，在团队研究成果的基础上构建了一套人机协作的智能超声诊断系统，并完成了三种关键测试环节：实时定位追踪验证、动态行为捕捉评估以及智能超声图像采集。通过这些测试环节的数据验证与分析可以看出，在完成精准的人机协作任务的同时达到了预期的技术性能指标要求。这些成果不仅实现了人机协作在医学诊断中的应用价值，也为后续深入研究奠定了可靠的技术基础

• 尚缺少的条件及方法

传统超声诊断受到医生技能水平和设备限制的影响；

现有的超声机器人既可以依赖遥操作技术进行控制也可以采用自主控制算法来执行任务 但无论采用哪种方法 都难以在不同的医疗场景下实现全面的扫查需求 因此 在实际应用中 这样的设计都存在一定的局限性

研究人员正在研发一种既能通过远程操作实现人机协同进行超声扫描、也能使机器人独立完成超声扫描过程的自动化系统装置；该装置需具备适应多种工作环境下的 scan requirements。

当前研究领域中，针对提高动态手势识别的准确性以及降低训练模型所需的时间成本的方法仍然存在一些不足之处，并且需要进一步优化和完善。

**二、**项目研究目标及主要内容

1. 

基于Leap Motion的遥操作与动态手势识别

本研究计划采用Leap Motion体感控制器实现对手部的实时捕捉，并完成动态手势识别任务；同时建立了Leap Motion坐标系与机械臂基坐标系之间的映射关系；基于 Savitzky-Golay 滤波器（由 Savitzky 和 Golay 提出）对采集到的人手位置数据流实施防抖滤波处理；最后采用双向长短记忆神经网络（BiLSTM）对获取的信息进行分类训练，并提取关键特征值以构建手势识别分类模型。

1. 

人体点模型构建

本研究采用彩色图像与深度图对人体表面进行建模，并通过手眼标定确定相机坐标系中人体模型在机械臂基坐标系中的位置。随后利用Kinect v2获取了彩色与深度图但因其成像精度较低需对所得图象进行修复处理：对彩色图象运用K-means聚类算法实现其分割过程从而将性质相近的像素归为一类；而针对_depth_图象则采用了快速行进法（Fast Marching Method, FMM）来修复空洞及物體邊界等缺陷並以峰值信噪比PSNR為指標來檢測修复後之圖像質量。随后基于此_depth_圖构建點雲模型並移除背景平面使剩余點雲主要集中在人體modelsurrounding区域最後运用DBSCAN算法将非人体会积之外的點雲予以去除成功得到精炼的人体点雲模型

1. 

机械臂的控制：

在此项目研发过程中, 采用 UR3 协作机器人方案实现机械臂功能. 在本研究中设计了人机协作型超声诊断机器人, 并分为两种工作模式: 其中一种是遥操作超声扫描模式; 另一种是全自动超声扫描模式. 当执行遥操作超声 scan 时, 在线获取操作者手部端点数据, 并结合 Leap Motion 捕捉设备完成目标定位. 其中, 在系统执行自适应式自动 super-sonic 扫描过程中: 机械臂的扫瞄轨迹由 system 基于 point cloud model 自动生成; 然后, 在扫瞄路径上运用 least square local plane fitting 算法计算出各采样点处的法向量, 并将此法向量作为末端执行器的姿态参数用于实现自适应式自动 super-sonic 图像采集.

1. 

机器人系统设计

该系统利用机械臂、Kinect深度相机以及Leap Motion传感器实现了遥操作超感染扫与自动感染扫；在前文中对Kinect v2深度相机模块及Leap Motion传感器模块进行了介绍，并获得了人体胸腹部的点云模型；随后根据获取的深度图像建立了点云模型，并在此基础上规划了自动感染扫所需的轨迹；最终实现了对物体表面进行无接触式探测的任务依赖于机械臂及其末端固定有执行器的感音探头；将最终结果通过电脑实现了终端显示

**三、**项目创新特色概述

1. 

基于Leap Motion的遥操作与动态手势识别

相比常见的基于鼠标键盘的传统人机交互设备，Leap Motion无需操作者与其直接接触，并且具有较高的精度和帧率。

（2）本项研究采用的双向长短记忆神经网络不仅具备自我学习与自我优化的能力，并且能够兼顾过去的信息以及未来的信息；相较于传统的记忆神经网络模型LSTM而言，该方法解决了仅能访问前序信息的不足，并有助于更全面地捕捉双向依存关系

1. 

人体点模型构建

本研究旨在设计构建人体三维点云模型，并在此过程中去除非目标区域的数据干扰。该研究计划利用基于密度的DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法对三维点云数据进行进一步处理。与K-means聚类方法不同的是：DBSCAN并不依赖明确设定的类别中心位置，并通过连接相邻且密度较高的数据点来形成连续的簇群。这种方法主要基于数据区域的空间密度特性来识别簇结构。

DBSCAN无需预先设定簇的数量，而是通过设定ε和min_samples两个参数来控制聚类过程。其中通过设定邻域半径来确定数据点之间的连接程度；若两点之间的距离小于该阈值，则认为它们属于同一类别；通过调节该参数会影响最终形成的簇的数量；而min_samples参数则定义了形成一个有效聚类所需的最小样本数量；低于此数量的数据点集合将被视为噪声数据；本研究旨在探讨人体点云模型周围可划分为多少个有效簇的可能性（无先验知识），因此选择DBSCAN算法比传统K-means算法更适合当前应用场景

1. 

机械臂的控制

1. 

机器人系统设计

未完待续～～

• 项目研究技术路线

本小组成员结合自身专长选取智能机器人作为主要研究领域，在李春泉导师的指导下基于国内外学术动态确定的研究主题是关于超声智能协作机器人关键技术及其在医学领域的应用。

2.收集与整理资料：收集与整理有关该问题的相关资料、文献、数据等信息，并通过分析与筛选的方法提取关键信息，并从中挑选出最有价值的部分。建立一个包含关键文献与数据资源的数据库

就该研究课题而言，在团队成员按照各自职责的基础上进行协作时，则会整合相关文献资料以及学校的教育资源，并相应地确定各自职责范围内的研究任务和方向

4.数据分析和结果展示：对收集到的数据进行分析及处理，在成品的基础上进行调试工作，并运用统计学方法等其他分析手段对数据结果展开深入研究。在此基础上最终得出研究结论并完成数据展示与整理工作。

5.提升和完善方案：参考研究结果制定相应的解决方案与建议；分析现有方案中的问题与不足，并对其进行进一步的优化与完善；以便更好地满足项目的各项要求。

6. 撰写并提交报告：最后完成研究过程的总结与分析，并完成论文编写以及成品答辩验收。