引用本文
崔皓鑫, 王嵘, 郑楠, 章颂, 任瞳, 梁渝靖. 基于“人-机-环”信息流的机器人手术系统研究与展望. 模式识别与人工智能, 2024,37(1): 47-57
CUI Haoxin, WANG Rong, ZHENG Nan, ZHANG Song, REN Tong, LIANG Yujing. Research and Prospect of Robotic Surgical System Based on Human-Machine-Environment Information Flow. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2024,37(1): 47-57.  
Doi: 10.16451/j.cnki.issn1003-6059.202401004
Permissions
Copyright©2024, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于“人-机-环”信息流的机器人手术系统研究与展望
崔皓鑫1,2, 王嵘3, 郑楠1,2, 章颂2, 任瞳3, 梁渝靖3
1.中国科学院大学 人工智能学院 北京 100049
2.中国科学院自动化研究所 多模态人工智能系统全国重点实验室 北京 100190
3.中国人民解放军总医院 第六医学中心 心血管病医学部 成人心脏外科 北京100853
通讯作者:

郑楠,博士,副研究员,主要研究方向为复杂系统综合集成、数据挖掘信息检索.E-mail:nan.zheng@ia.ac.cn.

作者简介:

崔皓鑫,硕士研究生,主要研究方向为复杂系统综合集成、数据挖掘信息检索.E-mail:cuihaoxin2022@ia.ac.cn.

王嵘,博士,教授,主要研究方向为机器人微创心脏手术.E-mail:wangrongd@126.com.

章颂,博士研究生,主要研究方向为复杂系统综合集成、数据挖掘信息检索.E-mail:zhangsong2022@ia.ac.cn.

任瞳,博士研究生,主要研究方向为机器人微创心脏手术.E-mail:747521935@qq.com.

梁渝靖,硕士研究生,主要研究方向为机器人微创心脏手术.Email:1244876544@qq.com.

收稿日期: 2023-07-27 修回日期: 2023-12-07
资助项目: 国家重点研究发展计划项目(No.2022YFB4700805)资助
摘要

机器人手术系统凭借微创、精细、灵活、无震颤等优势,在多个外科领域不断得到普及应用.然而,现有的机器人手术系统尚未充分发挥人和机器各自的优势,在智能化交互方面的表现有待提高.因此,文中首先从系统科学的角度分析机器人手术系统中交互关系的发展,并从多方面提出当前人机交互的不足.然后,构建面向机器人手术系统的“人-机-环”信息流框架,以机器人辅助乳内动脉获取手术场景为例,梳理“人-机-环”各部分之间的复杂交互.最后,基于“人-机结合”理论,结合构建的“人-机-环”信息流框架,提出以“人机融合智能共进”为目标的新一代机器人手术系统的设计思路,为实现更安全高效的机器人微创外科手术目标提供借鉴.

关键词: 综合集成; 人机系统; 信息流; 机器人手术系统
中图分类号:TP399
Research and Prospect of Robotic Surgical System Based on Human-Machine-Environment Information Flow
CUI Haoxin1,2, WANG Rong3, ZHENG Nan1,2, ZHANG Song2, REN Tong3, LIANG Yujing3
1. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049
2. State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190
3. Department of Adult Cardiac Surgery, the Sixth Medical Center, Chinese PLA General Hospital, Beijing 100853
Corresponding author:
ZHENG Nan, Ph.D., associate professor. Her research interests include comprehensive integration of complex systems and data mining information retrieval.
About Author:
CUI Haoxin, Master student. His research interests include comprehensive integration of complex systems and data mining information retrieval.
WANG Rong, Ph.D., professor. His research interests include robotic minimally invasive heart surgery.
ZHANG Song, Ph.D. candidate. His research interests include comprehensive integration of complex systems and data mining information retrieval.
REN Tong, Ph.D. candidate. His research interests include robotic minimally invasive heart surgery.
LIANG Yujing, Master student. Her research interests include robotic minimally invasive heart surgery.
Fund:National Key Research and Development Program of China(No.2022YFB4700805)
Abstract

Robot-assisted surgical systems continue to gain widespread application in various surgical fields, due to their minimally invasive, precise, flexible and tremor-free attributes. However, the advantages of both humans and machines are not fully exploited in the existing robot-assisted surgical systems, and the performance should be improved in the intelligent interaction aspect. Therefore, the development of interactive relationships within robot-assisted surgical systems is analyzed from a systems science perspective and the deficiencies in human-machine interaction are discussed from multiple viewpoints. Then, an "human-machine-environment" information flow framework for robot-assisted surgical systems is constructed. Taking the example of robotic-assisted internal mammary artery acquisition scenarios, the intricate interactions among the "human-machine-environment" different components are illustrated. Finally, based on the theory of "human-machine integration" and the established "human-machine-environment" information flow framework, a design approach for a new generation of robot-assisted surgical systems with the goal of "human-machine integration and intelligent co-development" is proposed. This proposal serves as a valuable reference for realizing the goal of safer and more efficient robotic minimally invasive surgery.

Key words: Metasynthesis; Human-Machine System; Information Flow; Robotic Surgery System

随着机器人技术的发展与应用, 外科手术领域发生划时代的变化.相比小切口、胸腹腔镜等传统的微创外科手术, 机器人辅助微创外科手术具有如下优势.1)借助内窥镜成像, 放大手术视野.2)借助主从控制系统, 显著降低外科医生的体力负荷, 为外科医生提供良好、舒适的操作.3)借助特定算法, 从端机械臂可实现运动缩放和滤抖功能, 结合末端执行机构的多自由度设计, 帮助外科医生实现更精确稳定的手术操作, 提高手术质量.

四十多年来, 很多具有代表性的机器人手术系统产品与技术不断涌现.由工业机器人改造的PUMA200于1985年参与完成世界首例引入机器人系统的神经定位外科手术[1].1994年美国Computer Motion公司研发的AESOP内窥镜机器人手术系统首先获得FDA(Food and Drug Administration)注册认证[2].主从遥操作机器人根据外科医生在主端的指令引导从端完成任务, 大幅拓展外科医生的感知能力和操作方式.基于该理念研发的ZEUS, 解决传统手术中内窥镜抖动和外科医生手部震颤等问题[3], 被认为是第一代真正实现主从遥操作的机器人手术系统[4].2003年, Intuitive公司与Computer Motion公司合并, 在ZEUS系统基础上开发由主从驱动、立体视觉和传感器组成的Da Vinci机器人手术系统[5], 为外科医生提供更舒适的运动操作控制体验、深度感知和直觉操作.迄今为止, 已有超过七千台的Da Vinci机器人手术系统在全球范围内完成1 200万余次手术[6], 覆盖泌尿外科、妇产科、普外科、心外科、胸外科等学科, 成为世界范围内应用最广泛的商用机器人手术系统[7].

2005年由天津大学研发的MicroHand-A填补我国在机器人手术系统的研究空白[8], 在此基础上研发的“ 妙手S” 也采用主从控制方式, 具备灵活的运动能力和远程手术功能.2014年, 上海交通大学基于对偶连续体机构研发术锐单孔腹腔机器人手术系统[9], 解决柔性连续体机构应用在机器人手术系统中结构可靠性不高、力负载能力不足、变形无法快速准确预估、刚度变化非线性、模块化重构不便等基础性问题.2019年, 哈尔滨思哲睿智能医疗设备有限公司推出康多机器人手术系统, 参与完成5G远程多学科机器人手术实验, 验证机器人网络系统协同操作远程手术的可行性[10].

近年来, 一些研究人员借助发展迅速的传感器和人工智能技术, 在立体成像、主从遥操作等成熟技术的基础上解决新的技术难题.TransEnterix公司于2017年研发出Senhance, 通过舒张力为外科医生提供触觉反馈, 并根据外科医生眼球运动选择指令, 提升手术操作的便捷性[11].Hugo RAS机器人手术系统于2019年推出, 通过便携式、可拆卸组合和高度兼容的模块化系统, 实现降低费用和满足特定手术需求的目标[12].同年, 德国推出首个微创机器人手术系统Avatera, 通过AR技术提供高色彩保真度和超高清分辨率的3D视野, 并引入一次性手术器械的概念, 在节省成本的同时消除交叉感染的风险[13].

尽管与早期产品相比, 当前机器人手术系统在执行层面实现能力跃升[14], 但其在人机交互的智能化方面仍有很大的进步空间.分析机器人手术系统设计的底层思路发现, 现有的工作大多通过 “ 所见即所动” 的直觉映射及基于比例增量控制原理的精准控制, 建立机器人手术系统的总体控制信息流[15], 或是从人机协同的角度设计机器人手术系统的主从同构方案[16], 进而提高机器人手术系统主从控制的稳定性和透明性.也就是说, 机器人手术系统仍被定位在为人使用的工具, 因此在人机交互信息流传递中更多考虑的是机器人如何方便外科医生使用, 而缺少对复杂系统中人的认知决策机制的考虑, 也未充分考虑“ 人” 和“ 机器人手术系统” 作为两个相对独立的复杂系统, 如何通过充分交互实现相互促进提升的问题.

为此, 本文从系统科学的角度, 借鉴“ 人-机结合” 的三个发展阶段理论[17], 分析当前机器人手术系统在人机交互方面的不足, 构建基于“ 人-机-环” 的机器人手术系统信息流, 并提出人机融合智能共进的新一代心脏机器人手术系统设计思路, 旨在通过人和机器人手术系统的协同共进, 充分发挥人和机器人手术系统的总体效能, 为实现更安全高效的机器人微创外科手术目标提供借鉴.

1 基于系统科学理论的机器人辅助微创外科手术场景交互分析

机器人手术系统以其在直觉映射、立体成像、精准灵活操作等方面的卓越优势助推机器人辅助微创外科手术成为主流的微创手术方式之一[18], 与此同时, 手术模式的转变也对外科医生带来新的挑战.机器人手术系统的介入导致外科手术模式从传统的器械直接操作转变为利用主从异构机械臂间接操作[19], 外科医生的行为模式也由传统的眼/手(信息获取)-脑(决策形成)-眼/手(完成操作/效果评估)转变为眼(信息获取)-脑(决策形成)-眼/手脚(完成操作)-眼(效果评估).因此, 需要从“ 人机交互” 的角度系统分析机器人手术场景下的交互.

综合集成体系作为面向“ 人-机” 系统实现增强智能的典型代表之一[20], 核心理念是“ 以人为主、人机结合” [21].该理论将人机的交互关系, 即人机结合的演化过程划分为三个层次:初等结合层次、人机协同层次和人机融合智能共进层次[17].初等结合层次实现人机互补, 让智能系统成为人逻辑思维的外化载体; 人机协同层次加强人机交互的反馈机制, 让智能系统通过可视化等方式将感知的信息反馈给人; 人机融合智能共进层次通过人与机器智能的不断融合迭代, 实现智能增强的人机关系, 帮助提升人的思维能力和机器的智能水平.

基于上述“ 人-机结合” 的三个层次, 结合机器人辅助微创外科手术的特点, 本文将机器人辅助微创外科手术场景中 “ 人-机” 交互的发展划分为对应的三个阶段, 具体如图1所示.

图1 机器人辅助微创外科手术场景中人机交互演进的三个阶段Fig.1 Three stages in evolution of human-robot interaction in robot-assisted minimally invasive surgery scenarios

第一阶段是工具时代, 以PUMA200为代表的机器人系统被引进手术室.该系统采用电动伺服控制技术, 通过编程实现多种复杂的运动和精细的操作, 为神经外科医生提供便捷的脑活检器械定位[22].1991年推出的RoboDoc骨科机器人能根据术前的医学影像导航和路线规划, 自主完成髋关节置换手术的精确铣削股骨任务[23].尽管这些足够灵巧、准确和可靠的工业机器人可用于手术场景, 但此时的手术设备也仅是作为内窥镜、手术刀般的器械存在, 缺乏机器与外科医生的交互.

第二阶段是辅助时代, 以Da Vinci通用型机器人手术系统为代表的智能系统被引进手术室.这一时代的机器人手术系统具备感知智能, 在执行手术操作时更稳定、精准, 可为患者带来更小的创伤、更高的手术质量及更短的术后恢复[24].由于主从端缺乏力感知和力反馈, 外科医生丧失通过触觉获取目标信息的能力, 只能通过视觉补偿形成对任务目标的判断并制定决策, 再依靠手脚协调操作助手指导从端执行机构完成相应任务, 任务完成的效果也是通过视觉系统进行评估[25].尽管未来补全力反馈的机器人手术系统可能会给外科医生带来更好的操作体验, 但可预想到这一阶段的系统还不能为外科医生提供个性化的交互体验和有效可行的决策建议.

第三阶段是智慧搭档时代.理想的机器人手术系统应对环境具备感知能力, 对外科医生的操作行为具备认知能力, 对突发情况具备应急辅助决策能力.另外, 在机器人手术系统的结构功能设计方面应有足够的交互性和人因性, 缩短外科医生的学习周期, 减少外科医生与机器人手术系统之间的阻碍.理想的系统同时要具备足够的智能, 在弥补外科医生外科本体感觉缺失的同时表现出灵活的操作辅助性能, 成为外科医生优秀的搭档, 而并非单单是外科医生手中的手术刀[26].

当前, 即使是最先进的第四代Da Vinci机器人手术系统仍不能为外科医生提供个性化的交互体验和有效可行的决策建议, 外科医生与机器人手术系统的交互还未达到理想的“ 人-机” 融合智能共进的程度.其原因在于, 当前机器人手术系统的研究对人、机、环境之间的交互机理探究不足, 制约机器人手术系统的发展, 具体体现在如下三个方面.

1)关于“ 人” 的因素认识不足.执行手术任务过程中机器人本体通过外科医生指令引导进行运动, 因此外科医生的协调性、熟练度、任务规划等技能因素会影响系统整体的运行效能.同时, 系统操作的特性、环境的未知性和复杂性等需要外科医生在手术过程中全身心投入.长时间注意力高度集中情况下保持手脚眼之间的配合, 容易使外科医生工作负荷过高出现脑力疲劳, 导致操作失误.此外, 在外科手术场景中, 需要多人合作, 人与人之间的交互配合也会影响任务执行的流畅性.因此, 如何提升外科医生的专业技能与职业素养、如何使外科医生在执行任务时保持合适强度的工作负荷、如何使人的因素更好地融入乃至促进人机智能系统的协同工作, 是关乎系统整体效能的关键问题.

2)对于复杂环境的应对不足.外科手术任务面对的对象是患者, 患者本身就是一个开放的复杂巨系统[27], 手术过程中存在各类不可预估的突发状况, 仅靠孤立的单体设备解决不了全部问题.机器高效的计算智能与外科医生跳跃性的逻辑思维不同, 从根本上决定面对复杂环境时二者的关注点不同, 这种差异阻碍“ 人-机” 两类智能主体的交互对话[28].此外, 手术中各种突发情况可能导致机器对环境信息的感知不足, 使反馈给外科医生的信息有限, 外科医生不能实时准确地感知当前的环境变化, 传递给机器人本体的控制指令信息可能会超出安全阈值, 从而造成较严重的后果[29].因此, 如何从感知、认知、决策、反馈等方面着手, 对系统的整体架构进行设计, 使主从式机器人系统在具备传统机器人的稳定性、可靠性和精确性的同时, 还能应对复杂、未知、多变的工作环境, 最终形成面向实际场景的人机智能系统, 是关乎系统整体效能的核心问题.

3)关于系统整体的建模不足.当前的研究主要关注于从功能角度对机器人手术系统本体进行研究, 如立体成像、力反馈及远程技术, 也有学者从人机工程学角度考虑人体力学, 增加操作的舒适性.尽管这些研究让机器更适应人, 但是人的主观能动性未得到充分发挥.相比传统机器人系统, 人机智能系统模型由于人的介入变得更复杂, 其中最关键的是认知决策过程的建模.机器通过数学模型计算完成表征与推理, 而人通过个性化的心智模型完成认知和决策, 两者在过程上都缺少透明性和可解释性[28].如何从人类认知属性和机器计算属性入手, 打破“ 人-机” 两个智能主体的孤岛, 将人的认知决策过程纳入系统整体设计中, 构建“ 人-机-环” 系统大循环[27], 最终实现人机融合智能共进, 是关乎系统整体效能的根本问题.

综上分析可知, 通过人机双向信息交互, 构建“ 1+1> 2” 的人机融合智能系统, 可大幅促进机器人手术系统智能化的发展.因此首先要做的是, 理清在机器人辅助微创外科手术中的信息传递方式, 构建机器人辅助微创外科手术场景中的“ 人-机-环” 系统的信息流交互框架.

2 面向机器人辅助微创外科手术场景的“ 人-机-环” 信息流构建

在所有微创外科手术场景中, 机器人微创心脏手术因其特有的狭小解剖空间和精准操作要求等特点, 对外科医生和机器人手术系统提出更高的要求, 最能直观反映“ 人-机-环” 信息流与控制流传输复杂性的外科手术环境.因此, 本节将以机器人乳内动脉获取这一微创心脏外科手术为具体手术场景, 阐述“ 人-机-环” 信息流的构建.

机器人乳内动脉获取是机器人微创冠脉搭桥手术的核心步骤之一, 因为乳内动脉是冠脉搭桥手术的最佳血管材料, 乳内动脉与前降支的搭桥是保证患者长期手术效果的关键因素.在密闭狭小的胸腔环境及跳动心脏干扰的情况下, 心外科医生要操控机器人手术系统实现对胸壁上被筋膜和肌肉组织覆盖的20 cm长乳内动脉的全程获取.操作主要通过使用低频电刀和精细镊子完成, 从患者头端开始向足侧逐一分离乳内动脉分支, 并通过钛夹和电凝予以钳夹止血离断, 整个过程要避免电凝损伤乳内动脉主干血管, 更要避免操作不当引起分支出血而遮挡内窥镜视野.这一过程中术者还需要与麻醉医生、床旁助手保持密切沟通, 实时了解患者生命体征情况并时刻预防冠心病患者急性心肌缺血事件的发生.

在这一场景下, 操作手术机器人的心脏外科医生是信息流系统中的“ 人” , 机器人手术系统是系统中的“ 机” , 患者、麻醉医生、床旁手术助手等配合手术的人员以及手术室各种监测患者生理信息的设备组成系统中的“ 环” .

如图2所示:外科医生与机器人手术系统之间、机器人手术系统本体与环境之间、环境与外科医生之间会产生关于指令、作用、力、位等信息的交换, 这些信息的采集、加工、传递、利用和反馈, 构成机器人乳内动脉获取手术“ 人-机-环” 系统的信息流.

图2 机器人辅助微创外科手术场景中的“ 人-机-环” 交互系统Fig.2 Human-Machine-Environment interaction system of Robot-assisted minimally invasive surgery scene

2.1 外科医生感知决策信息流构建

机器人乳内动脉获取场景下的“ 人-机-环” 系统是典型的以人为中心的复杂系统.位于主操作台的外科医生, 首先感知当前手术情景, 根据自己的专业知识做出决策, 然后做出相应操作, 操作执行后的结果会参与并影响外科医生的下一轮操作.在感知-决策-操作执行的过程中, 业务能力不同的外科医生对机器人乳内动脉获取可能有不一样的完成度.为了尽可能地提升外科医生的业务能力, 进而提升整个手术“ 人-机-环” 系统的效能, 有必要探究外科医生在完成机器人乳内动脉获取时其感知-决策-操作执行的整个过程.

显示设备获取胸腔环境与心脏跳动情况, 结合手术室其他医护人员及监测仪器的提示信息, 形成外科医生的初级感官刺激.人体的感知器官在接收到刺激后, 会在短时感觉记忆区域对其进行预处理, 结合在长期记忆中存储的经验或知识, 可分辨如空间邻近性、颜色、简单形状或运动等基本特征.这些基本特征会引导注意力的聚焦实现情境感知.外科医生通过对(任务目标)乳内动脉选择的把握决定注意力资源的分配并指导感知决策[30].感官受到外部刺激时, 知觉表征系统中关于物体基本属性的信息被无意识地激活, 在工作记忆中首先对其分析, 即结合长期记忆中存储的心外科领域专业知识, 进行相应的情境感知[31].通过分类整合预测(未来状态)可能出现的不同手术情况, 进而生成不同的决策选项.外科医生做出决策后, 通过动作导向控制机器人手术系统的主操作手完成(相应操作)乳内动脉分离.实际结果与理想预期间的差异, 如突发分支出血, 将作为学习信号调整下一轮决策促成联想学习的产生[32].在此期间, 对突发情况的处理与对有效操作的更深层理解等总结将被整合成知识存储到长期记忆中, 同时, 学习和针对性的训练也会产生新的既定程序.这些反馈到个体的知识或技能, 又会在以后的机器人乳内动脉获取手术中被使用.由此, 上一轮感知决策的结果, 一部分通过环境信息反馈通路经由机器人手术系统形成操作感知反馈, 一部分由手术室医护人员和监测仪器构成环境刺激, 直接或间接地参与下一轮手术操作过程中.

上述外科医生在完成机器人乳内动脉获取手术中感知-决策-操作的信息流如图3所示, 不断迭代地积累、学习、训练, 外科医生发展出关于机器人乳内动脉获取手术任务更高级的心智模型, 可有效引导注意力资源, 并在无需载入工作记忆的情况下提供整合信息的方法以及对手术场景未来状态的预测[33].在这种模式下, 环境中的重要线索会与长期记忆中已有的知识匹配, 模式识别与行为选择发展到自动化水平[34], 进而简化决策过程.由此可见, 长期记忆对实时情景理解和感知决策具有重要价值, 即使在注意水平较低时, 也能产生较高水平的行为表现, 这正是经验丰富的外科医生在机器人乳内动脉获取手术的执行过程方面表现更优异的原因.

图3 外科医生的感知决策信息流Fig.3 Perceptual decision information flow of surgeons

2.2 机器人手术系统本体信息流构建

机器人手术系统本体分为主端操作台、主从遥操作控制系统和从端机器人三部分.其中, 主端操作台由上位机软件、显示器、触觉反馈器、主操作手及运动控制装置等部分构成.主端发送给从端的控制指令, 以及从端反馈给主端的感知信息, 经过主从遥操作控制系统加工处理, 转化为符合外科微创手术高精度、高效率和高透明性需求的信息.主从遥操作控制系统作为实时传递主端从端交互信息的通道, 由自主安全规划模块、主从映射模块、图像处理模块及实时力反馈等模块构成.从端机器人作为整个机器人手术系统本体的执行终端, 由下位机软件、内窥镜系统、触觉感知系统、从操作器械及运动控制装置等部分构成.在外科医生操作机器人手术系统进行乳内动脉获取手术的过程中, 内部控制流的传递如图4蓝线所示.

图4 机器人手术系统本体的信息流Fig.4 Information flow of robotic surgical system ontology

首先运动采集装置捕获外科医生对手柄及脚踏板的操作, 并转化成运动信息, 通过运动信号编码器打包成主端操作信息, 由上位机软件发送给主从遥操作控制系统.由于主从工作空间和位置姿态的差异性及操作灵巧度等因素, 需要实现主操作手、内窥镜、手术器械坐标系之间的映射.主从精准映射模块处理主端操作信息, 转变成带有算法补偿的从端控制指令信息, 被从端的下位机软件接收.运动控制装置根据运动信息解码器分解的控制指令, 实现低频电刀和精细镊子的切换、夹持与冷凝操作.

当通过钛夹和电凝对乳内动脉分支予以钳夹止血离断时, 内窥镜系统感知患者内部的胸腔环境, 触觉感知系统获取交互部位触觉感知, 避免电凝损伤乳内动脉主干血管.将两系统采集的信息打包成从端感知信息, 经由下位机软件的感知信息编码器编码发送给主从遥操作控制系统, 如图4红线所示.

对于内部环境部分, 交由图像处理模块, 通过图像识别、图像增强等操作处理后, 再将图像信息进行立体成像加工; 对于力感知部分, 交由实时力反馈模块, 进行交互力的实时预测等处理, 形成力反馈信息.加工处理好的图像信息和力反馈信息发送给主端的上位机软件.经由传感信息解码器, 对图像信息和力反馈信息进行解码.之后分别发送给立体成像显示器和触觉反馈系统, 辅助外科医生清楚细致地进行病情诊断, 并做出正确的手术操作判断.

2.3 环境信息流构建

在机器人乳内动脉获取手术场景中, 患者、麻醉医生、床旁手术助手等与手术室内的各种监测设备共同构成环境, 其中患者体内的乳内动脉是外科医生控制机器人手术系统本体进行手术操作的目标, 患者的生理状况通过监测设备传递给医护人员, 麻醉医生根据这些信息调整麻醉深度, 手术助手在医生的指导下完成必要任务.因此手术“ 人-机-环” 系统的环境部分, 既是外科医生和机器人手术系统操作的对象, 又会根据操作结果主动对外科医生和机器人手术系统进行反馈.

这一阶段的信息流传递过程如图5所示.机器人手术系统根据外科医生的控制指令实现对胸壁上被筋膜和肌肉组织覆盖的20 cm长乳内动脉的全程获取, 操作主要通过使用低频电刀和精细镊子完成, 从患者头端开始向足侧逐一分离乳内动脉分支.同时前端操作臂上的内窥镜系统和力感知系统会将获得的该区域的环境信息, 经由机器人手术系统本体的主从系统传递给外科医生, 形成操作感知反馈.

图5 环境信息流传递过程Fig.5 Process of scenery-information flow

乳内动脉是该手术场景最重要的交互部位, 需要内窥镜监测密闭狭小的胸腔环境以及跳动心脏干扰的情况, 以及血氧仪、心电仪等设备监测患者的身体状况.同时在场的医护人员会根据手术过程中患者的出血量、心率等指标对患者的身体状况进行评估和简单处理, 并与监测仪器中的信息一起传递给外科医生, 形成对外科医生的环境刺激.当外科医生对于操作感知反馈和环境刺激进行判断分析之后, 形成的决策指令又会控制机器人手术系统进行下一步的操作, 这一过程中术者还需要与麻醉医生、床旁助手保持密切沟通, 实时了解患者生命体征情况并时刻预防冠心病患者急性心肌缺血事件的发生.

3 基于“ 人-机-环” 信息流的新一代机器人手术系统

机器人手术系统发展的目的不是取代外科医生, 而是作为智慧搭档帮助外科医生高质量地完成手术任务[35].不管技术如何发展, 人作为决策控制环路的核心是不变的[36].目前, 机器人手术系统与外科医生之间存在沟通障碍.一方面, 机器人手术系统的主从异构设计会导致外科医生的实际操作具有滞后性[37], 另一方面, 外科医生难以在主手端建立肌肉记忆与本体感觉实现对机器人手术系统的掌握[38].这些对外科医生的影响在操作空间较大、任务相对简单、时限性不强的手术中不易体现, 但是在诸如机器人乳内动脉获取这类环境狭小且任务复杂的心脏手术场景中就会显著放大[39].

从本文对机器人乳内动脉获取手术场景的“ 人-机-环” 信息流研究来看, 机器与环境之间的交互阻碍影响系统的工作效能, 人与机器之间的交互阻碍影响系统的融合共进, 人与环境之间的交互阻碍影响系统的全局感知, “ 人-机-环” 之间的交互阻碍影响系统的统筹兼顾.因此本文从“ 提升工作效能、完善全局感知、促进融合共进、增强统筹兼顾” 这四个角度对新一代机器人手术系统的研发做出展望, 并设计新一代机器人手术系统, 如图6所示.

图6 新一代机器人手术系统的设计Fig.6 Design of next-generation robotic surgical system

为了提升智能系统的工作效能, 探究人机任务划分.新一代机器人手术系统应在保证外科医生操控的前提下进一步减少外科医生的体力负荷, 即在保持对应图5中表示机器人手术系统对环境作用的信息流强度不变的前提下, 通过其它体力负荷较小的行为替代图4外科医生在主手端的操作, 减弱图2中外科医生对机器人手术系统的操控信息流强度.其中首要解决的是人机任务划分问题, 机器人手术系统如何在输入、处理和输出过程中完成对人类意图的识别与执行, 即需要发展机器人手术系统的智能行为操作.一些需要切割、缝合、持针的工作可由机器人手术系统根据程序智能完成, 外科医生更专注于手术规划和决策判断的任务.分不是目的, 理清人与机器人手术系统的特点, 才能释放人和机器人手术系统的生产力[40], 进而充分发挥智能系统的资源流动性与合理性.

为了完善智能系统的全局感知, 探究多通道信息融合.新一代机器人手术系统应将人的情景感知过程引入机器人手术系统的模式识别过程中, 即参考图3中外科医生从环境刺激到整合的信息流方式完善图4机器人手术系统本体对外科医生的综合反馈信息流, 实现“ 人感知” 与“ 机识别” 过程的统一, 增强图2中的环境信息反馈.

人类的感知过程是一个多模态的过程, 不同感官之间并不是割裂的单通道信息交互, 而是通过整合不同感官信息实现对外界的认知和决策.例如:在手术中, 外科医生需要通过综合视觉、听觉、触觉等信息诊断病情, 进行手术操作.

多通道信息融合表征人类感知机理下显隐性知识转化与融合[41], 能增加机器人手术系统认知决策过程的可解释性.多通道信息融合的实现, 使外科医生可借助机器人手术系统的超大规模计算能力和全面的环境信息收集处理能力, 放大外科医生对患者病灶部位的洞察力与未知信息的理解能力, 从而实现更好的认知决策.多通道信息融合有助于人机关系的自然化、融合化、智能化发展[29].

为了促进智能系统的融合共进, 探究情境自适应.新一代机器人手术系统是人机智能的融合, 拥有自我意识的机器人手术系统可逐步实现对人类智慧的诠释与默契.因此机器人手术系统应具备学习外科医生的自适应能力, 包括触发和提取手术任务目标、进行操作结果的反馈学习、总结手术过程涉及的经验知识、确认知识的正确性等.这种自主学习与进化通常采用强化学习进行实现, 结合行为结果的显性反馈和总结反思的隐性学习, 提高机器人手术系统的情境自适应能力, 实现自主行为规划与决策[42].

机器人手术系统不仅可根据情景的变化进行自主学习与进化, 也可根据外科医生的需求和行为习惯自适应学习, 实现用户个性化需求.外科医生也同样要进行相应的反馈学习, 通过历史数据的记录与同行专家的对比, 找出可能忽视的关键点, 改进对机器人手术系统的操作技能与配合方式.因此, 可通过记录分析并学习图3中外科医生对机器人手术系统的操作方式, 提升图2中外科医生对机器人手术系统的操控能力和机器人手术系统对外科医生的反馈能力.

为了增强智能系统的统筹兼顾, 探究人机混合决策.首先, 探究人机混合决策机制有助于解决智能人机系统的信任问题.针对机器人的决策结果透明性较低、可解释性较差的问题, 提前思考机器人手术系统的“ 智能” 与外科医生的决策之间的边界及相关伦理问题是十分必要的, 增强智能系统的可解释性对于建立信任和提高人机融合至关重要[43].例如:如何保护患者的隐私和安全, 如何确保机器人的操作不会对患者造成次生伤害等问题, 出现医疗事故时如何界定责任的主体与归属.根据2021年科技部颁布的《新一代人工智能伦理规范》, 外科医生仍需要学习并了解机器人手术系统在各使用环节所需的技能, 特别是需要掌握机器人手术系统决策的动机和过程细节, 对其行为进行监督, 确保机器人手术系统的安全和高效使用[44].更重要的是, 新一代机器人手术系统通过全局观察和模型计算, 可根据其感知的任务情景给出决策推断, 统筹全局要素, 高效提供解决方案.然而一些隐性的因素如社会文化、道德伦理甚至是利益分配等, 并没有办法实现符号化.人类决策可考虑到这些隐性因素, 但片面的信息获取使人类决策难免产生偏差[45].因此在面对复杂的决策情境, 外科医生在保留不确定性和模糊性的同时, 可凭借机器人手术系统更强的计算信息处理能力和分析方法找出一个更全面、更理想的方案[46].此外, 机器人手术系统给出超越人类思考局限性的决策项, 外科医生可通过对比不同决策项之间的差异性, 即通过图4中机器人手术系统本体从端到主端的信息流, 强化图3中外科医生从知觉到决策的信息流, 从而促进外科医生自身的感知决策能力提升.

综上所述, 以“ 人机任务划分、多模态信息融合、情境自适应、人机混合决策” 为技术路线研发的新一代机器人手术系统, 可实现对人认知决策能力及对机器自主进化能力的双向启发促进, 一方面, 相比机器人手术系统的精细化感知、精准化控制, 外科医生的感知、决策和操控行为容易受到心理和生理状态等因素的影响, 呈现随机、多样、模糊、个性化等特点, 在复杂手术中容易产生失误操作行为; 另一方面, 相比外科医生, 机器人手术系统学习和自适应能力较弱, 应对复杂环境的处理方案不够完善, 面对未知复杂手术时的决策能力较差.通过构建“ 人-机” 融合系统, 使人、机均处于智能增强回路中, 可充分发挥人与机器人的特长[17], 高效精准地调整和优化手术过程.从外科医生对机器人手术系统的智能增强角度出发, 机器人手术系统会学习外科医生的操作过程和操作习惯, 并根据外科医生的行为规划学习手术目标的主次性; 从机器对人的智能增强角度出发, 面对突发情况时, 机器人手术系统可根据患者的生理健康指标, 快速分析当前情况产生的原因, 并基于对丰富的手术历史数据的分析, 为外科医生提供更理想的解决方案.通过外科医生与机器人手术系统在不同层次上的双向启发与融合迭代, 外科医生的思维与操作能力能得到大幅提升, 机器人手术系统的智能水平也随之增强.

4 结束语

当前机器人手术系统带来的技术优势已在大量临床应用与研究中得到充分验证, 但现有的机器人手术系统在感知理解、灵活决策、自适应学习等方面的不足限制其整体效能的发挥, 因此发展“ 人机融合智能共进” 的新一代机器人手术系统具有重要的现实意义.本文借鉴综合集成的思想, 梳理机器人辅助微创外科手术场景的三个发展阶段, 并构建微创外科手术任务场景下各子系统的交互信息流.以“ 人机任务分工-多模态信息融合-情境自适应-人机混合决策” 为技术路线, 展望新一代机器人手术系统的设计.通过构建物理和认知的双向交互通道, 优化手术整体过程, 促进客观数据与主观信息的有效融合.在这样的双向交互反馈中, 人机系统互相启发, 持续调整与优化, 外科医生的操作能力和机器人手术系统的智能水平随之提升、增强, “ 人-机” 系统协同性提高, 最终实现人机融合智能共进, 达到提升手术质量和效率、促进机器人微创手术技术的推广普及的目的.

本文责任编委 刘德荣

Recommended by Associate Editor LIU Derong

参考文献
[1] ZHOU S Y, GAO Y, LI R P, et al. Neurosurgical Robots in China: State of the Art and Future Prospect. iScience, 2023, 26(11). DOI: 10.1016/j.isci.2023.107983. [本文引用:1]
[2] TROCCAZ J, DAGNINO G, YANG G Z. Frontiers of Medical Robotics: From Concept to Systems to Clinical Translation. Annual Review of Biomedical Engineering, 2019, 21: 193-218. [本文引用:1]
[3] GINHOUX R, GANGLOFF J, DE MATHELIN M, et al. Active Fil-tering of Physiological Motion in Robotized Surgery Using Predictive Control. IEEE Transactions on Robotics, 2005, 21(1): 67-79. [本文引用:1]
[4] ZIDANE I F, KHATTAB Y, REZEKA S, et al. Robotics in Laparoscopic Surgery-A Review. Robotica, 2023, 41(1): 126-173. [本文引用:1]
[5] BALLANTYNE G H, MOLL F. The da Vinci Telerobotic Surgical System: The Virtual Operative Field and Telepresence Surgery. Surgical Clinics of North America, 2003, 83(6): 1293-1304. [本文引用:1]
[6] HAIDEGGER T, SPEIDEL S, STOYANOV D, et al. Robot-Assisted Minimally Invasive Surgery-Surgical Robotics in the Data Age. Proceedings of the IEEE, 2022, 110(7): 835-846. [本文引用:1]
[7] D'ETTORRE C, MARIANI A, STILLI A, et al. Accelerating Surgical Robotics Research: A Review of 10 Years with the da Vinci Re-search Kit. IEEE Robotics and Automation Magazine, 2021, 28(4): 56-78. [本文引用:1]
[8] SANG H Q, WANG S X, LI J M, et al. Control Design and Implementation of a Novel Master-Slave Surgery Robot System, MicroHand A. International Journal of Medical Robotics and Computer Assisted Surgery, 2011, 7(3): 334-347. [本文引用:1]
[9] CHEN Y Y, ZHANG C, WU Z H, et al. The SHURUI System: A Modular Continuum Surgical Robotic Platform for Multiport, Hybrid-Port, and Single-Port Procedures. IEEE/ASME Transactions on Mechatronics, 2022, 27(5): 3186-3197. [本文引用:1]
[10] FAN S B, XU W F, DIAO Y Z, et al. Feasibility and Safety of Dual-Console Telesurgery with the KangDuo Surgical Robot-01 System Using Fifth-Generation and Wired Networks: An Animal Experiment and Clinical Study. European Urology Open Science, 2023, 49: 6-9. [本文引用:1]
[11] ALLETTI S G, ROSSITTO C, CIANCI S, et al. The SenhanceTM Surgical Robotic System ("Senhance") for Total Hysterectomy in Obese Patients: A Pilot Study. Journal of Robotic Surgery, 2018, 12: 229-234. [本文引用:1]
[12] ALLETTI S G, CHIANTERA V, ARCURI G, et al. Introducing the New Surgical Robot HUGOTM RAS: System Description and Docking Settings for Gynecological Surgery. Frontiers in Oncology, 2022, 12. DOI: 10.3389/fonc.2022.898060. [本文引用:1]
[13] LIATSIKOS E, TSATURYAN A, KYRIAZIS I, et al. Market Potentials of Robotic Systems in Medical Science: Analysis of the Avatera Robotic System. World Journal of Urology, 2022, 40(1): 283-289. [本文引用:1]
[14] BALKHY H H, NISIVACO S, KITAHARA H, et al. Robotic Off-Pump Totally Endoscopic Coronary Artery Bypass in the Current Era: Report of 544 Patients. European Journal of Cardio-Thoracic Surgery, 2022, 61(2): 439-446. [本文引用:1]
[15] LI J H, LI X J, WANG J C, et al. Design and Evaluation of a Variable Stiffness Manual Operating Platform for Laparoendoscopic Single Site Surgery(LESS). International Journal of Medical Robotics and Computer Assisted Surgery, 2017, 13(4). DOI: 10.1002/rcs.1797. [本文引用:1]
[16] LI Y F, WANG W M, DUAN W K, et al. Design of Vascular Interventional Surgical Robot with Network Time Delay Analysis for Master-Slave Teleoperation // Proc of the 4th International Confe-rence on Intelligent Autonomous Systems. Washington, USA: IEEE, 2021: 406-412. [本文引用:1]
[17] 郑楠, 章颂, 戴汝为. “人-机结合”的综合集成研讨体系. 模式识别与人工智能, 2022, 35(9): 767-773.
(ZHENG N, ZHANG S, DAI R W. Hall for Workshop of Metasynthetic Engineering Based on Man-Machine Integration. Pattern Recognition and Artificial Intelligence, 2022, 35(9): 767-773. ) [本文引用:3]
[18] GHEZZI T L, CORLETA O C. 30 Years of Robotic Surgery. World Journal of Surgery, 2016, 40: 2550-2557. [本文引用:1]
[19] KLODMANN J, SCHLENK C, HELLINGS-KUβ A, et al. An Introduction to Robotically Assisted Surgical Systems: Current Deve-lopments and Focus Areas of Research. Current Robotics Reports, 2021, 2(3): 321-332. [本文引用:1]
[20] 戴汝为. 从定性到定量的综合集成法的形成与现代发展. 自然杂志, 2009, 31(6): 311-314.
(DAI R W. The Proposal and Recent Development of Metasynthe-tic Method(M) from Qualitative to Quantitative. Chinese Journal of Nature, 2009, 31(6): 311-314. ) [本文引用:1]
[21] 戴汝为, 李耀东. 基于综合集成的研讨厅体系与系统复杂性. 复杂系统与复杂性科学, 2004, 1(4): 1-24. )
(DAI R W, LI Y D. Researches on Hall for Workshop of Metasynthetic Engineering and System Complexity. Complex Systems and Complexity Science, 2004, 1(4): 1-24. ) [本文引用:1]
[22] DRAKE J M, JOY M, GOLDENBERG A, et al. Computer-and Robot-Assisted Resection of Thalamic Astrocytomas in Children. Neurosurgery, 1991, 29(1): 27-33. [本文引用:1]
[23] TAYLOR R H, MITTELSTADT B D, PAUL H A, et al. An Image-Directed Robotic System for Precise Orthopaedic Surgery. IEEE Transactions on Robotics and Automation, 1994, 10(3): 261-275. [本文引用:1]
[24] FUJIE M G, ZHANG B. State-of-the-Art of Intelligent Minimally Invasive Surgical Robots. Frontiers of Medicine, 2020, 14: 404-416. [本文引用:1]
[25] PATEL R V, ATASHZAR S F, TAVAKOLI M. Haptic Feedback and Force-Based Teleoperation in Surgical Robotics. Proceedings of the IEEE, 2022, 110(7): 1012-1027. [本文引用:1]
[26] GOMES P. Surgical Robotics: Reviewing the Past, Analysing the Present, Imagining the Future. Robotics and Computer-Integrated Manufacturing, 2011, 27(2): 261-266. [本文引用:1]
[27] 钱学森, 于景元, 戴汝为. 一个科学新领域——开放的复杂巨系统及其方法论. 自然杂志, 1990, 13(1): 3-1064.
(QIAN X S, YU J Y, DAI R W. A New Field of Science: Open Complex Giant System and Its Methodology. Chinese Journal of Nature, 1990, 13(1): 3-1064. ) [本文引用:2]
[28] LUO J, HE W, YANG C G. Combined Perception, Control, and Learning for Teleoperation: Key Technologies, Applications, and Challenges. Cognitive Computation and Systems, 2020, 2(2): 33-43. [本文引用:2]
[29] 薛澄岐, 王琳琳. 智能人机系统的人机融合交互研究综述. 包装工程, 2021, 42(20): 112-124.
(XUE C Q, WANG L L. Review of Human-Computer Integration Interaction in Intelligent Human-Computer System. Packaging Engineering, 2021, 42(20): 112-124. ) [本文引用:2]
[30] ENDSLEY M R, KABER D B. Level of Automation Effects on Performance, Situation Awareness and Workload in a Dynamic Control Task. Ergonomics, 1999, 42(3): 462-492. [本文引用:1]
[31] ENDSLEY M R. Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 1995, 37(1): 32-64. [本文引用:1]
[32] HERD S, KRUEGER K, NAIR A, et al. Neural Mechanisms of Human Decision-Making. Cognitive, Affective, and Behavioral Neu-roscience, 2021, 21(1): 35-57. [本文引用:1]
[33] LOGAN G D. Automaticity, Resources, and Memory: Theoretical Controversies and Practical Implications. Human Factors, 1988, 30(5): 583-598. [本文引用:1]
[34] HIKOSAKA O, GHAZIZADEH A, GRIGGS W, et al. Parallel Basal Ganglia Circuits for Decision Making. Journal of Neural Transmi-ssion, 2018, 125: 515-529. [本文引用:1]
[35] ZHANG W, LI H Y, CUI L L, et al. Research Progress and Development Trend of Surgical Robot and Surgical Instrument Arm. The International Journal of Medical Robotics and Computer Assisted Surgery, 2021, 17(5). DOI: 10.1002/rcs.2309. [本文引用:1]
[36] 王丹力, 郑楠, 刘成林. 综合集成研讨厅体系起源、发展现状与趋势. 自动化学报, 2021, 47(8): 1822-1839.
(WANG D L, ZHENG N, LIU C L. Hall for Workshop of Metasynthetic Engineering: The Origin, Development Status and Future. Acta Automatica Sinica, 2021, 47(8): 1822-1839. ) [本文引用:1]
[37] DUAN W K, AKINYEMI T, DU W J, et al. Technical and Clinical Progress on Robot-Assisted Endovascular Interventions: A Re-view. Micromachines, 2023, 14(1). DOI: 10.3390/mi14010197. [本文引用:1]
[38] REN M L, CHEN N Y, QIU H. Human-Machine Collaborative Decision-Making: An Evolutionary Roadmap Based on Cognitive Intelligence. International Journal of Social Robotics, 2023, 15: 1101-1114. [本文引用:1]
[39] 王嵘. 心脏外科手术机器人系统的国产化研发. 机器人外科学杂志, 2021, 2(6): 411-414.
(WANG R. Research and Development of Robot-Assisted Cardiac Surgery System in China. Chinese Journal of Robotic Surgery, 2021, 2(6): 411-414. ) [本文引用:1]
[40] CONTI C J, VARDE A S, WANG W T. Human-Robot Collaboration with Commonsense Reasoning in Smart Manufacturing Contexts. IEEE Transactions on Automation Science and Engineering, 2022, 19(3): 1784-1797. [本文引用:1]
[41] 许为. 六论以用户为中心的设计: 智能人机交互的人因工程途径. 应用心理学, 2022, 28(3): 195-213.
XU W. User Centered Design(VI): Human Factors Engineering Approaches for Intelligent Human-Computer Interaction. Chinese Journal of Applied Psychology, 2022, 28(3): 195-213. ) [本文引用:1]
[42] 孙效华, 张义文, 秦觉晓, 等. 人机智能协同研究综述. 包装工程, 2020, 41(18): 1-11.
(SUN X H, ZHANG Y W, QIN J X, et al. Review on Human-Intelligent System Collaboration. Packaging Engineering, 2020, 41(18): 1-11. ) [本文引用:1]
[43] STUBBS K, HINDS P J, WETTERGREEN D. Autonomy and Co-mmon Ground in Human-Robot Interaction: A Field Study. IEEE Intelligent Systems, 2007, 22(2): 42-50. [本文引用:1]
[44] SEIJO L M, PELED N, AJONA D, et al. Biomarkers in Lung Cancer Screening: Achievements, Promises, and Challenges. Jour-nal of Thoracic Oncology, 2019, 14(3): 343-357. [本文引用:1]
[45] PEETERS M M M, VAN DIGGELEN J, VAN DEN BOSCH K, et al. Hybrid Collective Intelligence in a Human-AI Society. AI & SOCIETY, 2021, 36: 217-238. [本文引用:1]
[46] JARRAHI M H. Artificial Intelligence and the Future of Work: Human-AI Symbiosis in Organizational Decision Making. Business Horizons, 2018, 61(4): 577-586. [本文引用:1]