《生物医学图像处理》课程报告

1．医学成像领域的发展研究现状与分析，试结合课程内容进行调研分析与阐述。

生物医学成像与图像处理是将生物学、医学、信息科学、计算机技术相融合的交叉边缘学科。它是生物医学工程学科的一个分支，包括生物医学信息处理技术、生物医学图像处理与分析等，是生物医学工程领域中发展最迅速的学科方向之一，也是计算机技术发展的一个新的增长点。其中，生物医学信息学指生物医学信息的获取、处理、存储、分发、分析与解释等内容,以信息学、信息管理和信息技术为依托，综合运用数学、计算机科学、生物学和医学等工具，以阐明和理解大量数据所包含的生物医学意义，用于生物信息识别、医学决策和管理等。生物医学图像处理技术是利用计算机的软、硬件将图像数字化后进行采集、显示、存储和传输，以及将二维图像加工、将二维图像转化为三维图像，对动态图像进行编辑处理，涉及图像分析、识别、分割、解释、分类以及三维重建与显示等方面，目的是增强或提取图像的特征信息，对图像中感兴趣的特定区域进行标定和测量，获取它们的客观信息，从而进行辅助诊断或指导医生进行治疗。
1.1 医学成像技术发展路径
1.2 医疗影像设备分类及应用场景
在目前的医学检测手段中，医学影像数据占据了90%的医疗信息，是疾病筛查和诊治最主要的信息来源，也是辅助临床疾病诊疗的重要手段。目前医学影像的设备可以分为大型影像诊断设备和其他影像诊断设备。其中大型设备主要有数字X线摄影（DR）、计算机断层扫描（CT）、核磁共振（MRI）和核医学类（PET及复合类PET-CT、PET-MRI等），小型的影像诊断设备包括超声和内镜等。根据成像原理的不同，各种设备在临床的上的应用也不相同。各类医学影像设备的特点及应用场景如下表显示：

1.3 医疗影像产业的发展趋势
从技术的层面来看，医学影像设备的总体趋势是向更清晰、更快速、更便捷、更安全、更智能的方向发展。因此国内的企业在提升硬件设计制造技术，补全和加强影像设备产业链上下游，提升自主率的同时也要注重诊断智能化方面的发展。
以AlphaGo在围棋界取得的成绩为标志，人工智能在近几年的发展非常迅速。而医疗影像的诊断结果具有格式标准、易于获取和利用等特点，被认为是人工智能在医疗应用中可最快落地的领域之一。利用AI的感觉认知及深度学习的技术，将其应用于医疗影像领域，提高放射科医生诊断的准确率和效率，降低误诊率是医学影像产业的重要发展方向之一，也是我国医疗影像产业迎头赶上国外巨头的契机之一。随着国内政策对高端医学影像的倾斜度不断加强，从2016年开始，AI医学影像领域的热度就在不断上升，越来越多的初创型人工智能公司开始涉足这一领域，其中也不乏一些互联网的巨头，说明无论是资本还是产业内部都看好这一应用的前景。
经历了2016到2019年三年的发展，目前 AI医疗影像呈现出了两种发展趋势，一是AI阅片方式更加贴合医生日常的阅片习惯和实际的临床需求，同时也在不断增加识别疾病的种类及器官的部位。另一个是产品功能的纵向延伸，AI除了病灶的诊断以外，可进一步给出放疗、手术等规划来辅助医生诊断。因此AI医学影像的产品目前在放射科医生群体中也得到了相当高的高度认可。在不断解放医生生产力的同时，这种方式也为基层医疗资源不均衡的现状提供了一种解决方案，即通过建设智慧影像平台的方式，使得放射科医生较为缺乏的基层医院也能够开展复杂度高的检查和诊断。
当然目前AI医学影像作为一种弱人工智能的应用，整体还处于较为初级的阶段，在发展的过程中也暴露出来一些比较明显的问题和瓶颈。首先是目前的AI识别病灶的过程基本通过深度学习来进行，即“喂给”设备各种不同的影像的诊断数据，通过深度学习来不断驯化AI软件从而达到机器识别病灶的效果。这种过度依赖数据的方法会存在的一定的隐患，一是数据量要足够大，而不同的病人由于病情的差异，同一病症体现出来的图像特征都有可能发生变化，一旦数据训练的量不够全面时，遇到特殊的病例，则有可能出现误诊的情况。此外，目前的医疗数据缺乏统一的标准，标准化还未提出通用的规则，缺乏人工智能强调的“4V”属性，因此虽然国内的数据量足够的大，但很多时候利用率和价值并不是很大，这都给AI医学影像的实际应用造成了一定的不确定性。
其次，由于现阶段国家对于AI医学影像的产品定位为三类医疗器械，因此目前主流的AI影像软件基本都还处于注册审批阶段，商业化的使用效果还未显现。此外，能否进入医院常规的采购目录也是影响产品商业化落地的一种重要因素。在今年的1月15日，首个进入国家药品监督管理局创新医疗器械审批绿色通道的人工智能医疗影像辅助决策产品——“深脉分数”获得批复，这给众多AI影像产品树立了一个标准，而其商业化落地还有待于市场去检验。
1.4深度学习在医学成像领域的研究
医学成像已成为临床诊断的重要辅助手段，其包括计算机断层扫描（CT）成像、磁共振成像（MRI）、正电子发射断层扫描（PET）成像、超声（US）成像、X射线（X-ray）成像等。如何借助大数据和人工智能技术，深入挖掘海量的医学图像信息，实现基于影像数据的智能诊断、智能临床决策以及治疗预后，已成为目前的研究热点。
深度学习属于机器学习的分支，是目前实现人工智能技术的重要手段。随着深度学习技术在图像处理和计算机视觉领域的广泛应用，利用深度学习技术辅助临床诊断和决策已成为医学图像分析领域的研究重点。医学影像智能诊断的流程可大致分为3个步骤，首先获取大量高质量的图像数据，然后对图像进行预处理，最后挖掘图像信息，进行分析预测。其具体环节如图1所示。其中海量、高质量的图像数据是深度学习训练的基础，图像预处理（如配准、感兴趣区域提取）是后续分析准确度的基本保障，挖掘信息、建立预测模型是临床智能决策的关键。

1.5 医学影像学科教育的现状
近年来，随着市场对影像技术人才的需求越来越大，高校也根据市场需求对人才培养的目标、教材内容、课程设计等进行了相应的改革和创新。虽然这个新学科在一出现就受到了很多人的重视，但是由于发展的时间比较短，所以仍然存在这很多问题。首先，不同层次教育之间的衔接还存在着一定的问题，比如专科与本科教育，或者是本科与研究生教育存在脱节现象；其次，不同学校影像技术专业使用的教材不统一，而且很多学校的培养方向并不明确，这就导致很多影像技术专业的人才不能够很快适应医院的工作。
1.6 医学影像技术人员在医院的工作现状
目前，影像技术人员在医疗机构中的职称为技师，如果是在大学附属医院中还能成为讲师以及教授。在普通医院中影像技术人员主要在放射科工作，现阶段大型综合医院或者专科医院中的影像技术人员几乎都是本科学历，很少有硕士毕业生，极少医院的放射科有博士学历的影像技术人员，而在地方医院中放射科的影像技术人员则大多都是专科学历。
在医院放射科，医生和技术人员在数量上几乎没有差别，在大型综合医院或者是具有完整 PACS 网络的专科医院中，放射科的医生往往是进行后台工作，而影像技术人员则担当前台工作的重任。这些技术人员不仅需要需要接诊病人，进行患者疾病图像的采集，还需要在进行检查后的患者的问题进行回应。所以，这就要求影像技术人员不仅要掌握有关图像采集以及处理的相关技术，还需要熟知医学知识，这样才能够在为病人检查时能够做出正确的医学判断和操作，从而
采取正确的检查方法帮助患者得出最准确的检查结果。另外，影像即使大呼人员还需要能够熟练掌握昂贵的影像设备，将理论知识与实践操作进行完美的融合。目前，大多数地方医院的影像设备都达到了先进水平，但是影像技术人员的专业
素质却仍然存在着一定的问题，导致这些设备不能够在临床检测工作中发挥作用。所以各级医院还需要不断加强对影像技术人员的培训。
1.7 医学影像技术的组织现状
我国有关医学影像技术的组织就是中华影像技术学会，这个学会隶属于中华医学会下，与中华放射学会、中华超声学会以及中华核医学学会一并组成了医学与核影像学科下的四大学会。在这个学会中共分为包括 CT 技术学组、MR 技术学组以及 PACS 技术学组在内的 7 个专业学组以及 3 个筹备专业学组和 3个学部。这些组织还经常举办各种有关影像技术的交流会。首先，全国每年都会举办“中华影像技术学术大会”这样的国际影像技术交流会，参会人员都是来自于世界各国的医学影像专业技术人员。其次，相关机构还会定期举办有关影像技术的学组会议，让全国的医学影像技术人员进行充分的技术以及临床经验交流。最后，每个省市中都有相关的影像技术学会，而且很多地级市中也成立了相关的学会，而且在全国范围内还开设了有关影像技术的网络职后继续教育平台，帮助已经参加工作的影像技术人员进行深入学习。
1.8 医学影像学科发展的整体趋势
首先，在现阶段的医学影像技术发展过程中，诊断过程与介入治疗过程是呈分离状态的，随着医学技术的不断发展，必然会建立两者相结合的现代影像学科；其次，现阶段的影像技术主要研究的是大体形态学的内容，主要用于图像的收集以及判断，在未来影像技术会向着分子、功能代谢以及基因成像等方向进行过渡；最后，现在影像技术用的都是胶片采集技术，随着数字技术以及计算机技术的不断发展，在未来影像技术必然会使用数字或者电子技术进行图像的收集以及传输。医学影像技术在我国医疗系统中的发展时间比较短，所以在技术方面还不够成熟，但是随着医疗技术以及影像技术的不断发展，首先，医学影像技术呈现出来的信息必然会更加具有敏感性、直观性以及特异性；其次，现在对影像的分析都是定性分析，在未来必然会向着定量的方向发展，不再仅仅给出疾病的诊断结果，而是向着提供手术路径的方向发展；再次，影像信息的采集与显示都还是二维图像，随着数字成像技术的不断发展必然会向着三维全数字化发展；最后，目前，放射科在使用影像技术进行疾病诊断的过程中使用的都还是单一技术，随着影像技术的不断进步，未来会逐渐引进新的影像技术，向着综合方向发展。

2．从第一代CT开始，断层成像技术发展至今，有哪些里程碑意义的技术变革，又体现出什么样的技术发展趋势？试从自己所属专业角度加以论述。

2.1 断层成像技术的历史回顾与发展现状
X射线断层成像主要是利用X射线与材料相互作用的特性来获取物体内部断面结构特征信息，并使之可视化。X射线断层成像主要用于医学诊断和工业无损检测。虽然，还存在借助其它射线、微波、超声波等的各种断层成像，但其成像、检测原理是相似的，而且X射线断层成像应用最为广泛。因此，断层成像涉及的大量计算常常是通过数字计算机来实现的，因而常称之为计算机断层成像，简称CT。
X射线断层成像发展至今，已经历了100多年的发展历程：(1)1895年，德国科学家伦琴发现X射线；(2)1895~1901年，医用X射线透视机研制成功并投入使用(出现了原始的断层胶片成像照相法)；(3)1901年，X射线成功应用于医学诊断而获诺贝尔医学奖；(4)1917年，奥地利数学家雷唐建立了断层成像的数学理论——雷唐变换；(5)1963年美国科学家康马克给出了X射线断层成像在一定条件下的解析解和利用计算机的仿真结果；(6) 1973年，英国科学家豪斯非特利用黑箱法建立了离散反投影模型，取得了与康马克方法相似的结果，但 不使用解析解，而是使用计算机直接处理；(7)1979年，计算机断层成像的提出者康马克与豪斯非特共同获得诺贝尔奖；(8)1981年，第一台工业CT机研制成功。到80年代，医用CT机已发展到第五代实现了从单线束到扇形线束的扫描，从单接收器到扇形接收器再到环形阵列接收器，从物体旋转到射线源旋转再到接收阵列旋转的发展阶段；(9)80年代末90年代初，工业CT机开始用于航空发动机涡轮叶片的无损检测，火箭锥体及推进剂密度分布检测等… CT技术已广泛应用于无损检测中。除X-CT外，其它形式的CT也相继问世。如单光子发射CT (SPECT)，正电子发射CT(PET)，核磁共振CT(NMR-CT)，超声CT, 电容式CT(ECT )，电阻抗式CT(EIT)，微波CT等。这些方法是对X射线成像中由于物理极限等因素不能直接使用的场合的补充。
目前国际上对断层成像技术的研究仍十分活跃。每年在IEEE上都有大量的关于断层成像技术的论文发表。近几年，随着神经网络这种新型智能信号、信息处理技术的发展，越来越多的科学家意识到，神经网络有可能为断层成像提供全新的处理理论和技术，进而可使断层成像在速度上和质量上出现突破性进展。在日本、加拿大、美国、德国等国家有不少科学家正在把神经网络应用于断层成像的优化计算研究中，但关键性结果尚很少公开报道。
2.2 断层成像技术目前存在的问题与发展趋势
通过回顾100年来X射线成像，尤其是近30年来CT研究的发展历程我们可以清楚地认识到如下几点:
(1)基于X射线投影理论研制的医用CT机无损探伤机在原理上都没有大的变化，今后的发展趋势是：(a)利用智能信息处理理论与技术实现材料特性知识的自动学习与提取，以及自动校准；(b)算法上朝快速高精度方向发展；©由于航空、航天、石化等工业的快速发展，对断层成像提出了快速高精度的要求；(d)智能计算理论与技术的发展为断层成像的发展提供了新工具。
(2)近30年来断层成像理论仍然是康马克基于X射线与材料相互作用和数字计算机高速数字运算能力相结合而建立的计算机断层成像理论。康马克的方法需要测量不同位置、不同角度的射线的衰减量，然后利用数字计算机对测量值进行傅立叶变换以及数值积分等大量的复杂运算最后给出各点(一般需要内插)的吸收系统用以成像。这种方法比较适合数据完整、分布均匀的场合。一般情况下需要的计算量大。由于涉及复杂函数的积分，精度亦受限制。
(3)豪斯非特的方法仍是利用数字计算机来处理，所不同的是他建立的是基于黑箱的离散化模型，不需要反演积分，直接进行数值反投影和内插是目前广泛使用的CT原理。
(4)目前常用的CT重建算法主要有4类：(a)反投影重建法；(b)傅立叶变换重建法；©卷积重建法；(d)迭代重建法。这些算法都有其各自的优点但它们也都存在以下几个方面的问题：(a)由于采用矩形单元划分图像区域，且对投影路线未经优化，故数据冗余度很大，导致冗余计算量大。(b)由于采用递推或迭代算法，测量误差和计算机有限字长效应必然会引起误差的传播与积累。又由于方程数目高达数十万，因而积累误差效应明显，精度与速度的矛盾十分尖锐。©传统方式下投影值很难校正。
(5)关于断层成像的研究，2060年代主要在数学领域；6070年代主要在物理学和材料学领域；70~ 80年代主要在计算机领域；90年代才受到信息处理领域的重视。
(6)医学CT发展很快但由于工业背景应用对断层成像提出了快速、高精度的苛刻要求，所以工业CT发展很慢。
2.3 快速高精度断层成像算法研究
针对传统的CT中图像区域分割和图像重建算法所存在的问题，建立了基于神经网络的断层成像算法此算法是一种并行的、分布的、自适应学习与容错的信息处理方法，具有成像速度快、精度高等特点。
在此算法中，采用正三角形单元划分：图像区域，根据像素单元的拓朴结构合理确定射线路径，使投影数据之间的相关度最小，并使投影数据易于较正。这种方法具有数据量小、数据冗余度低的优点，有利于重建图像质量的提高和重建速度的加快。投影方向是以正三角形基元的一个中心线为基准，投影线的方向分别与基准线成0、15、30度等特殊角。
由于图像重建可以归结为约束条件下的极值问题，所以可以设计一种合适的反馈式神经网络来求解此问题。反馈式神经网络可以直接用简单的电路构成，神经元互联成并行计算方式，系统可以随着时间的变化自然收敛到平衡点上。在这些平衡点上，能量函数达到极小值，这些平衡点对应问题的解。由于神经网络是并行的、分布式的计算机制，所以神经网络断层成像算法可以很好地克服传统CT中诸如速度慢、误差积累明显、容错性差和内插精度低等问题。
为了验证神经网络断层成像算法的性能，需要做大量的计算机仿真，在同样的客观条件下，把结果与传统的CT算法进行比较，新算法无论在成像速度上还是在成像质量上都明显优于传统的算法，当然要将这一成果应用于工程问题，还有一些实际问题需要解决。

3.生物医学成像与处理分析领域未来将会有哪些新发展趋势？请结合文献调研给予论述。

3.1 医疗影像人工智能识别
这个方向的国内企业低技术化发展趋势必须要充分警惕，其主要问题在于，大多数国内企业，主要都是进行肺结节和乳腺癌的图像识别辅助开发工作，而且都挤在这同一个领域，固然有这个领域比较容易被认可，技术比较成熟有关，也与现有的识别方式有莫大的关系：人工标注>机器辅助识别>人工判断。
实际上，医学影像AI的发展，如果沿着这条路走下去，必定是一条死胡同，虽然能够解决一些问题，但是医学影像的问题是无穷无尽的，靠人工标注，在概率上解决一些问题，但是必然会遗漏另一些问题，同时影像学林林总总的疾病和应用，何时是个尽头？
也就是，AI需要学会的，绝不仅仅是按照被标注的图像特征，照葫芦画瓢进行识别，而是需要理解病理（已经明确的部分）与图像特征的必然联系，这相当于是高于现有技术一个维度的数据处理技术，其实现并不容易，但是必须要走出这一步，才有可能将AI医疗应用推向深入。
这个维度的提升，带来的数据量需求和计算量需求都是几何级数地增长，国内目前在这一块的投入和进展都是比较欠缺的，希望能够有机会在这方面进行深入的学习和研究！
更高一个维度的，医学的认知，其实很多是来自于医生的经验总结，很多病理，甚至很多认为已经清楚的病理，其实是医生经验总结碰巧遇到了比较多的印证病例，这也是现代医学极大依赖循证研究方法的原因，而循证研究对于人的依赖，注定了其受人的偏见影响极大，虽然尽可能地用统计学来降低这些偏见所带来的偏移，在临床试验中有良好的效果，但是临床试验本身就受到样本量和医学证据的限制。而医学影像是不多的极为客观和稳定的医学证据，问题主要在于人对于其认知产生的偏差，如果AI能够综合多个医生的经验“直觉”，最大限度地摒弃偏见造成的结果偏移，在AI可能能够反过来促进病理分析，从而推动医学影像学的极大发展。
医学图像问题往往不止是图像问题。医学图像是为了医生服务，很多时候的标准是医生来决定。一个MRI图像好或者不好，不只是我们认为的噪声小，细节清楚，也有医生的习惯问题。所以一个好的医学图像去处理结果，不止要关注噪声，分辨率，也要花费很大力气在学习风格上。
3.2 深度学习与医疗
近年来，随着深度学习技术在自然场景图像识别方面取得重大进展，人工智能被应用在分类难度更大精度要求更高的医学影像分析中，并逐步发展成为一个深度交叉融合的前沿领域，受到国家的高度重视与战略扶持。与传统手工提取图像特征的方法相比，深度学习方法能显著提高对象分割、检测和识别等方面的量化能力，有效解决许多医学图像分析和辅助诊断问题，在医学影像计算机辅助诊断中表现出巨大潜力，如全乳超声中的乳房解剖分割、胎儿超声标准平面检索以及X光胸片中的常见疾病识别诊断等，尤其对细粒度皮肤癌筛查和胸片肺炎诊断的水平甚至超过专业医生。
目前胸部CT扫描图像主要由放射科医生逐层阅读，不仅费力耗时，而且极度依赖于医生的主观判断，误诊漏诊难以避免，而医学影像数据的标注需要专业知识，成本昂贵，获得大规模标注数据十分困难。缺乏足够的训练数据，神经网络将面临难以训练、易过拟合等问题。因此，使深度神经网络有效利用非常有限的医学数据，提高肺炎诊断的精准度，是一项非常具有挑战性的任务。
正常个体的医学影像基本上都是一样的，然后某个部位出现异常，影片上的成像就会与正常个体的影像不一样。通过深度学习学习这些不一样的特征，然后来判断哪个部位出现什么异常，这个可以避免人们判断的误差。而且这样可以进行远程医疗，当不知道某个部位出现什么异常或者不相信当地医院的判断，可以影片传输过来进行判断。
但是目前存在的一个问题是医院的医学影片对外是保密的，不会轻易公开，所以现在就数据集而言存在一定的难度，但是如果和医院合作了，估计就可以。
这个方向未来发展非常好。目前医学图像处理也都开始像深度学习这个方法靠拢，越来越多使用深度学习方法进行图像分割等。国内知名的阿里医疗/腾讯优图都有专门做AI医疗。未来智能问诊/互联网医疗中，很大一部分会是医学图像的AI解读。生物医学图像处理还有一个很大的潜在爆发需求，就是各种生物学实验的成像分析。比如荧光蛋白成像等分割分类等。
3.3 放疗领域的靶区勾画
放疗前一半要先勾画好周围器官跟肿瘤的边界，这样可以实现更精准的杀伤，之前都是专门的医生花很长时间去做这个勾画，现在很多都可以用AI做了， 是一个可以落地的领域，比如商汤跟医诺的合作。
3.4 病理图片的自动化分析
病理诊断是金标准，但是通常图片像素很高，比如10w x 10w，AI在这里可以有效防止漏诊，加速诊断（病理诊断也是分不同种类的，目前AI能做的还是比较容易的比如良性恶性，或者简单的分期，可能更感兴趣在一些比较不容易察觉的情况下需要AI来帮忙，然而这种情况连医生都不确定）。
3.5 很多疾病的早期筛查和跟踪预警
如肺结节的早期筛查，非医学图像比如癫痫。

4．主要参考文献

[1]Andrzej Cichocki and Rolf U nbehauen. Neural N et- works for Solving Systems of Linear Equations and Related Problems. IEEE Trans. on Circuits and Sys- tems- l: Fundamental and Applications Vol. 39, No.2, pp.124~ 138 Feb 1992.
[2]Shengwei Zhang and A. G. Constantini des. Lag range Prog ramming Neural Ne tw orks. IEEE Trans. on Cir cuits and Systems- II: A nalog and Digital Process ing. Vol. 39, No. 7, pp. 441 ~ 452, July 1992.
[3]Guy Demoment. Imae Reconstruction and Restorar tion: Overview of Common Est imat ion Structures and Problems. IEEE Trans. on Acoustics Speech and Sig nal Processing. Vob 37, No. 12 pp. 2024 ~ 2036,1989.
[4]S.M.Huang A. B. Plaskowski, C. G. Xie and M. S. Bek. Tomographic Imaging of Tw 0 Component Flow U sing Capacifance Sensors. J. Phys E: Sci. Instrum.22( 1989)，173-177.
[5]He M ingyi etc. Application of neural network to baggage inspection. Neural Network World- Int J. On N eural vend M ass Parallel Computing and Infor- mation Systems, 1997, 7(6): 631~ 640.
[6]何明一 快速高精度自学习断层成像理论与技术的研究，国家自然科学基金项目总结报告，1998年。
[7]庆天戈.CT原理与算法，上海交通大学出版社 1992年。
[8]夏建涛.断层成像算法的研究，西北工业大学学位论文，1999年1月.
[9]吴世法，近代成像技术与图像处理，国防工业出版社1997年.
[10]邹松霖. 深度学习算法的研究及其在医学影像诊断中的应用[D].长春工业大学,2020.