医疗领域是人工智能率先落地的行业之一，过往已经催生了 Nuance、IBM Watson 等一批全球知名企业。随着基于大模型的生成式 AI 的出现，我们看到 AI+ 医疗迎来了一波新的发展机遇，特别是生成式 AI 为问诊、影像、制药等各个医疗健康场景注入新活力，比如基于大模型的实时问诊病例生成、按需生成新蛋白质结构提高药物发现效率等应用。
01
医疗 AI 框架
医疗 AI 迈入大模型时代，多模态 AI 通用化成为未来趋势。医疗 AI 平台包括数据资源层、人工智能平台和医疗应用层。开源框架和算法占有重要地位，如选择工程化能力较强的 TensorFlow 或在图像方面表现良好的 Caffe 等开源框架，选择在图像识别方面常用的卷积神经网络（CNN），循环神经网络（RNN）算法模型等。
GPT 开启多模态通用 AI 大模型时代，NLP、CV、科学计算多模态大模型 AI 通用时代来临。
资料来源：IDC、CSDN、机器学习算法与自然语言处理、电子工程世界等，浙商证券研究所1.1 Google TensorFlow & GE Healthcare 开源框架案例-MRI：MRI 是一种 3D 成像技术，允许临床医生无创地可视化体内的结构，而无需电离辐射。MRI 是一种广泛使用且功能强大的成像方式，因为它在“软”组织（例如灰质、白质和脑脊液）之间具有出色的对比度，并且不仅能够可视化解剖结构，还可以描绘生理和功能，例如血流、灌注和弥散；-人工劣势：切片定位和方向的质量和一致性在很大程度上取决于扫描操作员的技能和经验。这个过程可能既耗时又困难，特别是对于复杂的解剖结构。因此，扫描操作员之间可能存在不一致的情况。这种缺乏一致性会使放射科医生在解释这些图像方面的工作更加困难，特别是当患者被扫描作为先前 MRI 检查的后续行动并且他们试图识别解剖结构或疾病进展随时间推移的细微变化时。在最坏的情况下，无法获得正确的图像，患者必须返回进行另一次手术；-框架优势：支持 2D 和 3D 级联神经网络 CNN，广泛的开源用户和开发人员社区，图形计算的稳定性使其对产品部署具有吸引力，Keras 接口可用，显著缩短了开发时间, 部署是使用基于 TensorFlowServe CPU 的 docker 容器和 RestAPI 调用完成的，以便在获取本地化器后对其进行处理；-解决方案：在高性能 CPU 上，整个过程仅需要 3.5 秒。图像质量检查：检查给定的定位器图像是否适合识别所需解剖结构的平面。这是通过使用五层二元还原常规 CNN 分类网络模型（LocalizerIQ-Net）来识别实现的。识别解剖覆盖：通过结合基于形状的语义图像分割 U-Net DL 模型（称为“覆盖 - 网络”）在定位器图像中定位所需解剖学（大脑）的空间范围。识别精确的平面方向和位置：对于每个所需的解剖结构（例如，视神经），使用定向网络对该结构进行成像的扫描平面。1.2 ChatGPT 等大模型在医疗信息化领域应用ChatGPT 等大模型在医疗领域的应用包括生成个性化的医疗报告、审查医疗记录、实现在在线医疗咨询、实现自动医疗指导、以及提供个性化的医疗建议等。-生成个性化的医疗报告：通过文本生成技术，ChatGPT 可以用于生成个性化的医疗报告、制定个性化的治疗方案、提供个性化的医疗建议等；-审查医疗记录：OpenAI 大模型与 Kepro 合作，AI 大模型助力医疗记录审查，提高医疗记录审查准确性，预计将缩短多达 30% 的临床审查时间；-实现在线医疗咨询：通过对话机器人技术，ChatGPT 可以用于实现在线医疗咨询、远程医疗诊断、自动医疗指导等；-实现自动医疗指导：ChatGPT 可以利用患者的健康状况，包括生活习惯、运动情况、饮食习惯等，实现自动医疗指导。这些指导可以为患者提供个性化的健康指导与提醒，提高患者用药治疗的依从性，从而保障患者的健康状况；-提供个性化的医疗建议：通过自我理解和自我修正技术，ChatGPT 可以用于实现医疗数据挖掘、疾病预测、诊断推理等。ChatGPT 的医疗场景示例：信息抽取；医学实体识别 + 属性抽取；智能分诊；医学术语标准化；医学对话临床发现阴阳性判别；医疗文本关系抽取；医疗报告生成。02
GPT4 阐述更准确&可实现多模态输入推动了其在医疗领域更广泛的应用从 GPT3.5 到 GPT4，阐述将更加准确，可实现多模态输入，推动了其在医疗端更广泛的应用。在医疗信息化场景，GPT4 助力电子病历的生产力解放、为医生提供诊断决策备选；在互联网医疗场景，可帮助实现高效多模态获取患者信息并准确分诊；在公卫信息化领域，能够对重大传染病实现实时监测预警；在医保信息化领域，可以极大提升全国医保数据系统归集整理效率；GPT 还可以在药物研发中助力新蛋白质的合成。-事实结论阐述精确度 +40%：据 OpenAI 的内部评估，它在产生事实回复时，其性能比 GPT-3.5 好 40％；-医学知识自测评论考试表现更好：据 OpenAI，GPT-4 做更详细的阐述并提供更可靠和创造性的输出，更有能力。GPT4 在参加为人类设计的考试中表现比之前版本更好（例如医学知识自我评估计划（75％vs 53％））；-文本输入到多模态输入：GPT-3 和 GPT-3.5 仅接受基于文本的输入，GPT-4 接受多模态输入，可以同时接受文本和图像等输入并提供文本输出。2.1 AI+ 医疗信息化场景 - 电子病历的生产力解放-当前由医生手动录入医疗信息化系统患者电子病历：当前医生一边问诊一边手写或在电脑上输入电子病历。虽然一些病历医生可以根据信息化系统里面的模板去更改患者信息，但是有一些病历较复杂病程较长，医生需要很详细地记录追踪患者的情况，病历可能达上万字，当前在传统医疗信息化系统中还是由医生手动记录输入这部分信息；-未来接入 GPT4 以后医生解放了文书工作：GPT4 可以多模态输入数据并理解梳理信息，这也就意味着 GPT4 大模型可以输入患者和医生的对话并摘取关键信息，医生不用边问诊边记录，可以快速耐心询问患者情况，只需要几秒钟，就能自动生成电子病历，然后自动导入当前的医疗信息化系统。临床辅助决策分为诊前 / 诊中 / 诊后决策场景，包括医院数据实时处理、数据质量监控、知识库查询、临床辅助决策、临床辅助治疗、临床预警、患者画像、系统监控等功能。我们认为，医疗诊断场景涉及的信息为多模态且数据量大、交互频次高、及时性要求高，业内关注多模态大模型能否赋能诊断场景，发挥辅助医患沟通、诊断决策作用。以问诊环节的病例录入为例，传统 AI 语音识别赋能的病例录入主要以医生口述 -AI 转写的形式展开，随着大语言模型（LLM）的出现，医患对话的实时记录、转写和总结能够大幅提升病例录入的效率。2.1.1 微软子公司 Nuance：将 GPT-4 用于病历生成程序微软于 2021 年 4 月 12 日宣布以 197 亿美元收购人工智能和语音技术公司 Nuance。2023 年 3 月 20 日，微软旗下语音识别公司 Nuance Communications 推出基于 GPT-4 的 AI 临床笔记软件 Dragon Ambient eXperience (DAX) Express，可以在几秒钟内生成准确的临床记录，减少临床记录环节的时间，提升诊疗效率。Nuance 曾在 2020 年推出 DAX 解决方案，将患者在就诊中与医生的交流转化为临床档案，由于以人工审核来确保信息准确性，全过程需要耗时约四个小时。接入 GPT-4 后，依靠大模型强大的推理能力，DAX Express 生成临床记录的效率大幅提升。此外，DAX Express 能够整合进微软 Teams 中，来辅助远程医疗。-微软旗下 Nuance Communications发布与 OpenAI 的 GPT-4 集成的支持语音的医疗病历生成应用程序 DAX Express；-环境 AI 与 GPT-4 技术相结合：DAX Express 是第一个将会话和环境 AI 与 OpenAI 的 GPT-4 的高级推理和自然语言功能相结合的全自动临床文档应用程序。Nuance 的环境 AI 技术旨在通过“倾听”医患就诊并做笔记来自动化临床文档；-几秒钟形成可接入电子病历系统的临床笔记：通过添加 GPT-4，DAX Express 可在患者就诊后几秒钟内自动创建草稿临床笔记，以便立即进行临床审查。该解决方案还与电子病历软件紧密集成;-该产品将服务超 55 万医生和数百医疗系统：超过 550,000 名医生使用 Nuance 的 Dragon Medical One 语音识别解决方案。DAX Express 建立在 2020 年推出的 Dragon Ambient eXperience 解决方案 Nuance 的基础上。该解决方案目前部署在数百个医疗系统中;-夏季推出：Nuance 医疗保健业务执行副总裁兼总经理戴安娜·诺尔 (DianaNole) 表示 DAX Express 将从今年夏天开始以私人预览的形式提供给特定客户。一旦该测试完成，将普遍提供给所有 Dragon Medical One 和 DAX 用户。资料来源：Nuance 官网，微软官网，FIERCEHealthcare，浙商证券研究所2.2 GPT4 应用于医疗信息化场景 - 为医生提供诊断决策备选-当前 CDSS 临床辅助决策系统会根据患者症状提供给非常多相关疾病和治疗手段，需要医生靠经验判断：当前的 CDSS 系统可以提供给医生一些相关疾病科普参考，比如患者头痛，CDSS 系统就会列出所有引起头痛的常见原因及相关诊疗方法，具体下一步做什么检查进行确诊还是需要靠医生的经验和判断。在时间有限的门诊问诊时间里，医生大部分会根据自己的经验去判断患者下一步需要进一步做 CT 明确病因或是由于疲劳等产生的头痛。CDSS 系统提供的更多是科普和参考的作用；-GPT4 可以根据自己整理的患者症状将可能的疾病及相关的诊疗方法排序，成为医生做决策的强力助手，甚至可能提升基层医院的医疗水平：根据微软研发和孵化中心副总 Peter Lee，GPT4 经过专业医疗数据训练以后可以根据自己整理的患者病历去根据可能的临床病历情况匹配病人的实际情况，将所有可能出现的场景按照概率大小排序，给予医生一个强有力的决策支撑。如果医疗信息化厂商能够提供以往数据去对 GPT4 进行专项训练，随着它准确性的提高，可以提供每个专病相对准确的患者病因和诊疗方法，降低医生的误诊率，提升基层医院的医疗水平。2.3 GPT4 应用于互联网医疗场景 - 高效多模态获取患者信息并准确分诊-当前互联网医疗具有智能助手进行分诊提升问诊效率，但是分诊不是很准确，信息获取很粗浅：如进入在线问诊界面，可以根据关键词选择病症，如“咽炎”等，然后小助手会问病程之类设定好的问题，患者可以选择患病时间，接下来实名制进行分诊至值班在线医生。但是问题设置的比较粗糙，虽然可以语音输入和发送照片，但是智能助手对此没有什么反应，这些信息需要医生去处理。分诊也可能出现一些失误，比如示例中的咽炎可能更适合到五官科里面去而不是中医科；-GPT4 可以极大提升在线问诊效率，改善患者体验，可能取代在线值班医生的工作：GPT4 可以更机动灵活地跟患者对话，并从患者的描述中提取详细的信息，可以完全取代智能助手的工作，在获取和整理患者的症状、患者基本信息、过往用药史等方面可以完全胜任，甚至可以在线提取患者过往拍片中的信息，取代值班医生的部分工作。这样极大缓解了医生线上沟通的压力，降低了线上沟通成本。以往很多症状线上沟通不畅还需要线上转线下，GPT4 的应用更有利于在线医疗的发展，带来效率提升的颠覆性转变。2.4 GPT 大模型应用于公卫信息化领域 - 对重大传染病实现实时监测预警-当前我国公卫信息化领域具有监测突发公共卫生事件需求，数据分析多由各领域专家组完成。通过各地区信息互联、各级机构数据填报、网络抓取监测等渠道监测重大传染病情况，并成立专家组定期进行数据分析，研判疫情趋势，给予风险评估，提出建议；-GPT 大模型可以在获取数据和数据分析上助力公卫信息化效率提升。GPT 大模型可以通过插件自动获取社交媒体和网络上的传染病数据及前沿公共卫生报告等，减轻当前做网络监测互联网的程序员的工作压力，并自动形成可视化展示分析，提出建议，减轻专家工作量，提升监测效率，不同于当前定期请专家组做分析，GPT 可以实现实时监测分析并生成预警报告。2.5 GPT 大模型医保信息化领域 - 极大提升全国医保数据系统数据归集整理效率-当前开展数据治理试点，成立专项工作组，每日跟进计划进度，梳理总结工作经验。加快推进各地历史数据上传，做好数据质量监控，持续提升医保数据质量。截至 2022 年 6 月，已累计处理数据库表结构和数据字典变更申请 4200 多次，更新发布质控标准 6200 余条，累计归集医保数据超 5300 亿条，月脏数据率由初期的 25% 下降到目前的 15%。医保大数据逐步应用，形成系列数据分析研究报告，为医保宏观分析和政策制定提供数据支撑；-GPT 大模型可以抽取医保数据里面的医学实体、属性等关键信息，还可以把不标准的医学术语标准化，能够非常高效地处理脏数据，极大降低医保数据的月脏数据率，并且可以根据数据生成可视化分析表，为医保宏观分析提供实时分析，为医保宏观政策制定提供具有时效性的数据支撑。2.6 GPT 助力新药研发 - 根据功能需求设计 / 优化蛋白质，加速新药探索速度DeepMind 两代 AlphaFold 引领行业进入高速发展期。梳理 AI+ 制药的发展历程，我们发现 AI 与制药的结合逐步深入，成为生物制药企业的常态化工具。经历了包括 Exscientia、Atomwise、英矽智能、晶泰科技在 AI 新药研发领域的早期探索（2014-2017 年）、最早一批 AI+ 新药企业开始获得临床前候选药物 (Pre-clinical candidate, PCC) 一类的验证性成果（2018-2019 年）后，DeepMind 推出的 AlphaFold 和 AlphaFold2 实现了蛋白质空间结构预测的重大突破，引领行业进入高速发展期。近期，我们看到类 Chat 的生成式 AI 开始出现，印证 AI 与药物发现的结合逐渐深入。比如 Salesforce Research、Tierra Biosciences 和加州大学研究团队发布的蛋白质语言模型 ProGen，在数百万个原始蛋白质序列上训练，可生成跨多个家族和功能的人造蛋白质。不同于 AlphaFold2 利用 AI 的手段辅助理解自然界已有的蛋白结构，以 ProGen 为例的类 ChatGPT 生成式 AI 的目标是生成自然界不存在的人工蛋白质序列。-2023 年 1 月 23 日，加州伯克利一家创业公司利用类似 ChatGPT 的 LLM 模型“ProGen”合成了自然界不存在的新鸡蛋白，为 GPT 未来在药物研发应用方向提供方向，即读取不同氨基酸序列，合成新型蛋白质；-ProGen 是一个具有 1 亿参数的条件蛋白语言模型。基于 Transformer 架构的 ProGen 通过自注意力机制模拟残基的相互作用，引入 GPT 大模型可以根据输入控制标签生成跨蛋白质家族的不同人工蛋白质序列。为了创建该模型，研究人员输入了 280.56 亿种不同蛋白质的氨基酸序列，模型在几周内“消化”。过去，在自然界中挖掘蛋白质或将蛋白质调整到所需的功能是非常费力的。如果能够定向将氨基酸序列数据输入 GPT 进行训练，参数量更为庞大的 GPT 大模型理论上可以取得更加精准的效果。虽然生成式 AI 在制药领域的应用仍处于起步阶段，但天壤 XLab 负责人苗洪江博士认为，从 AlphaGo、AlphaFold2 到生成式 AI 是一个从分析工具走向解决方案、并落地解决实际问题的过程。长期来看，生成式 AI 有望赋能生物医药源头创新。从 AlphaFold2 到类 ChatGPT 生成式 AI（资料来源：GTC2023， Large language models generate functional protein sequences across diverse families， 华泰研究）
国内，包括晶泰科技、英矽智能、英飞智药、百图生科在内的公司均在探索生成式 AI 在制药领域的应用。-晶泰科技通过无标记的蛋白质序列数据（约 2.8 亿条）+ 抗体序列数据训练出的 ProteinGPT 可以一键生成符合要求的蛋白药物，应用案例包括：1）根据给定的靶点一键生成 Binder 蛋白；
2）根据指定要求一键生成抗体文库；
3）对性质欠佳的抗体进行改造，一键生成优化后的抗体。-英矽智能宣布在其靶点发现平台 PandaOmics 上整合了 AI 问答功能“ChatPandaGPT”，支持研究人员在浏览和分析大型数据集的同时，高效开展基于自然语言的问答，促进更便捷发现潜在靶点和生物标志物。2.7 AI+ 医疗影像 - 应用相对成熟，关注 AI 大模型提升数据标注效率AI 图像识别技术在 CT、MR 影片诊断领域的应用也已相对成熟，未来十年将有望规模发展。AI+ 影像并非全新概念，包括科亚方舟、乐普医疗、推想医疗、联影等公司的产品已经获得国家药监局认证，可在中国开展商业化销售。比如数坤科技提供疾病筛查、诊断及治疗选择与规划的人工智能医学影像解决方案，以底层 Al 操作系统连通临床全流程的软硬件应用场景，满足多科室多病种的精准智能诊疗需求。我们看到 AI 在医疗影像领域的应用相对成熟。根据动脉橙数据，中国 2022 年医学影像赛道早期融资事件 18 起，和 2021 年相比数量增长约两倍。我们认为，AI 大模型或主要在效率方面赋能医疗影像领域，通过提升自动化标注、自动化模型筛选、参数调优、处理非结构化数据等能力，为行业带来缩短数据标注和分析时间、提升影像精细程度等变化。我们坚信“AI+ 医疗”远不止如此，未来在医疗健康的各个细分领域前景都非常广阔，但仍然需要脚踏实地。值得注意的是，虽然人工智能在某些场景下有着极其优越的表现，但是不代表它在所有场景下都能提供同样的反馈。在充分落地前，医疗人员、科学家、研究人员、大模型企业等应该尽快开展相关研究，以评估其在哪些场景下可以最大化发挥价值，又如何使风险最小化，并确保在有人监督的情况下使用它。除此之外，在责任和伦理问题上也需要做好充分的准备，比如未来若是模型犯错，谁来担责？无论技术多么强大，还是要遵循医疗的本质，一切都只是刚刚开始…本文部分图表及信息来源于浙商证券研究所、华泰研究、动脉网等
