医疗垂直大模型的探索与实践：从原理到应用

作者：吴及

单位：清华大学电子工程系

大语言模型实际上是一个“大规模生成式预训练语言模型”，其核心目标是通过数学与工程方法探寻人类语言规律，进而实现对文本的理解与生成。这一技术的底层逻辑，源于对人类语言“路径依赖”特性的捕捉——当人们表达时，前文的内容会对后文形成约束（例如“今天天气”后接的内容必然与天气相关），而模型正是通过学习这种约束关系完成对“下一个字符”的预测。

传统语言模型基于N元文法构建，受限于训练数据规模与计算能力，仅能基于较短的文本历史（如前2～3个词）预测后续内容，准确率有限。而大语言模型通过全新的网络架构实现了“尺度定律（Scaling Laws）”：模型规模（参数）、训练数据量、计算量的持续增长，预测误差（loss）就会持续下降。训练规模越大，考察的历史越长，下一个词预测的越准！具体而言，当数据量、模型参数或计算量扩大时，模型能有效利用更长的文本历史，对后续内容的预测精度显著提升。例如，ChatGPT支持处理文本历史的长度为8K token，而GPT-4可以处理32K token甚至更长，相当于完整“记住”一段对话过程或者一篇文章，然后再预测下一个字符，这使其能更有效地完成问答、写作、编程等复杂任务。

为了训练大型语言模型，我们需要先明确其训练逻辑：传统语言模型规模受限的核心原因之一是训练数据量不足，而大型语言模型的训练则需依托海量数据——即便覆盖互联网级别的数据，有时仍会面临数据量的挑战。那么，训练这类复杂模型的应用价值何在？实际上，它能支撑多样化的任务场景，包括文章生成、问答交互、图文转换乃至视频相关处理等。从任务存的共性来看，这些均可以统一归纳为“Next Token Prediction（预测下一个字符）”这一基础形式。无论是问答、写作、翻译，还是选择题解答等，本质上都是模型通过持续预测下一个字符完成任务的过程。也正因如此，大型语言模型具备了任务通用性的基础。这一特性也解释了“生成式人工智能”的核心优势——它能通过字符生成能力覆盖各类任务需求，使得原本专注于语言研究的工具突破了场景限制，成为通用性工具。

进一步来看，大型语言模型的能力边界还源于其知识积累逻辑：传统语言研究通过分析语料总结语言规律（语法、语义等），而大型语言模型在海量数据（甚至可覆盖整个互联网信息）的训练中，不仅掌握了语言规律，更沉淀了海量的世界知识。这种“大规模知识储备+语言规律掌握”的双重能力，正是其能够广泛响应各类问题、处理多样任务的根本原因。其核心竞争力，本质上源于对超大规模数据的学习与内化。

大规模语言模型的一个重要特性，可通过与传统机器学习模型的对比得以清晰体现：传统机器学习模型多为单任务导向。例如，在医学领域的应用中，一个模型通常仅针对某一特定任务（如疾病诊断辅助、医学影像分析等）设计。这类模型存在一个显著局限：当需要学习新能力时，容易出现“灾难性遗忘”现象，即新能力的习得可能导致原有能力的丧失。这一特性与人类智能存在明显差异，因此，解决“灾难性遗忘”问题一直是人工智能研究的重要方向。而大规模语言模型的出现为这一问题提供了突破口：当模型规模达到足够量级时，就能够在同一模型框架实现对对多种任务的支持。这种能力的形成，与“预训练”这一核心训练方式密切相关。预训练阶段不仅要求模型通过海量语料学习基础能力，还需通过大量任务练习（类似人类通过习题巩固知识的过程）提升对不同领域知识的利用能力，最终实现多任务处理能力的构建。

我们来探讨当前大模型所具备的深度思考能力。这一概念的提出，源于丹尼尔・卡尼曼的相关理论。他在研究中指出，人类的思考系统可分为两个部分，即“快系统”与“慢系统”。其中，快系统是一种基于直觉的即时响应机制，能让人在短时间内做出快速决策；而慢系统则是调动各类知识进行分析、思考后形成决策的过程，可助力人们做出理性判断。对于生命体而言，这两种思考能力缺一不可。如今，大模型的发展也正朝着模拟人类这两种思考系统的方向迈进。以实际应用为例，当我们让大模型解决复杂问题时，若觉得其表现不佳，可采用“思维链（Chain-of-Thought）”的方式来提升效果，也就是向模型清晰告知解决问题的步骤与逻辑，模型遵循这些指令序列后，往往能更准确地解决问题，性能也会显著提升。这正是大模型深度思考能力的一种体现。而DeepSeek这种大模型的一个重要特性就是能够自动构建思维链。在使用DeepSeek时，你会看到其输出内容中出现大量灰色文字，这便是它构建思维链的过程。在完成思维链的构建后，它会依据这一逻辑链条来回答问题，因此呈现出的答案往往更为完善。

综上而言，大模型的核心能力可概括为四个基本特征：①通过大规模数据训练，它能够掌握知识以及知识间的关联；②依托生成式机制（即持续预测并生成下一个字符），具备了应对各类任务的通用能力；③借助预训练模式，实现了多任务处理与任务泛化能力；④凭借思维链技术，其深度思考能力得以支撑复杂问题的解决。这些特征构成了我们对大模型的基础认知框架。掌握这些要点后，当我们在未来使用大模型的过程中遇到问题时，或许能从底层逻辑层面获得更清晰的理解，进而更高效地运用大模型。

1. 医疗垂直大模型的测试

尽管基础模型及专为医疗场景训练的模型性能强劲，但它们在解决医疗相关问题时，是否足够可靠？是否会面临潜在挑战？我们能团队自2023年下半年起至2024年逐步开展了一系列针对大模型技术的测试工作。在这一过程中，我们深刻体会到大模型的测试是一项极具难度的任务。在传统研究中，通常只需定义数据集（甚至通过RCT等方式），便可完成测试并得出结果。但大模型截然不同，它具备多任务处理能力，适用范围极广，且在训练过程中接触过海量数据，这使得对其能力的全面测试变得异常复杂。形象地说，任何一个大模型都有可能“自证”为性能第一，因为总能找到某个特定测试集，使其在该测试集上的表现优于其他模型。因此，仅通过简单的性能测试方式，并不足以全面、客观地反映大模型的真实性能。基于此，我们设计了一些实验用于验证大模型性能表现上的一些特点，下面为大家展示相关案例。

第一项实验聚焦于大模型医学知识理解能力评测，研究大模型对同一医学知识不同表述形式的理解能力。将知识库中的每个知识点，基于谓词逻辑转换动态生成多个陈述，测试对知识的综合理解能力。以“服用核黄素四丁酸酯可辅助治疗核黄素缺乏症”这一医学命题为对象，基于逻辑规则，构造原命题及其否命题（如“核黄素四丁酸酯缺乏缓解核黄素缺乏症的能力”），并将二者作为测试问题输入大模型。从逻辑来看，原命题与对应否命题存在互斥关系，理论上应一真一假。但在实测中，大模型存在同时判定二者为真的情况。这揭示出关键问题：大模型的推理逻辑与人类存在本质差异，人类基于逻辑规则自然具备的演算、判断能力，无法直接等同于大模型的知识处理能力，使用时需正视这种能力边界，避免默认其具备与人类一致的逻辑推导机制。

第二项实验是对大模型医学知识应用能力评测实验，基于同一知识点，生成不同类型题目，测试模型在不同能力方面（比较、鉴别、判断、订正）上运用医学知识的能力。类比教学场景中教师通过多样化题型检验学生知识掌握度的逻辑：教师授课后，为考察学生对知识点的掌握情况，会依据知识点特性设计差异化题型（如填空题、选择题、判断题、问答题等）。若学生真正掌握知识，应能跨题型正确解答。而对大模型的测试显示，针对同一医学知识点，采用不同问答形式（如填空题、选择题、判断题等）训练或测试时，大模型存在“填空题做对、选择题做错”等表现分歧。这表明大模型运用医学知识解决问题时，结果不仅关联知识内容本身，还受知识呈现形式（题型）影响。究其根源，当前基于语料的大模型训练模式未充分赋予模型跨形式灵活运用知识的能力，因此也凸显出优化训练策略、提升模型知识泛化应用水平的必要性。

第三项实验聚焦大模型临床诊疗决策能力评测。将患者主诉、现病史、既往史等信息输入大模型并要求其诊断，初看结果或许正确，但需深究：大模型是否真正基于对关键诊断因素的理解给出结果？在临床诊疗场景中，病历中的年龄、性别、症状、检验/检查等信息可分为关键与非关键两类。关键信息是指其变动会引发诊断结果改变的信息；非关键信息变动则不应影响诊断。然而对大模型的测试显示，扰动关键信息（如删除、调换）时，诊断结果未按逻辑改变；扰动非关键信息时，结果反倒出现异动。这表明，大模型虽可能输出表面正确的诊断，实则未精准识别、理解支撑诊断的关键因素，尚未真正掌握临床诊疗决策的核心逻辑。

通过上述医学知识理解、应用及临床诊疗决策能力三个维度的评测实验，我们可以清晰洞察大模型在知识处理与实际应用中存在的能力缺陷，为后续优化模型、提升其医学场景适用性提供了明确方向。

2. 医疗垂直大模型的训练优化

在医疗垂直领域大模型的训练探索中，我们关注能否通过引入更丰富的医学数据（涵盖医学语料、病例数据，以及专家共识、临床指南等），提升其医学场景表现。研究发现一个有趣的规律：利用这类医学数据训练时，大模型对“医生表达风格”的学习门槛较低，少量数据输入后，便能在语言形式上贴近临床表述；但对“医学知识本质内容”的掌握则面临显著挑战。若要提升输出内容的准确性，让模型真正理解、运用医学知识精髓，需投入海量数据、语料，以及更长的训练周期。这一现象也揭示：大模型模仿医疗场景的“表面形式”相对容易，而深入掌握医学知识的“核心逻辑”，仍需突破数据与训练策略的多重壁垒。

3. 大模型的幻觉

大模型的幻觉可细分为三类：

（1）事实性问题(Factuality)：①事实性错误：模型回答与已知常识、事实相悖。例如：错误陈述“加拿大首都是多伦多”(实际为渥太华); ②事实性虚构: 虚构在真实世界无法验证的内容, 例如“独角兽起源”, 此类信息无从考证。

（2）忠诚度问题（Faithfulness）：①违背指令：指模型未遵循用户指令（如要求输出100字，却给出长篇内容）；②违背上文：模型回答与给定上下文（如检索提供的参考信息）存在矛盾。

（3）自我矛盾（Self-Contradiction）：模型输出长篇内容时，内部逻辑出现冲突，多步推理过程中呈现前后矛盾的结论。

此类幻觉是大模型应用中难以规避却又必须应对的挑战。专业人员尚可识别模型幻觉，但普通用户往往缺乏这种辨别能力，易引发风险。当前技术手段虽然能一定程度减少幻觉，然而大模型基于生成式机制的本质，决定其难以彻底消除幻觉，仅能降低发生概率。

4. 医疗场景大模型应用验证

我们也参与了中日友好医院詹庆元教授团队项目，选取真实呼吸危重症病例，依托大模型开展病因诊断，并由团队专业医生从“非常合理、较为合理、不合理、完全不合理”等维度评估。结果显示，大模型诊断综合评分仅2.45/5，远未达到临床可用标准。这表明，面对专业复杂的医疗诊断场景，大模型距离输出有效结果仍有显著的差距，医疗垂直领域的模型优化与应用落地，仍需投入大量研究与实践工作。

医学多模态大模型目前主要聚焦于视觉和语言模态，因此又称为医学视觉-语言大模型（Medical LVLMs）。其仍是以大语言模型为核心基础，通过编码器将文本、影像等异构数据映射至统一“语域空间”，并开展对齐训练，构建文本与影像间的关联映射。

我们发布的开源多模态大模型框架，支持2D医学影像及3D（CT）等多维数据处理。在报告自动生成、医学视觉问答等典型任务中，该框架可输出更优性能，通过编码-对齐-交互的技术路径，实现多模态数据的有效融合与应用。

我们与北京大学第三医院放射科合作，基于膝关节MRI影像及报告数据，训练面向膝关节核磁影像的多模态大模型。模型可对膝关节核磁影像反映的病情进行诊断标签识别，借助24张序列影像中定位病变部位，输出可视化映射结果。依托大规模膝关节报告数据，模型自动生成报告质量较高。为保障临床可用性，对生成文本进行置信度着色标记：绿色表示输出可靠，红色提示结果存疑需重点审核。该模式期望为影像科医生出具报告提供辅助支持，通过人机协同机制，优化诊疗流程。

总体而言，在大模型领域，通用模型与垂类模型在未来较长时期内将保持共存态势。面向普通民众的日常使用场景，通用模型可满足基础需求；而针对专业领域的特定问题，由于其高度专业性，训练过程中往往难以获取该领域大规模、高质量的训练数据，也难以构建适配的训练任务，仅依靠通用模型仍难以应用需求。因此特定领域的专业知识，以及与应用场景紧密关联的高质量数据，将助力垂类大模型在特定领域构建更精准、更适配实际需求的能力。大模型作为新一代人工智能的前沿技术，已展现出强大能力，但在实际应用特别市专用场景中也暴露出诸多问题，这使其成为极具探索价值的重要方向。

作者介绍

吴及教授

清华大学电子工程系长聘教授、人工智能学院兼聘教授，清华大学精准医学研究院临床大数据中心共同主任，入选国家级领军人才，承担国家重点研发计划、863国家自然科学基金、工信部电子发展基金等多项国家科研项目；在Nature Communications, IEEE TASLP, MedIA, NeurIPS, ACL, AAAI, WWW等重要学术期刊和学术会议上发表论文200余篇；主要从事人工智能、机器学习、自然语言处理、模式识别、数据挖掘等领域的研究工作，从2006起担任清华-讯飞联合研究中心主任。