【Nature子刊】皮肤诊断“智能”升级：阿卜杜拉国王科技大学团队引入多模态大语言模型

2024年7月5日， 阿卜杜拉国王科技大学Gao Xin团队在期刊《Nature Communications》上发表了题为“Pre-trained multimodal large language model enhances dermatological diagnosis using SkinGPT-4”的研究论文。SkinGPT-4可以在改善全球患者获得医疗保健和提高医疗服务质量方面，发挥关键作用。必须强调的是，没有一个人工智能系统是万无一失的。因此，SkinGPT-4 并非旨在取代皮肤科医生，而是作为一种不断发展和优化的工具，充当促进患者和医生之间沟通的助手。

https://www.nature.com/articles/s41467-024-50043-3

研究背景

01

皮肤和皮下疾病是全球非致命性疾病负担的第四大原因，影响相当大比例的人，所有年龄和地区的患病率从30%到70%不等。然而，皮肤科医生一直供不应求，尤其是在农村地区，咨询费用也在上升。因此，诊断的责任，往往落在非专业人员身上，如初级保健医生、执业护士和医师助理，他们的知识和培训可能有限，从而导致诊断准确性低。为了扩大医疗专业人员可用的服务范围，远程皮肤病学的使用，已经变得非常流行。这涉及传输受影响皮肤区域的数字图像（通常使用数码相机或智能手机拍摄），以及从用户到皮肤科医生的其他相关医疗信息。然后，皮肤科医生远程审查病例，并就诊断、病情检查、治疗和随访建议提出建议。尽管如此，皮肤病学诊断领域，仍面临三个重大障碍。首先，缺乏可以诊断患者的皮肤科医生，尤其是在农村地区。其次，准确解读皮肤病图像，是一项相当大的挑战。最后，对于皮肤科医生来说，生成对患者友好的诊断报告，通常是一项耗时且劳动密集型的任务。

技术的进步，导致了各种工具和技术的发展，以帮助皮肤科医生进行诊断。例如，深度学习（DL）的最新进展，使人工智能（AI）工具的开发成为可能，以帮助从图像中诊断皮肤疾病。大多数研究，主要集中在通过皮肤镜图像识别皮肤病变。然而，皮肤镜检查，通常不容易在皮肤科诊所之外获得。一些研究探索了皮肤癌临床照片的使用，然而，这些方法是为特定的诊断目标量身定制的分类任务，其方法仍然需要皮肤科医生进一步分析，以发布报告并做出临床决策。这些方法无法以自然语言自动生成详细报告，也无法与患者进行交互式对话。目前，还没有这样的诊断系统，可供用户自主提交数据，通过交互式分析，生成易于理解的文本报告和图像，来自我诊断皮肤状况。

受当前最先进的多模态大型语言模型的启发，团队推出了SkinGPT-4，这是一个基于多模态大型语言模型的交互式皮肤病学诊断系统。SkinGPT-4在两个方面带来了创新。首先，SkinGPT-4是一个与Llama-2-13b-chat对齐的多模态大型语言模型。其次，SkinGPT-4是专为皮肤病诊断而设计的多模态大型语言模型。借助SkinGPT-4，用户可以上传自己的皮肤照片进行诊断。该系统自主评估图像，识别皮肤状况的特征和类别，进行深入分析，并提供交互式治疗建议。同时，SkinGPT-4的本地部署能力和对用户隐私的承诺，也使其成为寻求可靠和精确诊断皮肤病的患者的有吸引力的选择。为了证明SkinGPT-4的稳健性，团队对150个真实病例进行了定量评估，这些病例由董事会认证的皮肤科医生独立审查。结果显示，SkinGPT-4始终如一地提供皮肤病的准确诊断。虽然SkinGPT-4不能替代医生，但它极大地增强了用户对其医疗状况的理解，促进了患者与医生之间的沟通，加快了皮肤科医生的诊断过程，促进了分级诊疗，并有可能促进“以人为本”的护理和医疗保健公平，尤其是在服务不足的地区。综上所述，SkinGPT-4代表了大语言模型时代，皮肤病诊断领域的一次重大飞跃，也是对医学诊断中，多模态大语言模型的一次有价值的探索。

SkinGPT-4的插图

研究进展

02

SkinGPT-4的交互式、信息丰富，且易于理解的

皮肤病学诊断

SkinGPT-4为患者和皮肤科医生带来了众多优势。一个显著的好处，在于它利用了专门针对皮肤病量身定制的全面和值得信赖的医学知识。这使得SkinGPT-4能够提供皮肤病的交互式诊断、解释和建议，其对MiniGPT-4提出了挑战。与缺乏相关医学知识和特定领域适应训练的MiniGPT-4不同，SkinGPT-4克服了这一限制，提高了其在皮肤病学领域的熟练程度。为了证明SkinGPT-4相对于MiniGPT-4的优势，团队展示了两个交互式诊断的真实示例。

对于光化性角化病病例，MiniGPT-4识别出小肿块和红色肿块等特征，并错误地将皮肤病诊断为痤疮；而SkinGPT-4识别出斑块、结节、脓疱和疤痕等特征，并将皮肤病诊断为光化性角化病，这是一种因长时间暴露在太阳紫外线（UV）下而引起的常见皮肤病。在互动对话中，SkinGPT-4还建议，导致皮肤病的原因是阳光照射，这也得到了董事会认证的皮肤科医生的验证。以指尖湿疹为例，MiniGPT-4识别了一些特征，如裂缝和皮肤剥落，但无法准确诊断病情，并将皮肤病的原因，归咎于干燥的天气和过度洗手。相比之下，SkinGPT-4将皮肤病的特征，确定为皮肤干燥、瘙痒和片状，并将皮肤病的类型诊断为指尖湿疹，这也得到了董事会认证的皮肤科医生的验证。

总之，缺乏皮肤病学知识和特定领域的适应，对MiniGPT-4在实现准确的皮肤病学诊断方面，构成了重大的挑战。相比之下，SkinGPT-4成功准确地识别了图像中显示的皮肤病特征。它不仅提出了潜在的疾病类型，还为潜在的治疗方法提供了建议。这进一步凸显了，领域特异性对于SkinGPT-4进行皮肤病学诊断，至关重要。

董事会认证的皮肤科医生对SkinGPT-4的临床评估

为了评估SkinGPT-4的可靠性和稳健性，团队进行了一项涉及大量真实案例的综合研究，并将其诊断，与董事会认证的皮肤科医生的诊断进行了比较。结果表明，SkinGPT-4始终提供准确的诊断，与董事会认证的皮肤科医生的诊断一致。

在150例病例中，很大一部分SkinGPT-4的诊断（80.63%） ，被董事会认证的皮肤科医生，评估为正确或相关。该评价包括非常同意（75.00%）和同意（5.63%）。此外，SkinGPT-4对疾病原因和潜在治疗方法的回答，被医生认为是有益的（82.50%）和有用的（85.63%）。SkinGPT-4被证明，是医生诊断过程中的宝贵工具（87.50%），患者可以更好地了解他们的疾病 （83.70%）。SkinGPT-4支持本地部署、保障用户隐私的能力，获得高认同度（92.50%），进一步提升了SkinGPT-4的使用意愿（77.50%）。

总体而言，SkinGPT-4提供可靠的诊断，帮助医生进行诊断过程，促进患者理解，并优先考虑用户隐私，使其成为皮肤病学领域的宝贵资产。

SkinGPT-4、SkinGPT-4（仅限第 1 步）、SkinGPT-4（仅限第 2 步）、MiniGPT-4和皮肤科医生生成的诊断。

SkinGPT-4 充当全天候待命的家庭医生

与通常需要等待几分钟，才能得到回复的皮肤科医生在线咨询；或通常需要等待数周，才能预约的皮肤科医生面对面咨询相比，SkinGPT-4提供了几个优势。首先，它可以全天候使用，确保患者不断获得医疗建议。此外，SkinGPT-4提供快速的响应时间，通常在几秒钟内。这使其成为需要在正常办公时间之外，立即诊断的患者的快速便捷的选择。

SkinGPT-4提供初步诊断的能力，使患者能够就寻求面对面的医疗护理，做出明智的决定。此功能有助于减少不必要的医生办公室就诊，为患者节省时间和金钱。在农村地区或皮肤科医生稀缺的地区，改善医疗保健可及性的潜力，尤为重要。在这些地区，患者经常面临漫长的等待时间，或者必须长途跋涉，才能去看皮肤科医生。通过利用SkinGPT-4，患者可以快速方便地获得初步诊断，从而减少面对面就诊的需求，并减轻这些服务欠缺地区的医疗保健系统的压力。

SkinGPT-4诊断的一致性

GPT倾向于根据概率，以各种格式生成结果，因此，必须仔细考虑，与AI生成内容相关的风险和一致性，尤其在医学诊断方面。为了证明SkinGPT-4结果的一致性，团队随机选择了45个样本（每个类别5个）。对于每个样本，团队进行了10次独立诊断。SkinGPT-4在同一图上，做出的诊断一致，一致性比为93.73%。对于不一致的情况，董事会认证的皮肤科医生，可以观察到多种可能的皮肤类型的特征。例如，良性肿瘤很容易与黑色素瘤皮肤癌混淆。总体而言，SkinGPT-4的诊断，是一致且可靠的。

董事会认证的线下和在线皮肤科医生对SkinGPT-4的临床评估。

研究结论

03

团队的研究展示了在LLM中利用视觉输入，来增强皮肤病学诊断的潜力。随着GPT-4等更高级LLM的发布，诊断的准确性和质量，可以进一步提高。但是，必须解决与使用ChatGPT和GPT-4等LLM，作为API相关的潜在隐私问题。因为它需要用户上传他们的私人数据。相比之下，SkinGPT-4为这个隐私问题，提供了解决方案。通过允许用户在本地部署模型，可以有效地解决有关数据隐私的担忧。用户可以在自己的系统范围内，自主使用 SkinGPT-4，确保其个人信息的安全性和私密性。

在现实世界中部署SkinGPT-4，可能会带来潜在的挑战，特别是由于患者提交的图像的可变性。导致这种差异的因素，包括智能手机摄像头质量的差异、图像前处理和后处理的变化、不同的角度和不同的照明条件。此外，解决皮肤病的不同严重程度，是另一个挑战。在SkinGPT-4的训练过程中，科学界缺乏使模型能够准确识别皮肤病严重程度，所需的具体数据。SkinGPT-4在呈现不同角度、照明条件、像素密度和分辨率下拍摄的皮肤病图像时，仍然表现出强大且可接受的性能。

复杂皮肤病的诊断，对SkinGPT-4提出了额外的挑战。在实践中，复杂的皮肤病经常发生，包括表现出多种特征的皮肤病组合。目前，缺乏包含多标签皮肤病图像，以及相应皮肤科医生诊断的数据集。解决这一数据缺口，是未来将SkinGPT-4应用于复杂皮肤病诊断的关键点。

目前对Fitzpatrick V-VI（深色肤色）的研究相对有限，与对浅色皮肤的疗效相比，最先进的皮肤病学AI算法，对深色皮肤病变的性能明显逊色，尤其是在活检证实的情况下。主要挑战来自某些深色皮肤病的早期特征不太明显，导致诊断更具挑战性。因此，肤色较深的人通常会在后期接受诊断，从而导致发病率、死亡率和相关费用增加。使该问题更加复杂的，是Fitzpatrick V-VI数据的稀缺性。为了解决这一局限性，未来的研究工作，将涉及系统地收集Fitzpatrick V-VI数据和SkinGPT-4的有针对性训练，以增强其对Fitzpatrick V-VI患者的诊断能力。

随着SkinGPT-4等基于LLM的应用程序，获取更可靠的医疗培训数据，而不断发展和改进，在线医疗服务取得重大进步的潜力是巨大的。SkinGPT-4可以在改善全球患者获得医疗保健和提高医疗服务质量方面，发挥关键作用。必须强调的是，没有一个人工智能系统，是万无一失，或者完全没有错误信息和误诊。因此，SkinGPT-4并非旨在取代皮肤科医生，而是作为一种不断发展和优化的工具，充当促进患者和医生之间沟通的助手。团队对SkinGPT-4的期望，是为患者提供更多关于皮肤病的信息，同时也在诊断过程中，为医生提供宝贵的帮助。因此，团队在软件页面上，包含了明确的免责声明和指南，强调遵守医疗建议的重要性，并强烈建议咨询合格的医生，以获得具体的诊断结果。这些预防措施，旨在鼓励患者负责任地使用SkinGPT-4，并确保用户理解软件在医疗环境中的局限性。团队将继续在这一领域进行研究，以进一步开发和完善这项技术。