近日，國際期刊《自然·醫(yī)學》（Nature Medicine）刊登文章，介紹了全球首個面向糖尿病診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng)DeepDR- LLM。這是上海交通大學醫(yī)學院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團隊與上海交通大學計算機科學與工程系/人工智能教育部重點實驗室盛斌教授團隊，攜手清華大學黃天蔭教授團隊和新加坡國立大學覃宇宗教授團隊，通過醫(yī)工交叉合作產出的研究成果。
該研究得到科技部國家重點研發(fā)計劃、國家自然科學基金和上海市科委“一帶一路”國際聯合實驗室建設項目等資助。
□ 特約記者 陳煥華
數字解決方案賦能基層醫(yī)療
全球糖尿病患者人數預計超5億，其中80%生活在中低收入國家。糖尿病防治形勢嚴峻，基層醫(yī)生的數量和經驗遠不能滿足糖尿病管理的實際需求。糖尿病患病率的不斷上升對中國及全球的公共衛(wèi)生構成重大挑戰(zhàn)，亟須構建糖尿病一體化管理的適宜型數字解決方案，賦能基層醫(yī)療。
人工智能特別是深度學習技術在糖尿病及并發(fā)癥管理領域發(fā)揮著越來越重要的作用。早在2017年，時任新加坡國家眼科中心醫(yī)學主任的黃天蔭教授及其團隊，在國際上率先基于深度學習算法在多種族人群中實現了自動診斷中重度糖尿病視網膜病變（DR）。相關研究成果發(fā)表在《美國醫(yī)學會雜志》（JAMA）上。
2015年以來，賈偉平教授組織多學科團隊開展了20萬人糖尿病眼病篩查項目。2018年，賈偉平教授和李華婷教授團隊與上海交通大學盛斌教授團隊開展醫(yī)工交叉協(xié)同創(chuàng)新，攜手新加坡國家眼科中心等機構，在上海市科委和上海交通大學支持下，獲批組建上海市代謝相關疾病智慧防控“一帶一路”國際聯合實驗室，致力于在代謝相關疾病防治領域開展廣泛醫(yī)工交叉和國際合作。
聯合實驗室自建立以來，成功研制了遷移強化的多任務深度學習系統(tǒng)DeepDR，可實現對糖尿病視網膜病變從輕度到增殖期病變的全病程自動診斷，并能實現對眼底圖像質量的實時反饋，以及眼底病變的識別分割。相關成果于2021年在國際期刊《自然·通訊》（Nature Communications）上發(fā)表。該系統(tǒng)還被國際糖尿病聯盟應用于“全球中低收入國家糖尿病視網膜病變篩查項目”，推廣至48個國家。
2021年底，黃天蔭教授受聘于清華大學擔任講席教授及醫(yī)學學科帶頭人，積極開展人工智能賦能糖尿病及眼病并發(fā)癥診療的轉化研究工作?！耙粠б宦贰眹H聯合實驗室與黃天蔭教授團隊持續(xù)合作，成功構建基于Weibull混合分布模型的深度學習系統(tǒng)DeepDR Plus，在全球率先實現長達5年的糖尿病視網膜病變進展風險預警和進展預測，超越了此前由美國谷歌公司擁有的該領域相關技術。
DeepDR Plus可在大幅降低篩查頻率和公共衛(wèi)生成本的情況下依然保持極低的漏診率。相關成果于2024年1月在國際期刊《自然·醫(yī)學》（Nature Medicine）上發(fā)表。
“一站式”生成精準診治意見
既往的人工智能系統(tǒng)研發(fā)主要集中在糖尿病并發(fā)癥篩查或輔助管理的單一領域。隨著全球范圍內以ChatGPT為代表的生成式人工智能技術的迅猛發(fā)展，多模態(tài)大模型正不斷推動醫(yī)療領域的新應用場景和模式的涌現，但這些模型尚不能根據患者的醫(yī)學影像和具體病情，提供準確且安全的糖尿病綜合診療建議。
如何將糖尿病并發(fā)癥的精準診斷與糖尿病診療意見的自動生成進行有效整合，構建出一個安全可控的多模態(tài)智能模型，以支持基層醫(yī)生提供一站式輔助診療服務，已成為國際醫(yī)療領域的前沿課題和重大挑戰(zhàn)。
針對當前的技術空白和臨床實際需求，研究人員再次成功研發(fā)了全球首個面向糖尿病基層診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng)DeepDR-LLM。該系統(tǒng)突破了低算力資源約束下的多模態(tài)大模型優(yōu)化瓶頸，基于37.2萬條基層慢病診療和慢病管理數據完成高效優(yōu)化訓練，最終實現了根據患者的個體臨床信息即可生成精準糖尿病管理意見。與此同時，通過超50萬張眼底圖像訓練，DeepDR-LLM可精準實現眼底影像的質量檢測、病變分割和糖尿病視網膜病變診斷分級。
自2023年系統(tǒng)研制成功后，為了對DeepDR-LLM 開展安全性、可靠性、可控性、公平性等多維度評估，研究團隊邀請香港中文大學Juliana C. N. Chan教授、上海交通大學醫(yī)學院附屬第六人民醫(yī)院包玉倩教授，以及澳大利亞、美國、新加坡的多位糖尿病相關學者組成國際多學科專家委員會。
專家委員會從中國糖尿病慢性并發(fā)癥研究隊列中隨機抽取100個病例樣本，并針對每個病例形成診療共識，以此為標準答案，接著對DeepDRLLM和基層醫(yī)生給出的診療意見進行盲法評分。結果發(fā)現，DeepDRLLM產出診療意見的質量達到或優(yōu)于基層醫(yī)生的水平。
6個國家的超50萬張?zhí)悄虿』颊哐鄣讏D像檢測顯示，DeepDRLLM對糖尿病視網膜病變的診斷能力達到專業(yè)眼科醫(yī)生水平。面向中國基層醫(yī)生和新加坡讀片人員的讀片試驗顯示，基層醫(yī)生在DeepDR-LLM的輔助下能夠更準確地判讀糖尿病視網膜病變。真實世界研究顯示，將DeepDR- LLM納入糖尿病診療流程，有助于新發(fā)糖尿病患者的自我管理，還可提高糖尿病視網膜病變患者的轉診依從性。
奏響糖尿病智能篩、防、治“三部曲”
DeepDR-LLM融合了大語言模型和深度學習技術優(yōu)勢，實現了醫(yī)學影像診斷與診療意見的多模態(tài)生成功能，能提供糖尿病視網膜病變輔助診斷結果及個性化糖尿病綜合管理意見。研究人員對該系統(tǒng)在7個國家的多中心隊列中進行了回顧性驗證，并針對中國基層醫(yī)療實際開展了前瞻性真實世界驗證，首次向全球提供了糖尿病醫(yī)療領域多模態(tài)大模型應用成效的高質量循證證據。相關研究證明，DeepDR-LLM有助于提高基層糖尿病管理水平，可為未來全球糖尿病管理提供全新的數字解決方案。
研究團隊秉承以人為本、智能向善理念，通過醫(yī)工交叉和國內外學術合作，先后奏響了糖尿病智能篩、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），為糖尿病管理提供了新的高質量循證證據。一系列研究不僅推動了“一帶一路”及中低收入國家和地區(qū)的基層糖尿病管理模式的持續(xù)進步，還為全球糖尿病防治更好地融入數字化、智能化、綠色化潮流貢獻了中國方案和亞洲智慧。