近日，中國科學(xué)院合肥物質(zhì)科學(xué)研究院研究團(tuán)隊(duì)開發(fā)出新型AI醫(yī)療診斷系統(tǒng)MultiXpert。該系統(tǒng)能夠在“零樣本”條件下對胸片進(jìn)行智能診斷，無需任何標(biāo)注數(shù)據(jù)，甚至可識別出從未見過的疾病，使AI具備更接近醫(yī)生診斷思維的能力。

　　胸片是臨床常用的影像學(xué)檢查手段之一，但人工判讀耗時且依賴專家經(jīng)驗(yàn)。傳統(tǒng)AI系統(tǒng)在一些任務(wù)上能夠媲美專家，卻依賴大量人工標(biāo)注數(shù)據(jù)，難以應(yīng)對新發(fā)疾病或不同醫(yī)院之間的數(shù)據(jù)差異，導(dǎo)致模型泛化能力有限，無法滿足復(fù)雜臨床環(huán)境下精準(zhǔn)診斷的需求。

　　研究團(tuán)隊(duì)提出了多模態(tài)雙流協(xié)同增強(qiáng)的新思路，構(gòu)建了無需額外標(biāo)注數(shù)據(jù)即可實(shí)現(xiàn)零樣本高精度診斷的胸片智能分析系統(tǒng)。該系統(tǒng)能夠同時處理圖像與文字信息，并利用大語言模型和放射科專家知識優(yōu)化病灶描述，實(shí)現(xiàn)圖像與語言的深度融合。這一成果讓AI在未見疾病中也能“看懂”胸片，其思考邏輯更趨近于專業(yè)醫(yī)生的水平。

　　在圖像分支中，通過引入病灶感知掩碼機(jī)制，MultiXpert能夠在無顯式標(biāo)注情況下提升對潛在病灶的特征表達(dá)能力；通過分層記憶矩陣實(shí)現(xiàn)全局解剖信息與局部病灶特征的動態(tài)平衡，提升模型對復(fù)雜影像的結(jié)構(gòu)化理解能力。在文本分支中，聯(lián)合大語言模型與臨床專家知識，MultiXpert能夠?qū)膊∶枋鲞M(jìn)行語義校準(zhǔn)與結(jié)構(gòu)化重構(gòu)，生成同時具備解剖精準(zhǔn)性與臨床標(biāo)準(zhǔn)化的病理描述文本，增強(qiáng)醫(yī)學(xué)語義的表達(dá)一致性。通過跨模態(tài)語義對齊模塊實(shí)現(xiàn)多粒度信息的互補(bǔ)融合，提升了模型在零樣本條件下的病灶識別與診斷性能。實(shí)驗(yàn)結(jié)果顯示，MultiXpert在四個單標(biāo)簽公共數(shù)據(jù)集上平均AUC提升達(dá)7.5%，在零樣本場景下較主流視覺語言模型平均提升3.9%。

　　這一研究為胸片零樣本智能診斷提供了新的技術(shù)路徑，為醫(yī)學(xué)AI從“依賴標(biāo)注”邁向“自主理解”提供了新范式。

　　相關(guān)研究成果發(fā)表在Information Processing and Management上。研究工作得到國家自然科學(xué)基金等的支持。

多模態(tài)雙流協(xié)同增強(qiáng)模型MultiXpert結(jié)構(gòu)示意圖