近日，中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院研究團(tuán)隊(duì)開(kāi)發(fā)出新型AI醫(yī)療診斷系統(tǒng)MultiXpert。該系統(tǒng)能夠在“零樣本”條件下對(duì)胸片進(jìn)行智能診斷，無(wú)需任何標(biāo)注數(shù)據(jù)，甚至可識(shí)別出從未見(jiàn)過(guò)的疾病，使AI具備更接近醫(yī)生診斷思維的能力。

　　胸片是臨床常用的影像學(xué)檢查手段之一，但人工判讀耗時(shí)且依賴(lài)專(zhuān)家經(jīng)驗(yàn)。傳統(tǒng)AI系統(tǒng)在一些任務(wù)上能夠媲美專(zhuān)家，卻依賴(lài)大量人工標(biāo)注數(shù)據(jù)，難以應(yīng)對(duì)新發(fā)疾病或不同醫(yī)院之間的數(shù)據(jù)差異，導(dǎo)致模型泛化能力有限，無(wú)法滿(mǎn)足復(fù)雜臨床環(huán)境下精準(zhǔn)診斷的需求。

　　研究團(tuán)隊(duì)提出了多模態(tài)雙流協(xié)同增強(qiáng)的新思路，構(gòu)建了無(wú)需額外標(biāo)注數(shù)據(jù)即可實(shí)現(xiàn)零樣本高精度診斷的胸片智能分析系統(tǒng)。該系統(tǒng)能夠同時(shí)處理圖像與文字信息，并利用大語(yǔ)言模型和放射科專(zhuān)家知識(shí)優(yōu)化病灶描述，實(shí)現(xiàn)圖像與語(yǔ)言的深度融合。這一成果讓AI在未見(jiàn)疾病中也能“看懂”胸片，其思考邏輯更趨近于專(zhuān)業(yè)醫(yī)生的水平。

　　在圖像分支中，通過(guò)引入病灶感知掩碼機(jī)制，MultiXpert能夠在無(wú)顯式標(biāo)注情況下提升對(duì)潛在病灶的特征表達(dá)能力；通過(guò)分層記憶矩陣實(shí)現(xiàn)全局解剖信息與局部病灶特征的動(dòng)態(tài)平衡，提升模型對(duì)復(fù)雜影像的結(jié)構(gòu)化理解能力。在文本分支中，聯(lián)合大語(yǔ)言模型與臨床專(zhuān)家知識(shí)，MultiXpert能夠?qū)膊∶枋鲞M(jìn)行語(yǔ)義校準(zhǔn)與結(jié)構(gòu)化重構(gòu)，生成同時(shí)具備解剖精準(zhǔn)性與臨床標(biāo)準(zhǔn)化的病理描述文本，增強(qiáng)醫(yī)學(xué)語(yǔ)義的表達(dá)一致性。通過(guò)跨模態(tài)語(yǔ)義對(duì)齊模塊實(shí)現(xiàn)多粒度信息的互補(bǔ)融合，提升了模型在零樣本條件下的病灶識(shí)別與診斷性能。實(shí)驗(yàn)結(jié)果顯示，MultiXpert在四個(gè)單標(biāo)簽公共數(shù)據(jù)集上平均AUC提升達(dá)7.5%，在零樣本場(chǎng)景下較主流視覺(jué)語(yǔ)言模型平均提升3.9%。

　　這一研究為胸片零樣本智能診斷提供了新的技術(shù)路徑，為醫(yī)學(xué)AI從“依賴(lài)標(biāo)注”邁向“自主理解”提供了新范式。

　　相關(guān)研究成果發(fā)表在Information Processing and Management上。研究工作得到國(guó)家自然科學(xué)基金等的支持。

多模態(tài)雙流協(xié)同增強(qiáng)模型MultiXpert結(jié)構(gòu)示意圖