語言是人類文明和社會(huì)進(jìn)步的重要載體，也是人與人之間溝通交流的主要形式。但腦卒中、漸凍癥等重大腦疾病可導(dǎo)致患者喪失語言表達(dá)能力，影響生活質(zhì)量，給社會(huì)和家庭帶來巨大負(fù)擔(dān)。語言腦機(jī)接口可重建語言功能障礙患者的溝通能力，有效改善其社會(huì)生活質(zhì)量。國際上，應(yīng)用腦機(jī)接口技術(shù)已突破英語語音和文字合成，但針對漢語解碼的腦機(jī)接口技術(shù)研究卻相對較少。

　　近日，中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所等，針對漢語解碼，開發(fā)出植入式高通量柔性腦機(jī)接口系統(tǒng)和漢語言實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)解碼算法，并在國際上首次實(shí)現(xiàn)腦機(jī)接口實(shí)時(shí)漢語解碼和語句合成。

　　相比于英語，漢語具有其獨(dú)特性。具體而言，英語是以多音節(jié)為主的非聲調(diào)語言，漢語則是以單音節(jié)為主的聲調(diào)語言。同時(shí)，英語詞匯量較大，常用英語單詞約為20000個(gè)，而漢語通過約400個(gè)漢語音節(jié)加4個(gè)聲調(diào)，可構(gòu)建出覆蓋日常需求的3500多個(gè)常用漢字。研究團(tuán)隊(duì)利用漢語本身優(yōu)勢，從約400個(gè)漢語音節(jié)和4個(gè)聲調(diào)入手，將其作為穩(wěn)定的中間解碼單元，實(shí)現(xiàn)從腦電到文字的“翻譯”，且通過解碼這些漢語音節(jié)和聲調(diào)，可外推至全部漢字。同時(shí)，解碼過程可同步采集漢語句子任務(wù)下的發(fā)音信號和高通量高質(zhì)量腦電信號。

　　研究團(tuán)隊(duì)通過構(gòu)建多級實(shí)時(shí)解碼數(shù)據(jù)流，以50毫秒滑動(dòng)窗口提取70Hz至170Hz的High-γ頻段腦電信號，并對齊腦電信號與發(fā)音起始點(diǎn)，驅(qū)動(dòng)雙流解碼器同步生成音節(jié)與聲調(diào)的概率分布，進(jìn)而融合語言模型進(jìn)行最合適的句子組合選擇，實(shí)現(xiàn)實(shí)時(shí)漢語語句輸出。研究顯示，受試者經(jīng)過9天的語言解碼任務(wù)后，394個(gè)漢語音節(jié)（解碼未覆蓋音節(jié)為生僻音節(jié)且受試者不認(rèn)識）純神經(jīng)解碼平均準(zhǔn)確率達(dá)到71.2%，單音節(jié)解碼延時(shí)65ms，實(shí)時(shí)漢語語句解碼速率達(dá)到49.6字/分鐘。

　　研究團(tuán)隊(duì)進(jìn)一步融合了語言腦機(jī)接口技術(shù)與人工智能和具身智能技術(shù)，并基于實(shí)時(shí)漢語解碼技術(shù)和自主研發(fā)的通用型腦機(jī)操作系統(tǒng)，使受試者實(shí)現(xiàn)了驅(qū)動(dòng)數(shù)字分身、對話人工智能大模型。同時(shí)，研究可將人的腦電解碼成語言，進(jìn)而轉(zhuǎn)化成指令，實(shí)時(shí)操控靈巧手，以實(shí)現(xiàn)人機(jī)交互。

　　相關(guān)研究成果發(fā)表在《科學(xué)進(jìn)展》（Science Advances）上。研究工作得到中國科學(xué)院、上海市等的支持。

實(shí)時(shí)漢語解碼腦機(jī)接口系統(tǒng)框架和電極貢獻(xiàn)度表征