基于實(shí)時功能磁共振成像的腦機(jī)交互自然圖像檢索技術(shù)研究.pdf

1、大腦是人體的知覺中心、思維中心和控制中心，針對大腦活動進(jìn)行成像的神經(jīng)影像學(xué)的飛速發(fā)展使人們得以讀取大腦的活動信號，極大地推動了神經(jīng)科學(xué)的進(jìn)步。尤其是功能磁共振成像技術(shù)（functional Magnetic Resonance Imaging,fMRI）出現(xiàn)之后，大腦功能活動成像空間分辨率大幅提高，使得對大腦復(fù)雜感知和認(rèn)知神經(jīng)活動的精確解讀成為可能。
　　視覺信息作為人類主要的信息來源，其解讀技術(shù)一直是腦科學(xué)的研究熱點(diǎn)?；趯?shí)時功

2、能磁共振成像（real time fMRI,rt-fMRI）的圖像檢索能夠直接利用腦活動信號還原出大腦所接收到的視覺信息，是現(xiàn)階段視覺信息解讀技術(shù)研究中最具挑戰(zhàn)性和最有吸引力的技術(shù)，在人腦視覺信息處理機(jī)制研究中占有顯著地位。
　　針對人腦接受自然圖片刺激時的視覺信息解讀問題，本文著重研究了融合初級和中級視覺特征編碼模型的圖像識別方法和基于卷積神經(jīng)網(wǎng)絡(luò)視覺編解碼模型的語義分類方法，并在此基礎(chǔ)上結(jié)合rt-fMRI腦機(jī)交互技術(shù)，構(gòu)建了基

3、于rt-fMRI的腦機(jī)交互自然圖像檢索系統(tǒng)。主要研究工作包括：
　　1.構(gòu)建了一種融合中級視覺特征字典的視覺編碼模型，并基于該模型實(shí)現(xiàn)了一種圖像識別方法。目前已有的視覺編碼模型通常將初級視覺皮層看作一個整體，強(qiáng)調(diào)對初級視覺特征的表征能力，而缺乏對處理中級視覺特征相關(guān)視覺區(qū)功能的模擬，影響了視覺編碼模型的準(zhǔn)確性。本文使用稀疏字典訓(xùn)練的方法構(gòu)造了針對斑點(diǎn)特征和角點(diǎn)特征的中級視覺特征字典，并使用該字典模擬大腦視覺區(qū)的信息處理方式，同時將

4、該字典與金字塔結(jié)構(gòu)Gabor小波模型相結(jié)合，構(gòu)建了融合初級和中級視覺特征的編碼模型。本文使用該優(yōu)化模型進(jìn)行了基于fMRI的圖像識別的實(shí)驗(yàn)，結(jié)果表明，優(yōu)化的視覺編碼模型能夠有效地表征特定的初級和中級視覺特征，提高圖像識別的準(zhǔn)確率。
　　2.提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)視覺編碼模型的語義分類方法。傳統(tǒng)的語義分類方法以fMRI中各體素獨(dú)立作用為假設(shè)，以單個體素在視覺刺激下激活的顯著水平作為其是否用于視覺語義分類特征的依據(jù)，但大腦fMRI體

5、素激活值的高低并不能直接反映該體素包含視覺語義信息的多少，這影響了視覺語義信息解讀的有效性。本文基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建語義相關(guān)視覺區(qū)域的編碼模型，利用語義相關(guān)特征相似性作為標(biāo)準(zhǔn)來進(jìn)行特征選擇，選擇出的體素在一定程度上能夠包含更多語義相關(guān)信息。四種語義的自然圖像的分類實(shí)驗(yàn)結(jié)果表明，該方法能有效地提高語義分類的準(zhǔn)確性。
　　3.提出了一種fMRI圖像檢索中的實(shí)時腦機(jī)交互策略，并構(gòu)建了一套基于rt-fMRI的腦機(jī)交互自然圖像檢索系統(tǒng)。該系