基于McGurk效應(yīng)的視聽雙通道整合機制——腦節(jié)律動態(tài)活動與腦區(qū)連接模式的研究.pdf

1、北京師范大學(xué)博士學(xué)位論丈基于McGurk效應(yīng)的視聽雙通道整合機制一一腦節(jié)律動態(tài)活動與腦區(qū)連接模式的研究摘要基于MOGurk效應(yīng)的視聽雙通道指的是視覺口形和聽覺聲音兩個通道的言語信息，整合意味著兩種通道同時出現(xiàn)的信息比單獨聽覺通道所傳遞的信息更快更準(zhǔn)確，即視覺口形所傳遞的言語信息有助于理解聽覺言語和消除歧義。整合是在什么階段發(fā)生，不同通道之間是如何交互作用，以及怎樣影響知覺，一直以來都是多通道知覺的研究熱點:而應(yīng)用什么方法，通過什么途徑能

2、更好地揭示這些問題，也是研究者關(guān)注的焦點。本研究通過改進的時頻表示方法，結(jié)合相位同步檢測和因果模型方法，刻畫不同腦節(jié)律的動態(tài)活動及其在特定腦區(qū)之間的相互作用，從腦節(jié)律和腦區(qū)連接的角度揭示視聽雙通道的整合機制。研究一通過考察視聽雙通道和單通道條件下腦節(jié)律的動態(tài)活動和腦區(qū)連接，發(fā)現(xiàn)當(dāng)視覺口形和聽覺聲音同時出現(xiàn)時，大腦的皮層活動發(fā)生了整合，這種整合在聲音刺激出現(xiàn)前，主要表現(xiàn)在p和丫節(jié)律活動的變化，這可能與發(fā)音器官的動作感知以及誘發(fā)的視覺Y活動

3、有關(guān)，但是與這兩種節(jié)律在特定腦區(qū)的同步活動關(guān)系不大:在聲音刺激出現(xiàn)后，a節(jié)律活動變化的差異，特別是在額葉、中央?yún)^(qū)、中頂部、穎葉的同步較為密集，說明聽覺皮層與整合皮層存在較強的相互作用，而且還可能與注意皮層有關(guān)此外a節(jié)律在聲音出現(xiàn)前的同步差異以及存在差異的腦區(qū)之間作用的方向、在各種通道條件下兩種不同音節(jié)的比較中發(fā)現(xiàn)的p節(jié)律的差異，都說明超前口形的加工在雙通道整合中對聽覺皮層神經(jīng)活動的直接影響。根據(jù)這些影響本研究假設(shè):超前變化的口形激活了視

4、覺和整合皮層，然后通過對發(fā)音動作的聲音編碼，即口形的預(yù)期，進而影響聽覺皮層的神經(jīng)活動。研究二通過對視聽一致刺激與聽覺偏差產(chǎn)生的McGurk效應(yīng)的不一致刺激的比較，進一步支持了研究一得到的部分結(jié)論，即a節(jié)律在聲音刺激出現(xiàn)后的差異反映了Q節(jié)律與聽覺言語加工有關(guān)，這種關(guān)系主要是通過a節(jié)律的同步活動體現(xiàn)的聽覺皮層與注意皮層的活動有關(guān)，提前變化的口形對聲音對聽覺皮層的神經(jīng)活動有著直北京師范大畢博士學(xué)住論丈B1M0DAL1NTEGRAT10NMEC

5、HEN1SMBASED0NMCGURKEf全飛CTONDYN冉腸nCOSrn，‘今TORYACrIV】1，U洛A刊DBRA刃悶CONDU月IVYfyABSTRACTAuditory.visu目b血notlalb翻揭donMcGurke月免Ctre介rstoauditorysPCeCb五。m陽叨dandvisuaispeeCb6習(xí)mPlacofarticulation.竹suaispecbsPeedsuPthcncuralproc亡sin

6、gofauditoryspeeCb.T址.川口lationconveysspeecbi.fon”ationthathclPsdetectanddis細bigUatctheauditoryspecch.WhendOestheintegrationoCcur，h0wdOCsthebimoda】intcrad，andh0wisspeechpercPtioninfluenCedarcthebOtstudyofmultimodal.Nevcrth

7、clcss，it毖alsothefoCUsthatusing喃atmethods朋dhowto卿eaith哪problcms.T七壇阮sisex川“edthcbimoda】integrationmechanisminthclightofdyn別舊ic0sci1lat0ryactivitiesandbrainconneCtivitvthroughthcimProved6mc毛equencyrePresentationanditscombi

8、nationwith帥哪syUchroniZatlonandcausalitymodd.T七。questiooswercaddressedinthefol】owing.StUdy1comPareddynaInic0SCilatyaCtiviticsandbrainconnect1vityofunimodaI胡db加回”‘件ec七，胡dfound山at玩foresoundbe呂a.，thearticulationcau“dbetaandg

9、ammaaCtiviticsdiferenc亡dOSeto加m因ral一paric回a代朋，吶ichwercma洲yrelatedwithmo句rPnx籠ssingofarticula協(xié)r.Bowever，itwasnotrelatedwitbthe云sy.chron祖ationnearly.Wbenthesoundbegan，thediferen“ofalphaactivitiescsPeclalyalPhasy.chroniZati

10、onwasfoundatfrontal，cenllal，parietai，胡dtempal附as.It加Pli記thattherewasstronginteract1onbctWcenaudi仍ry胡dintcgrationco血x，cvcninc】udedatteO110Oconcx.AdditioOal1y’alPhasynchroniza1i0ndifere毗andcausaiitybeforesound，andbetaaCtiv

11、itiesdifcren沈bctwcen幻即odiferentsyllablcsalso加dicatcdthoarticulationbeforesoundinflue”ccddircdlyaudiloryP找‘essin鄉(xiāng)Acc0rdingtoabovc，wehyPOthesisthatthearticulationaheadactivatedvisuaiandintegratjonc0rtexfirStlv，andtheninflu