視聽(tīng)交互過(guò)程中漢字的認(rèn)知機(jī)制.pdf

1、我們所感知的外界事物，往往含有眾多信息，這些不同模式的信息通過(guò)不同的感知覺(jué)器官轉(zhuǎn)換成電信號(hào)，再通過(guò)大腦的逐級(jí)處理形成感知、判斷記憶和動(dòng)作命令。視覺(jué)和聽(tīng)覺(jué)神經(jīng)系統(tǒng)是大腦最重要的信息處理系統(tǒng)，它們以其特殊的信息處理機(jī)制，為信息認(rèn)知提供不同的線索，然而視聽(tīng)通道相互作用的問(wèn)題與其它的智能問(wèn)題一樣復(fù)雜。視聽(tīng)交互是指大腦對(duì)視聽(tīng)區(qū)域的腦功能活動(dòng)進(jìn)行選擇與協(xié)調(diào)，使分散的腦功能活動(dòng)在功能上得到平衡與協(xié)調(diào)，并使認(rèn)知與行為保持連續(xù)性。近年來(lái)，隨著腦成像技術(shù)的

2、高速發(fā)展，探討視聽(tīng)交互方面的大腦機(jī)制已經(jīng)成為認(rèn)知神經(jīng)科學(xué)研究領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題。 就目前而沿，視聽(tīng)交互作用方面的研究得出的結(jié)論主要有兩種：視覺(jué)影響聽(tīng)覺(jué)的空間感知(腹語(yǔ)術(shù)效應(yīng)，影院四周的聲音被感知來(lái)自于銀幕；共感覺(jué)現(xiàn)象和McGurk效應(yīng))；聽(tīng)覺(jué)能夠調(diào)制大腦對(duì)視覺(jué)刺激的響應(yīng)(閃光效應(yīng)，一束光條并同時(shí)伴隨多個(gè)“嘟嘟”聲，單個(gè)閃光就會(huì)被感知成多個(gè)閃光)。近年來(lái)，研究者們開(kāi)始選擇視聽(tīng)交互任務(wù)類(lèi)型來(lái)探討文字認(rèn)知的神經(jīng)機(jī)制，獲得了一些有趣的研

3、究結(jié)論?？绺杏X(jué)通道的語(yǔ)義加工機(jī)制目前存在兩種假說(shuō)：轉(zhuǎn)換假說(shuō)認(rèn)為，在視讀和聽(tīng)讀過(guò)程中，文字在各自通路加工后，從一個(gè)通路轉(zhuǎn)換到另一個(gè)通路；共語(yǔ)義系統(tǒng)假說(shuō)認(rèn)為，文字在各自知覺(jué)通路與詞匯系統(tǒng)進(jìn)行加工后激活一個(gè)共同的語(yǔ)義或概念系統(tǒng)。 本文針對(duì)這些爭(zhēng)論，采用事件相關(guān)電位技術(shù)(ERPs)探討了視聽(tīng)交互過(guò)程中漢字認(rèn)知過(guò)程的腦內(nèi)時(shí)程動(dòng)態(tài)變化。實(shí)驗(yàn)材料分為視覺(jué)刺激與聽(tīng)覺(jué)刺激。視覺(jué)刺激是《現(xiàn)代漢語(yǔ)字頻詞典》中選取日常生活中比較常見(jiàn)的雙字詞。聽(tīng)覺(jué)刺激為

4、采用標(biāo)準(zhǔn)普通話誦讀這些漢字詞的聲音。在實(shí)驗(yàn)過(guò)程中，依次呈現(xiàn)若干個(gè)漢字(或錯(cuò)字)和聲音(或純音)，被試的任務(wù)之一是判斷所呈現(xiàn)的漢字或聲音里是否有出現(xiàn)生物類(lèi)名詞，任務(wù)之二是判斷所呈現(xiàn)的漢字(或錯(cuò)字)和聲音(或純音)是否一致。實(shí)驗(yàn)在腦電實(shí)驗(yàn)室進(jìn)行，視覺(jué)和聽(tīng)覺(jué)刺激分別用液晶電腦顯示屏和立體聲耳機(jī)呈現(xiàn)，對(duì)28名自愿參加實(shí)驗(yàn)的視覺(jué)和聽(tīng)覺(jué)正常的大學(xué)生被試單獨(dú)施測(cè)。 實(shí)驗(yàn)l的實(shí)驗(yàn)設(shè)計(jì)：首先在屏幕中央呈現(xiàn)一個(gè)注視點(diǎn)0.3ms；隨后，同時(shí)呈現(xiàn)視覺(jué)刺

5、激與聽(tīng)覺(jué)刺激，持續(xù)時(shí)間為1ms，被試任務(wù)是判斷所看到和聽(tīng)到的詞語(yǔ)是否一致。通過(guò)對(duì)被試的行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)，被試對(duì)“視聽(tīng)不一致”的RTs顯著長(zhǎng)于“視聽(tīng)一致”的RTs。這表明，在“視聽(tīng)一致”的情況下，被試能較快地作出按鍵反應(yīng)；“視聽(tīng)一致”情況下，被試則需要稍長(zhǎng)的時(shí)間來(lái)判斷文字和聲音是否一致。對(duì)腦電數(shù)據(jù)結(jié)果分析發(fā)現(xiàn)，“視聽(tīng)一致”和“視聽(tīng)不一致”都誘發(fā)了一些相同的早成分，如N1，P2。隨后，從350 ms左右開(kāi)始，“視聽(tīng)不一致”比“視聽(tīng)一

6、致”誘發(fā)出了一個(gè)更加負(fù)性的ERP成分(N490)。在差異波(“不一致”—“一致”)中，該負(fù)成分的峰潛伏期約在490 ms左右；差異波的地形圖顯示，該負(fù)成分主要在大腦的額中部有明顯的激活。對(duì)差異波進(jìn)行偶極子溯源分析，結(jié)果發(fā)現(xiàn)，該負(fù)成分可能主要起源于扣帶后回(PCC)。本研究的結(jié)果表明，在視聽(tīng)整合的過(guò)程中，當(dāng)視覺(jué)與聽(tīng)覺(jué)信息(漢字)不一致的時(shí)候，大腦的扣帶后回可能主要參與了對(duì)漢字視聽(tīng)信息沖突的監(jiān)控和調(diào)節(jié)過(guò)程。 實(shí)驗(yàn)2的實(shí)驗(yàn)設(shè)計(jì)：首先在

7、屏幕中央呈現(xiàn)一個(gè)注視點(diǎn)0.3ms，然后同時(shí)呈現(xiàn)視覺(jué)刺激與聽(tīng)覺(jué)刺激1ms，要求被試判斷看到或聽(tīng)到的詞是否有出現(xiàn)屬于生物類(lèi)的詞。視聽(tīng)刺激分為兩種類(lèi)型隨機(jī)呈現(xiàn)：文字+純音(嘟嘟聲)，文字+語(yǔ)音(文字與語(yǔ)音內(nèi)容一致)。結(jié)果也發(fā)現(xiàn)了視聽(tīng)交互的經(jīng)典ERP成分，如P20-50，N1，P2等，在“文字+語(yǔ)音”條件下，N1，P2的波幅更大。結(jié)果表明P20-50可能反映多通道腦區(qū)向多個(gè)單通道腦區(qū)的反向投射；N1不僅代表視覺(jué)加工，也說(shuō)明聽(tīng)覺(jué)信息對(duì)早期視覺(jué)刺激

8、辨別加工的調(diào)節(jié)作用，不同通道的信息在加工早期就存在動(dòng)態(tài)的交互作用；漢字字形和語(yǔ)音的加工都與P2成分有關(guān)，形、音的加工和整合則主要發(fā)生在漢字識(shí)別的早期階段。 以往的視聽(tīng)交互的ERP研究大多采用空間位置與非言語(yǔ)性視聽(tīng)刺激，視聽(tīng)交互過(guò)程中，聽(tīng)覺(jué)能夠在早期階段對(duì)視覺(jué)通道的加工進(jìn)行調(diào)節(jié)，感知系統(tǒng)可能依賴刺激信號(hào)的特征與其時(shí)間特性的關(guān)聯(lián)來(lái)對(duì)視聽(tīng)言語(yǔ)信號(hào)進(jìn)行加工。前人的研究多數(shù)是關(guān)于聲音能影響知覺(jué)到的視覺(jué)刺激時(shí)間與空間因素，關(guān)于言語(yǔ)知覺(jué)的跨通