視聽交互過程中漢字的認(rèn)知機(jī)制.pdf

1、我們所感知的外界事物，往往含有眾多信息，這些不同模式的信息通過不同的感知覺器官轉(zhuǎn)換成電信號，再通過大腦的逐級處理形成感知、判斷記憶和動(dòng)作命令。視覺和聽覺神經(jīng)系統(tǒng)是大腦最重要的信息處理系統(tǒng)，它們以其特殊的信息處理機(jī)制，為信息認(rèn)知提供不同的線索，然而視聽通道相互作用的問題與其它的智能問題一樣復(fù)雜。視聽交互是指大腦對視聽區(qū)域的腦功能活動(dòng)進(jìn)行選擇與協(xié)調(diào)，使分散的腦功能活動(dòng)在功能上得到平衡與協(xié)調(diào)，并使認(rèn)知與行為保持連續(xù)性。近年來，隨著腦成像技術(shù)的

2、高速發(fā)展，探討視聽交互方面的大腦機(jī)制已經(jīng)成為認(rèn)知神經(jīng)科學(xué)研究領(lǐng)域的一個(gè)熱點(diǎn)問題。 就目前而沿，視聽交互作用方面的研究得出的結(jié)論主要有兩種：視覺影響聽覺的空間感知(腹語術(shù)效應(yīng)，影院四周的聲音被感知來自于銀幕；共感覺現(xiàn)象和McGurk效應(yīng))；聽覺能夠調(diào)制大腦對視覺刺激的響應(yīng)(閃光效應(yīng)，一束光條并同時(shí)伴隨多個(gè)“嘟嘟”聲，單個(gè)閃光就會(huì)被感知成多個(gè)閃光)。近年來，研究者們開始選擇視聽交互任務(wù)類型來探討文字認(rèn)知的神經(jīng)機(jī)制，獲得了一些有趣的研

3、究結(jié)論?？绺杏X通道的語義加工機(jī)制目前存在兩種假說：轉(zhuǎn)換假說認(rèn)為，在視讀和聽讀過程中，文字在各自通路加工后，從一個(gè)通路轉(zhuǎn)換到另一個(gè)通路；共語義系統(tǒng)假說認(rèn)為，文字在各自知覺通路與詞匯系統(tǒng)進(jìn)行加工后激活一個(gè)共同的語義或概念系統(tǒng)。 本文針對這些爭論，采用事件相關(guān)電位技術(shù)(ERPs)探討了視聽交互過程中漢字認(rèn)知過程的腦內(nèi)時(shí)程動(dòng)態(tài)變化。實(shí)驗(yàn)材料分為視覺刺激與聽覺刺激。視覺刺激是《現(xiàn)代漢語字頻詞典》中選取日常生活中比較常見的雙字詞。聽覺刺激為

4、采用標(biāo)準(zhǔn)普通話誦讀這些漢字詞的聲音。在實(shí)驗(yàn)過程中，依次呈現(xiàn)若干個(gè)漢字(或錯(cuò)字)和聲音(或純音)，被試的任務(wù)之一是判斷所呈現(xiàn)的漢字或聲音里是否有出現(xiàn)生物類名詞，任務(wù)之二是判斷所呈現(xiàn)的漢字(或錯(cuò)字)和聲音(或純音)是否一致。實(shí)驗(yàn)在腦電實(shí)驗(yàn)室進(jìn)行，視覺和聽覺刺激分別用液晶電腦顯示屏和立體聲耳機(jī)呈現(xiàn)，對28名自愿參加實(shí)驗(yàn)的視覺和聽覺正常的大學(xué)生被試單獨(dú)施測。 實(shí)驗(yàn)l的實(shí)驗(yàn)設(shè)計(jì)：首先在屏幕中央呈現(xiàn)一個(gè)注視點(diǎn)0.3ms；隨后，同時(shí)呈現(xiàn)視覺刺

5、激與聽覺刺激，持續(xù)時(shí)間為1ms，被試任務(wù)是判斷所看到和聽到的詞語是否一致。通過對被試的行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)，被試對“視聽不一致”的RTs顯著長于“視聽一致”的RTs。這表明，在“視聽一致”的情況下，被試能較快地作出按鍵反應(yīng)；“視聽一致”情況下，被試則需要稍長的時(shí)間來判斷文字和聲音是否一致。對腦電數(shù)據(jù)結(jié)果分析發(fā)現(xiàn)，“視聽一致”和“視聽不一致”都誘發(fā)了一些相同的早成分，如N1，P2。隨后，從350 ms左右開始，“視聽不一致”比“視聽一

6、致”誘發(fā)出了一個(gè)更加負(fù)性的ERP成分(N490)。在差異波(“不一致”—“一致”)中，該負(fù)成分的峰潛伏期約在490 ms左右；差異波的地形圖顯示，該負(fù)成分主要在大腦的額中部有明顯的激活。對差異波進(jìn)行偶極子溯源分析，結(jié)果發(fā)現(xiàn)，該負(fù)成分可能主要起源于扣帶后回(PCC)。本研究的結(jié)果表明，在視聽整合的過程中，當(dāng)視覺與聽覺信息(漢字)不一致的時(shí)候，大腦的扣帶后回可能主要參與了對漢字視聽信息沖突的監(jiān)控和調(diào)節(jié)過程。 實(shí)驗(yàn)2的實(shí)驗(yàn)設(shè)計(jì)：首先在

7、屏幕中央呈現(xiàn)一個(gè)注視點(diǎn)0.3ms，然后同時(shí)呈現(xiàn)視覺刺激與聽覺刺激1ms，要求被試判斷看到或聽到的詞是否有出現(xiàn)屬于生物類的詞。視聽刺激分為兩種類型隨機(jī)呈現(xiàn)：文字+純音(嘟嘟聲)，文字+語音(文字與語音內(nèi)容一致)。結(jié)果也發(fā)現(xiàn)了視聽交互的經(jīng)典ERP成分，如P20-50，N1，P2等，在“文字+語音”條件下，N1，P2的波幅更大。結(jié)果表明P20-50可能反映多通道腦區(qū)向多個(gè)單通道腦區(qū)的反向投射；N1不僅代表視覺加工，也說明聽覺信息對早期視覺刺激

8、辨別加工的調(diào)節(jié)作用，不同通道的信息在加工早期就存在動(dòng)態(tài)的交互作用；漢字字形和語音的加工都與P2成分有關(guān)，形、音的加工和整合則主要發(fā)生在漢字識別的早期階段。 以往的視聽交互的ERP研究大多采用空間位置與非言語性視聽刺激，視聽交互過程中，聽覺能夠在早期階段對視覺通道的加工進(jìn)行調(diào)節(jié)，感知系統(tǒng)可能依賴刺激信號的特征與其時(shí)間特性的關(guān)聯(lián)來對視聽言語信號進(jìn)行加工。前人的研究多數(shù)是關(guān)于聲音能影響知覺到的視覺刺激時(shí)間與空間因素，關(guān)于言語知覺的跨通