視聽交互過程中漢字的認知機制

1、西南大學碩士學位論文視聽交互過程中漢字的認知機制姓名：尹秦清申請學位級別：碩士專業(yè)：基礎心理學指導教師：張慶林20090401西南大學碩士學位論文 摘要為數(shù)據(jù)進行統(tǒng)計分析發(fā)現(xiàn)，被試對“視聽不一致”的R T s 顯著長于“視聽一致”的R T s 。這表明，在“視聽一致’’的情況下，被試能較快地作出按鍵反應；“視聽一致”情況下，被試則需要稍長的時間來判斷文字和聲音是否一致。對腦電數(shù)據(jù)結果分析發(fā)現(xiàn)，“視聽一致”和“視聽不一致”都誘發(fā)了一些相同

2、的早成分，如N 1 ，P 2 。隨后，從3 5 0I S 左右開始，“視聽不一致”比“視聽一致”誘發(fā)出了一個更加負性的E R P 成分( N 4 9 0 ) 。在差異波( “不一致”一“一致”) 中，該負成分的峰潛伏期約在4 9 0 m S 左右；差異波的地形圖顯示，該負成分主要在大腦的額中部有明顯的激活。對差異波進行偶極子溯源分析，結果發(fā)現(xiàn)，該負成分可能主要起源于扣帶后回( P C C ) 。本研究的結果表明，在視聽整合的過程中，當視

3、覺與聽覺信息( 漢字)不一致的時候，大腦的扣帶后回可能主要參與了對漢字視聽信息沖突的監(jiān)控和調節(jié)過程。實驗2 的實驗設計：首先在屏幕中央呈現(xiàn)一個注視點0 ．3 m s ，然后同時呈現(xiàn)視覺刺激與聽覺刺激l m s ，要求被試判斷看到或聽到的詞是否有出現(xiàn)屬于生物類的詞。視聽刺激分為兩種類型隨機呈現(xiàn)：文字+ 純音( 嘟嘟聲) ，文字+ 語音( 文字與語音內容一致) 。結果也發(fā)現(xiàn)了視聽交互的經典E R P 成分，如P 2 0 —5 0 ，N 1

4、，P 2 等，在“文字+ 語音”條件下，N l ，P 2 的波幅更大。結果表明P 2 0 - 5 0 可能反映多通道腦區(qū)向多個單通道腦區(qū)的反向投射；N 1 不僅代表視覺加工，也說明聽覺信息對早期視覺刺激辨別加工的調節(jié)作用，不同通道的信息在加工早期就存在動態(tài)的交互作用；漢字字形和語音的加工都與P 2 成分有關，形、音的加工和整合則主要發(fā)生在漢字識別的早期階段。以往的視聽交互的E R P 研究大多采用空間位置與非言語性視聽刺激，視聽交互過程

5、中，聽覺能夠在早期階段對視覺通道的加工進行調節(jié)，感知系統(tǒng)可能依賴刺激信號的特征與其時間特性的關聯(lián)來對視聽言語信號進行加工。前人的研究多數(shù)是關于聲音能影響知覺到的視覺刺激時間與空間因素，關于言語知覺的跨通道效應發(fā)生在感知加工的哪個水平，就目前而言，研究結論缺乏一致性。為了探究該問題，本研究采用視聽交互作用的實驗范式，記錄并分析漢字視聽整合過程中所誘發(fā)的E R P 成分，深入探討言語知覺的視聽交互腦內時程動態(tài)變化和腦區(qū)激活情況，，一定程度上