視聽一致性對聲音響度變化判斷的影響.pdf

1、人類通過不同的感官系統(tǒng)獲取外界信息，檢測和感知外界事物，而不同的感覺器官獲取的信息存在相互影響。視覺和聽覺作為人類感知外部信息最重要的兩個通道，它們之間的交互作用是認知科學領域長期關注的問題。大腦需要整合來自視覺和聽覺的信息[1,2]，經過一定的加工處理，產生認知結果，實現對現實世界的反映。當人感知的視聽信息一致時，可以促進認知[3]；而視聽信息不一致時，則產生整合作用[4]或者干擾認知[5]，這是視聽交互作用的“一致性”問題。

2、　　目前，簡單刺激的視聽交互作用研究主要集中在單個聽覺刺激的某些屬性（持續(xù)時間、空間位置、頻率等）感知與單個視覺刺激的某些屬性（持續(xù)時間、大小、空間位置、頻率等）感知之間的相互影響。但是，還沒有研究對視（聽）刺激變化的認知過程。這種對刺激變化認知過程是否也有視聽交互作用的影響？如果有，那么這種視聽交互作用是否也存在類似的“一致性”問題1？例如當大小變化（或不變）的視覺刺激與聽覺刺激同時呈遞時，是否會影響受試者對聲音響度變化的判斷；大腦哪

3、些區(qū)域參與了聽覺（或視覺）變化的認知過程？這些問題都非常值得研究。
　　為了研究以上問題，我們讓受試者判斷兩個連續(xù)呈現的聽覺刺激（可能響度相同 A1-A1，也可以響度變化 A1-A2）的響度是否變化，同時呈遞（或者不呈遞）兩個同步的視覺刺激（可能相同V1-V1，也可能不同V1-V2）。為實驗刺激方式更全面，我們還加入了單個的聲音刺激A1（保證受試者對實驗刺激真實反應），以及空白刺激No-stim（計算差異波），總計10種刺激模式，

4、以研究不同刺激模式下認知的不同過程。
　　行為學結果表明：與單獨的聽覺刺激（A1-A1/A1-A2）相比，視覺刺激V1-V2同時呈遞時，受試者對視聽不一致的刺激的判斷不僅正確率下降，而且反應時顯著增加，對于視聽一致的刺激的判斷反應時則顯著減??；而與視覺刺激V1-V1同時呈遞時，受試者只在視聽不一致的情況下反應正確率降低了。神經電生理結果表明：由視覺刺激影響而產生的聽覺錯判與單獨的聽覺刺激相比，差異波顯示110-130 ms前中央區(qū)

5、具有統(tǒng)計學差異，暗示可能此時已經存在視聽交互了。而160-200 ms處統(tǒng)計檢驗發(fā)現更多的皮層區(qū)域存在差異；溯源分析也表明，對比多通道反應和單通道反應，在160-200 ms大腦Brodmann8區(qū)、18區(qū)的活動較明顯。這些都表明160-200 ms左右可能是視聽交互作用早期認知最顯著、最強烈的時刻。而在300-400 ms，頭皮大片區(qū)域電極活動存在大量顯著性差異，溯源分析表明大腦Brodmann6區(qū)、9區(qū)和13區(qū)存在明顯激活。這些都說

6、明空間變化的視覺刺激對聽覺刺激響度判斷有顯著的影響，即視覺的空間域和聽覺的響度域存在交互作用，而且不同的刺激的交互作用體現在認知的不同過程中。例如不變的視覺刺激對聽覺響度判斷的影響僅體現在感知過程（正確率）中，而變化的視覺刺激則即影響了受試者對聽覺響度的感知（正確率），又影響了判斷（反應時）。
　　相較于以往的研究，本課題的貢獻及創(chuàng)新性包括：
　　（1）首先，以往的視聽交互的研究局限于對持續(xù)時間、空間位置等屬性的判斷，而本課

7、題研究的范圍擴展到了聽覺的響度域，并且研究的是視覺和聽覺變化的認知過程；
　?。?）其次，以往的視聽交互的研究中，視聽刺激大多只同時呈遞一次，而本實驗模式中采用先后呈遞的兩個視聽刺激（每個視聽刺激中視覺和聽覺刺激同時呈遞）作為一個刺激組，兩個視聽刺激間存在影響，對兩者的綜合的理解才能得出對任務的判斷。同時，我們選取的刺激模式不僅能夠通過行為學結果反映不同視覺刺激對聽覺響度判斷的影響，還通過電生理學結果確定認知過程。更重要的是，如此

8、多的刺激模式涵蓋了更多的內容，排除了以往實驗中的特定因素，使實驗更具有普遍性。
　　（3）再次，在該課題的研究過程中，結合了行為學、ERP、差異波和溯源分析等多種認知神經科學的研究手段，行為學結果為神經電生理分析提供一定的基礎，而兩者又相互映襯，從不同的側面反映出比較統(tǒng)一的結果，溯源分析則體現出了這一視聽認知過程中不同腦區(qū)的激活情況，并且不同時間段的腦地形圖的變化特征體現了整個視聽認知過程中大腦激活的區(qū)域分布特征，為更好地揭示不同