動態(tài)多模態(tài)話語的模態(tài)協同研究——以漢語電視天氣預報多模態(tài)語篇為例.pdf

1、隨著現代技術的發(fā)展，人們使用的交際模態(tài)和交際媒體發(fā)生了很大變化。人類交際不再是語言獨尊的局面，而是由多種模態(tài)來共同完成的，包括空間、手勢、凝視、身勢、移動、音樂、三維事物、口語、書面語、圖像、圖表等(Baldry&Thibault，2006；O’Hallaran，2004)。這種運用聽覺、視覺、觸覺等多種感覺，運用語言、圖像、聲音、動作等多種符號資源進行交際的現象就是多模態(tài)話語(張德祿，2009a：24)。
　　 近二十年來，國

2、內外許多學者一直密切關注多模態(tài)話語分析研究，他們從語言學領域或者語言學之外的其它很多領域對其進行研究。但是，在眾多語言學學派的研究方法中，由韓禮德所創(chuàng)立的系統(tǒng)功能語言學所提出的‘社會符號’視角成為主流的研究方法。但是目前多模態(tài)話語研究還處于初級階段，在中國更是如此。大多數的多模態(tài)話語研究主要是以Kress和van Leeuwen的視覺語法為理論依據，集中對二維靜態(tài)多模態(tài)語篇進行研究，例如對圖畫，圖形，圖表的研究等等。只有極少數的研究是關

3、于動態(tài)多模態(tài)語篇或者三維靜態(tài)語篇的，例如對課堂教學，電影，建筑的研究等等。
　　 20世紀90年代以來，系統(tǒng)功能符號學者(Lemke，1998；Baldry，2000；Kress&Van Leeuwen，2001；O’Hallaran，2005a，2005b；Martinec&Salway，2005；Baldry&Thibault，2006)開始關注多模態(tài)話語中模態(tài)間的關系和語法整合問題。盡管目前國內對多模態(tài)話語中的不同模態(tài)間關

4、系的研究越來越多，但是這些研究仍然存在一些缺陷，缺乏完整性和系統(tǒng)性。大多數的研究集中在對靜態(tài)多模態(tài)話語中模態(tài)間的關系的研究上，而對于動態(tài)多模態(tài)話語中模態(tài)間的關系的研究卻很少。所以，對動態(tài)多模態(tài)話語中模態(tài)間的協同研究對于多模態(tài)話語分析研究的理論，框架和研究方法的完善和發(fā)展來說，都有著重要的意義。
　　 漢語電視天氣預報是一種典型的動態(tài)多模態(tài)話語。然而，無論是從語言學的研究角度還是從多模態(tài)話語分析的研究角度，目前還沒有關于漢語電視天

5、氣預報的研究。當然，也沒有關于漢語電視天氣預報多模態(tài)話語的模態(tài)協同研究和適用于這類動態(tài)多模態(tài)話語的系統(tǒng)的理論框架的研究。
　　 所以，本文關于漢語電視天氣預報語篇類型的動態(tài)多模態(tài)話語的模態(tài)協同研究具有重要的意義。它能完善和發(fā)展多模態(tài)話語分析研究的理論框架和研究方法并且填補多模態(tài)話語分析研究在此領域的空白。
　　 張德祿(2009a)基于系統(tǒng)功能語言學理論，結合Lim(2004:220-246)在研究圖畫與語言形成的多模態(tài)

6、話語時提供的綜合性多符號模式框架，提出了由文化層面、語境層面、內容層面和表達層面四個層面組成的多模態(tài)話語分析綜合理論框架。為了便于分析電視天氣預報語篇，我們參照這個綜合理論框架，設計出了動態(tài)多模態(tài)話語分析框架。并且，我們在互聯網上搜集了28篇CCTV1晚間電視天氣預報的視頻作為研究的語料。此外，我們還基于張德祿(2010c)提出的對錄像等動態(tài)多模態(tài)語篇進行切分三個標準：(1)語篇結構(2)經驗意義(3)前景化的事物和特征探討了視頻錄像等

7、動態(tài)多模態(tài)話語的轉寫方法。通過這種切分方法可以把動態(tài)多模態(tài)語篇切分成不同層次的分析單位：‘階段’、‘情節(jié)’和‘事件’。為了便于研究電視天氣預報多模態(tài)話語體裁的語言典型符號分布特征和語料庫中不同類型的模態(tài)協同關系的研究，‘事件’被定義為最小的動態(tài)多模態(tài)話語分析的意義單位。
　　 本文基于已經探討的動態(tài)多模態(tài)話語分析框架和研究方法對28篇CCTV1晚間電視天氣預報進行多模態(tài)話語分析從而可以發(fā)現電視天氣預報多模態(tài)話語中的模態(tài)協同關系和

8、不同模態(tài)之間的配合和協同的基本原則。這項研究可以分為兩個階段，第一階段分析是第二階段分析的基礎，同時后者有效地彌補了前者的不足。
　　 在第一階段，本文采取定量研究和定性研究相結合的研究方法，對已經被以‘事件’為最小意義單位的進行轉寫的28篇CCTV1晚間電視天氣預報動態(tài)多模態(tài)語篇進行多模態(tài)話語分析，旨在探明該體裁中的典型符號分布特征和不同模態(tài)間的協同關系的分布特征。
　　 在第二階段，本文基于第一階段的研究結果，在動態(tài)

9、多模態(tài)話語分析理論框架內，探討在電視天氣預報多模態(tài)話語中的模態(tài)協同規(guī)律和原則，即不同的模態(tài)是怎樣相互作用、相互配合來實現話語意義和它為什么會是這樣。
　　 根據這兩個階段的分析，本研究得出以下結論：
　　 第一、在電視天氣預報多模態(tài)話語中，因需在不同的階段實現不同的交際目標而選擇各類不同的交際模態(tài)。在不同的交際階段為實現不同的交際目標而采用的不同多模態(tài)話語交際模式可以分為三種類型：提示開始結束型、提供信息型和求取注意型。

10、其中提示開始結束型又包括提示開始型和提示結束型；提供信息型包括導入型、提供進行中轉入提供暫停型和提供進行中轉入提供結束型。
　　 第二、通過探討聽覺模態(tài)和視覺模態(tài)之間的協同關系發(fā)現，由語言媒體所形成的聽覺模態(tài)是主模態(tài)，視覺模態(tài)對聽覺模態(tài)進行補缺、強化，二者形成互補或者非互補關系。聽覺模態(tài)和身體媒體所形成的視覺模態(tài)之間的協同關系包括強化類型的互補關系和非強化類型的互補關系。聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協同關系包括強化

11、類型的互補關系、非強化類型的互補關系和情景交互類型的非互補關系。
　　 第三、在聽覺模態(tài)和視覺模態(tài)所形成的模態(tài)協同關系中互補關系占有最高的比例?；パa關系在聽覺模態(tài)和身體媒體所形成的視覺模態(tài)所形成的協同關系中所占的比例是78.64％，在聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協同關系中所占的比例是77.04％。在聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協同關系中，情景交互類型的非互補關系所占的比例次之，是22.96％。在聽覺模

12、態(tài)和非身體媒體所形成的視覺模態(tài)之間的協同關系中，無效的視覺模態(tài)所占的比例最少，是21.37％。
　　 第四、在整個交際過程中，聽覺模態(tài)是主模態(tài)，主導交際進程，始終處于前景化的位置。這是因為聽覺模態(tài)是線性模態(tài)，只能根據時間向前推進，這符合信息獲取循序漸進的特點，同時對一些特殊的信息進行突出、強化或者弱化；進行前景化或者背景化。當聽覺模態(tài)和視覺模態(tài)所形成的模態(tài)關系為互補關系時，視覺模態(tài)處于前景化的位置。當聽覺模態(tài)和視覺模態(tài)之間的協同

13、關系是強化類型的互補關系時，身體媒體所形成的視覺模態(tài)或者非身體媒體所形成的視覺模態(tài)處于前景化的位置。當聽覺模態(tài)和視覺模態(tài)之間的協同關系是非強化類型的互補關系時，身體媒體所形成的視覺模態(tài)和非身體媒體所形成的視覺模態(tài)都處于前景化的位置。當聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協同關系為情景交互類型的非互補關系時，視覺模態(tài)處于背景化的位置。
　　 總之，本文探討了動態(tài)多模態(tài)話語分析框架和動態(tài)多模態(tài)話語的轉寫等研究方法；并且研究了C