動(dòng)態(tài)多模態(tài)話語的模態(tài)協(xié)同研究——以漢語電視天氣預(yù)報(bào)多模態(tài)語篇為例.pdf

1、隨著現(xiàn)代技術(shù)的發(fā)展，人們使用的交際模態(tài)和交際媒體發(fā)生了很大變化。人類交際不再是語言獨(dú)尊的局面，而是由多種模態(tài)來共同完成的，包括空間、手勢(shì)、凝視、身勢(shì)、移動(dòng)、音樂、三維事物、口語、書面語、圖像、圖表等(Baldry&Thibault，2006；O’Hallaran，2004)。這種運(yùn)用聽覺、視覺、觸覺等多種感覺，運(yùn)用語言、圖像、聲音、動(dòng)作等多種符號(hào)資源進(jìn)行交際的現(xiàn)象就是多模態(tài)話語(張德祿，2009a：24)。
　　 近二十年來，國

2、內(nèi)外許多學(xué)者一直密切關(guān)注多模態(tài)話語分析研究，他們從語言學(xué)領(lǐng)域或者語言學(xué)之外的其它很多領(lǐng)域?qū)ζ溥M(jìn)行研究。但是，在眾多語言學(xué)學(xué)派的研究方法中，由韓禮德所創(chuàng)立的系統(tǒng)功能語言學(xué)所提出的‘社會(huì)符號(hào)’視角成為主流的研究方法。但是目前多模態(tài)話語研究還處于初級(jí)階段，在中國更是如此。大多數(shù)的多模態(tài)話語研究主要是以Kress和van Leeuwen的視覺語法為理論依據(jù)，集中對(duì)二維靜態(tài)多模態(tài)語篇進(jìn)行研究，例如對(duì)圖畫，圖形，圖表的研究等等。只有極少數(shù)的研究是關(guān)

3、于動(dòng)態(tài)多模態(tài)語篇或者三維靜態(tài)語篇的，例如對(duì)課堂教學(xué)，電影，建筑的研究等等。
　　 20世紀(jì)90年代以來，系統(tǒng)功能符號(hào)學(xué)者(Lemke，1998；Baldry，2000；Kress&Van Leeuwen，2001；O’Hallaran，2005a，2005b；Martinec&Salway，2005；Baldry&Thibault，2006)開始關(guān)注多模態(tài)話語中模態(tài)間的關(guān)系和語法整合問題。盡管目前國內(nèi)對(duì)多模態(tài)話語中的不同模態(tài)間關(guān)

4、系的研究越來越多，但是這些研究仍然存在一些缺陷，缺乏完整性和系統(tǒng)性。大多數(shù)的研究集中在對(duì)靜態(tài)多模態(tài)話語中模態(tài)間的關(guān)系的研究上，而對(duì)于動(dòng)態(tài)多模態(tài)話語中模態(tài)間的關(guān)系的研究卻很少。所以，對(duì)動(dòng)態(tài)多模態(tài)話語中模態(tài)間的協(xié)同研究對(duì)于多模態(tài)話語分析研究的理論，框架和研究方法的完善和發(fā)展來說，都有著重要的意義。
　　 漢語電視天氣預(yù)報(bào)是一種典型的動(dòng)態(tài)多模態(tài)話語。然而，無論是從語言學(xué)的研究角度還是從多模態(tài)話語分析的研究角度，目前還沒有關(guān)于漢語電視天

5、氣預(yù)報(bào)的研究。當(dāng)然，也沒有關(guān)于漢語電視天氣預(yù)報(bào)多模態(tài)話語的模態(tài)協(xié)同研究和適用于這類動(dòng)態(tài)多模態(tài)話語的系統(tǒng)的理論框架的研究。
　　 所以，本文關(guān)于漢語電視天氣預(yù)報(bào)語篇類型的動(dòng)態(tài)多模態(tài)話語的模態(tài)協(xié)同研究具有重要的意義。它能完善和發(fā)展多模態(tài)話語分析研究的理論框架和研究方法并且填補(bǔ)多模態(tài)話語分析研究在此領(lǐng)域的空白。
　　 張德祿(2009a)基于系統(tǒng)功能語言學(xué)理論，結(jié)合Lim(2004:220-246)在研究圖畫與語言形成的多模態(tài)

6、話語時(shí)提供的綜合性多符號(hào)模式框架，提出了由文化層面、語境層面、內(nèi)容層面和表達(dá)層面四個(gè)層面組成的多模態(tài)話語分析綜合理論框架。為了便于分析電視天氣預(yù)報(bào)語篇，我們參照這個(gè)綜合理論框架，設(shè)計(jì)出了動(dòng)態(tài)多模態(tài)話語分析框架。并且，我們?cè)诨ヂ?lián)網(wǎng)上搜集了28篇CCTV1晚間電視天氣預(yù)報(bào)的視頻作為研究的語料。此外，我們還基于張德祿(2010c)提出的對(duì)錄像等動(dòng)態(tài)多模態(tài)語篇進(jìn)行切分三個(gè)標(biāo)準(zhǔn)：(1)語篇結(jié)構(gòu)(2)經(jīng)驗(yàn)意義(3)前景化的事物和特征探討了視頻錄像等

7、動(dòng)態(tài)多模態(tài)話語的轉(zhuǎn)寫方法。通過這種切分方法可以把動(dòng)態(tài)多模態(tài)語篇切分成不同層次的分析單位：‘階段’、‘情節(jié)’和‘事件’。為了便于研究電視天氣預(yù)報(bào)多模態(tài)話語體裁的語言典型符號(hào)分布特征和語料庫中不同類型的模態(tài)協(xié)同關(guān)系的研究，‘事件’被定義為最小的動(dòng)態(tài)多模態(tài)話語分析的意義單位。
　　 本文基于已經(jīng)探討的動(dòng)態(tài)多模態(tài)話語分析框架和研究方法對(duì)28篇CCTV1晚間電視天氣預(yù)報(bào)進(jìn)行多模態(tài)話語分析從而可以發(fā)現(xiàn)電視天氣預(yù)報(bào)多模態(tài)話語中的模態(tài)協(xié)同關(guān)系和

8、不同模態(tài)之間的配合和協(xié)同的基本原則。這項(xiàng)研究可以分為兩個(gè)階段，第一階段分析是第二階段分析的基礎(chǔ)，同時(shí)后者有效地彌補(bǔ)了前者的不足。
　　 在第一階段，本文采取定量研究和定性研究相結(jié)合的研究方法，對(duì)已經(jīng)被以‘事件’為最小意義單位的進(jìn)行轉(zhuǎn)寫的28篇CCTV1晚間電視天氣預(yù)報(bào)動(dòng)態(tài)多模態(tài)語篇進(jìn)行多模態(tài)話語分析，旨在探明該體裁中的典型符號(hào)分布特征和不同模態(tài)間的協(xié)同關(guān)系的分布特征。
　　 在第二階段，本文基于第一階段的研究結(jié)果，在動(dòng)態(tài)

9、多模態(tài)話語分析理論框架內(nèi)，探討在電視天氣預(yù)報(bào)多模態(tài)話語中的模態(tài)協(xié)同規(guī)律和原則，即不同的模態(tài)是怎樣相互作用、相互配合來實(shí)現(xiàn)話語意義和它為什么會(huì)是這樣。
　　 根據(jù)這兩個(gè)階段的分析，本研究得出以下結(jié)論：
　　 第一、在電視天氣預(yù)報(bào)多模態(tài)話語中，因需在不同的階段實(shí)現(xiàn)不同的交際目標(biāo)而選擇各類不同的交際模態(tài)。在不同的交際階段為實(shí)現(xiàn)不同的交際目標(biāo)而采用的不同多模態(tài)話語交際模式可以分為三種類型：提示開始結(jié)束型、提供信息型和求取注意型。

10、其中提示開始結(jié)束型又包括提示開始型和提示結(jié)束型；提供信息型包括導(dǎo)入型、提供進(jìn)行中轉(zhuǎn)入提供暫停型和提供進(jìn)行中轉(zhuǎn)入提供結(jié)束型。
　　 第二、通過探討聽覺模態(tài)和視覺模態(tài)之間的協(xié)同關(guān)系發(fā)現(xiàn)，由語言媒體所形成的聽覺模態(tài)是主模態(tài)，視覺模態(tài)對(duì)聽覺模態(tài)進(jìn)行補(bǔ)缺、強(qiáng)化，二者形成互補(bǔ)或者非互補(bǔ)關(guān)系。聽覺模態(tài)和身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系包括強(qiáng)化類型的互補(bǔ)關(guān)系和非強(qiáng)化類型的互補(bǔ)關(guān)系。聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系包括強(qiáng)化

11、類型的互補(bǔ)關(guān)系、非強(qiáng)化類型的互補(bǔ)關(guān)系和情景交互類型的非互補(bǔ)關(guān)系。
　　 第三、在聽覺模態(tài)和視覺模態(tài)所形成的模態(tài)協(xié)同關(guān)系中互補(bǔ)關(guān)系占有最高的比例?；パa(bǔ)關(guān)系在聽覺模態(tài)和身體媒體所形成的視覺模態(tài)所形成的協(xié)同關(guān)系中所占的比例是78.64％，在聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系中所占的比例是77.04％。在聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系中，情景交互類型的非互補(bǔ)關(guān)系所占的比例次之，是22.96％。在聽覺模

12、態(tài)和非身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系中，無效的視覺模態(tài)所占的比例最少，是21.37％。
　　 第四、在整個(gè)交際過程中，聽覺模態(tài)是主模態(tài)，主導(dǎo)交際進(jìn)程，始終處于前景化的位置。這是因?yàn)槁犛X模態(tài)是線性模態(tài)，只能根據(jù)時(shí)間向前推進(jìn)，這符合信息獲取循序漸進(jìn)的特點(diǎn)，同時(shí)對(duì)一些特殊的信息進(jìn)行突出、強(qiáng)化或者弱化；進(jìn)行前景化或者背景化。當(dāng)聽覺模態(tài)和視覺模態(tài)所形成的模態(tài)關(guān)系為互補(bǔ)關(guān)系時(shí)，視覺模態(tài)處于前景化的位置。當(dāng)聽覺模態(tài)和視覺模態(tài)之間的協(xié)同

13、關(guān)系是強(qiáng)化類型的互補(bǔ)關(guān)系時(shí)，身體媒體所形成的視覺模態(tài)或者非身體媒體所形成的視覺模態(tài)處于前景化的位置。當(dāng)聽覺模態(tài)和視覺模態(tài)之間的協(xié)同關(guān)系是非強(qiáng)化類型的互補(bǔ)關(guān)系時(shí)，身體媒體所形成的視覺模態(tài)和非身體媒體所形成的視覺模態(tài)都處于前景化的位置。當(dāng)聽覺模態(tài)和非身體媒體所形成的視覺模態(tài)之間的協(xié)同關(guān)系為情景交互類型的非互補(bǔ)關(guān)系時(shí)，視覺模態(tài)處于背景化的位置。
　　 總之，本文探討了動(dòng)態(tài)多模態(tài)話語分析框架和動(dòng)態(tài)多模態(tài)話語的轉(zhuǎn)寫等研究方法；并且研究了C