漢語(yǔ)的熵及其在語(yǔ)言本體研究中的應(yīng)用.pdf

1、語(yǔ)言是信息的載體，具有信息屬性。隨著社會(huì)信息化程度的不斷提高，運(yùn)用信息理論和方法研究語(yǔ)言的熵成為語(yǔ)言信息研究的重要任務(wù)。目前關(guān)于漢語(yǔ)信息熵的研究主要集中在漢語(yǔ)的信息化，卻極少發(fā)現(xiàn)有人運(yùn)用信息理論來(lái)研究語(yǔ)言本體。本文從語(yǔ)言的信息屬性出發(fā)，系統(tǒng)梳理了信息學(xué)、語(yǔ)言學(xué)、數(shù)學(xué)、教育學(xué)、計(jì)算機(jī)科學(xué)等專(zhuān)業(yè)領(lǐng)域內(nèi)關(guān)于漢語(yǔ)漢字信息熵研究的理論、觀點(diǎn)和方法，結(jié)合語(yǔ)料庫(kù)語(yǔ)言學(xué)闡述了書(shū)面漢語(yǔ)的“字熵”、“詞熵”等概念和計(jì)算方法。運(yùn)用書(shū)面漢語(yǔ)“字熵”“詞熵”的原

2、理和算法，在經(jīng)過(guò)分詞標(biāo)注詞性等“熟語(yǔ)料庫(kù)”支持下，分別對(duì)介詞的語(yǔ)法化、文本風(fēng)格比較、紅樓夢(mèng)作者考證等問(wèn)題進(jìn)行了“典型案例分析”，為漢語(yǔ)本體和應(yīng)用研究提供了“信息熵”視角的研究范式。并從信息視角，驗(yàn)證了齊普夫分布的普遍性，對(duì)于縮略、簡(jiǎn)稱(chēng)以及詞匯雙音化等語(yǔ)言演化規(guī)律都將具有令人信服的解釋力。全文共分為五章:第一章導(dǎo)言;第二章漢字的熵及其在漢語(yǔ)本體研究中的應(yīng)用;第三章漢語(yǔ)的詞熵及其在漢語(yǔ)本體研究中的應(yīng)用;第四章漢語(yǔ)的熵和齊普夫定律;第五章結(jié)論

3、。
　　 第一章從語(yǔ)言的信息屬性入手，對(duì)利用熵理論來(lái)研究語(yǔ)言本體的可行性、研究的意義、歷史、現(xiàn)狀和存在的問(wèn)題做了綜述;介紹了本研究的指導(dǎo)理論及研究方法，并對(duì)研究過(guò)程中的一些問(wèn)題做了必要的說(shuō)明。
　　 第二章首先總結(jié)了前人關(guān)于漢字熵研究的成果和結(jié)論，論述了漢字平均熵的測(cè)定方法和歷史，對(duì)字頻和熵兩種方法做了比較，結(jié)合不同類(lèi)型的漢語(yǔ)抽樣語(yǔ)料進(jìn)行漢字熵的定量分析，得出了語(yǔ)料的平均字熵，并結(jié)合古龍、金庸的武俠作品風(fēng)格的分析，提出了

4、漢字熵在語(yǔ)言本體研究中的應(yīng)用方法。
　　 第三章是本研究的重點(diǎn)和中心。詞是語(yǔ)言中最小的可以自由運(yùn)用的單位。由于書(shū)面漢語(yǔ)以漢字為書(shū)寫(xiě)單位，因此，以往都以漢字熵的研究結(jié)論代替了漢語(yǔ)的信息熵。本章首先區(qū)分了漢字熵與漢語(yǔ)熵的不同，給出了詞熵的測(cè)定數(shù)值，并在此基礎(chǔ)上，討論了漢語(yǔ)的冗余度，對(duì)詞熵在漢語(yǔ)本體研究中的應(yīng)用進(jìn)行了重點(diǎn)闡述，對(duì)詞熵在語(yǔ)法化研究、不同語(yǔ)體之間的比較、文本歷時(shí)比較、計(jì)算風(fēng)格學(xué)等領(lǐng)域中的應(yīng)用，結(jié)合大量的語(yǔ)料庫(kù)給出了實(shí)證。<