基于現(xiàn)代漢語動態(tài)流通語料庫的通用詞匯自動提取方法研究.pdf

1、人類社會正在從工業(yè)社會邁向信息社會，信息的主要載體是自然語言，即人類彼此交流所使用的語言。自然語言處理研究如何讓計算機理解人類語言并開發(fā)有關(guān)的適用系統(tǒng)，然而自然語言中的通用詞匯是一個民族的語言系統(tǒng)中最常見，使用頻率較高的那些詞匯，無論在漢語言教學上，還是在字典的編寫上，甚至在計算機信息處理上，漢語言的通用詞匯范圍的準確界定都有著深遠的意義。在某一時段內(nèi)，通用詞匯既是一個相對穩(wěn)定又是一個開放的集合，既是一個相對動態(tài)又是一個靜態(tài)的集合；傳統(tǒng)

2、的統(tǒng)計方法以及語言學家的經(jīng)驗法則等等都根本無法給與通用詞匯準確界定。因此把計算機應(yīng)用到具體語言學的通用詞匯提取領(lǐng)域，就更體現(xiàn)其應(yīng)用價值和意義。 運用“語料庫”的科學數(shù)據(jù)方法來研究語言已經(jīng)成為必然的趨勢和必要的手段。本論文選擇的是基于中國主流報紙的動態(tài)流通語料庫，動態(tài)性和流通性是其本質(zhì)特征。動態(tài)流通語料庫的“動態(tài)性”貫穿著“歷時中包含著共時”和“共時中包含有歷時”的語言知識變化原則。也就是說，這種語料庫既可以提供語言的共時描寫，也

3、可以提供語言的歷時描寫。流通性體現(xiàn)在欄目信息盡可能多樣的報紙，發(fā)行地區(qū)應(yīng)盡可能多樣，語料的覆蓋量要足夠大。 本論文主要做了以下工作： 1.原始語料領(lǐng)域分類(自編程序) 用程序?qū)崿F(xiàn)按照報紙語料的欄目信息，將原始語料分為10類，分類結(jié)果見表4-3。 2.原始語料格式轉(zhuǎn)換(自編程序) 原始下載語料為HTML\HML網(wǎng)頁格式，需要按/領(lǐng)域分類/媒體/年月分別將原始語料轉(zhuǎn)化為純文本格式語料，同時應(yīng)該濾除網(wǎng)頁

4、格式中的垃圾信息，只保留有效的文本信息內(nèi)容。轉(zhuǎn)換后文件格式為xml文件。 3.文本文件切分詞(引用程序)、入庫(自編程序) 按領(lǐng)域分類/媒體/年月分別將文本文件切分成詞，將切分后的文件以詞語為單位導入到數(shù)據(jù)庫中等待進一步處理，實驗時數(shù)據(jù)庫軟件使用的是SQL Server7.0。 4.對其進行校對 使用自行開發(fā)的人工校對系統(tǒng)(java語言編寫)進行檢查式校對，對其上面分詞中不可避免的錯誤進行糾正，使結(jié)果更科