基于現(xiàn)代漢語動(dòng)態(tài)流通語料庫的通用詞匯自動(dòng)提取方法研究.pdf

1、人類社會(huì)正在從工業(yè)社會(huì)邁向信息社會(huì)，信息的主要載體是自然語言，即人類彼此交流所使用的語言。自然語言處理研究如何讓計(jì)算機(jī)理解人類語言并開發(fā)有關(guān)的適用系統(tǒng)，然而自然語言中的通用詞匯是一個(gè)民族的語言系統(tǒng)中最常見，使用頻率較高的那些詞匯，無論在漢語言教學(xué)上，還是在字典的編寫上，甚至在計(jì)算機(jī)信息處理上，漢語言的通用詞匯范圍的準(zhǔn)確界定都有著深遠(yuǎn)的意義。在某一時(shí)段內(nèi)，通用詞匯既是一個(gè)相對(duì)穩(wěn)定又是一個(gè)開放的集合，既是一個(gè)相對(duì)動(dòng)態(tài)又是一個(gè)靜態(tài)的集合；傳統(tǒng)

2、的統(tǒng)計(jì)方法以及語言學(xué)家的經(jīng)驗(yàn)法則等等都根本無法給與通用詞匯準(zhǔn)確界定。因此把計(jì)算機(jī)應(yīng)用到具體語言學(xué)的通用詞匯提取領(lǐng)域，就更體現(xiàn)其應(yīng)用價(jià)值和意義。 運(yùn)用“語料庫”的科學(xué)數(shù)據(jù)方法來研究語言已經(jīng)成為必然的趨勢(shì)和必要的手段。本論文選擇的是基于中國主流報(bào)紙的動(dòng)態(tài)流通語料庫，動(dòng)態(tài)性和流通性是其本質(zhì)特征。動(dòng)態(tài)流通語料庫的“動(dòng)態(tài)性”貫穿著“歷時(shí)中包含著共時(shí)”和“共時(shí)中包含有歷時(shí)”的語言知識(shí)變化原則。也就是說，這種語料庫既可以提供語言的共時(shí)描寫，也

3、可以提供語言的歷時(shí)描寫。流通性體現(xiàn)在欄目信息盡可能多樣的報(bào)紙，發(fā)行地區(qū)應(yīng)盡可能多樣，語料的覆蓋量要足夠大。 本論文主要做了以下工作： 1.原始語料領(lǐng)域分類(自編程序) 用程序?qū)崿F(xiàn)按照?qǐng)?bào)紙語料的欄目信息，將原始語料分為10類，分類結(jié)果見表4-3。 2.原始語料格式轉(zhuǎn)換(自編程序) 原始下載語料為HTML\HML網(wǎng)頁格式，需要按/領(lǐng)域分類/媒體/年月分別將原始語料轉(zhuǎn)化為純文本格式語料，同時(shí)應(yīng)該濾除網(wǎng)頁

4、格式中的垃圾信息，只保留有效的文本信息內(nèi)容。轉(zhuǎn)換后文件格式為xml文件。 3.文本文件切分詞(引用程序)、入庫(自編程序) 按領(lǐng)域分類/媒體/年月分別將文本文件切分成詞，將切分后的文件以詞語為單位導(dǎo)入到數(shù)據(jù)庫中等待進(jìn)一步處理，實(shí)驗(yàn)時(shí)數(shù)據(jù)庫軟件使用的是SQL Server7.0。 4.對(duì)其進(jìn)行校對(duì) 使用自行開發(fā)的人工校對(duì)系統(tǒng)(java語言編寫)進(jìn)行檢查式校對(duì)，對(duì)其上面分詞中不可避免的錯(cuò)誤進(jìn)行糾正，使結(jié)果更科