中文語料庫的分類與檢索的研究與實(shí)現(xiàn).pdf

1、中文語料庫的分類與檢索的研究對于語料庫的管理和學(xué)習(xí)使用具有相當(dāng)重要的意義。面對具有海量信息的語料庫，人們不可能在短時(shí)間內(nèi)對這些數(shù)據(jù)進(jìn)行分類并獲得其中所需要的內(nèi)容，這迫切需要一種輔助工具來幫助人們發(fā)現(xiàn)、處理并管理這些信息。語料庫的自動分類與檢索研究就是為了滿足這樣一種需求而產(chǎn)生的。構(gòu)建一個(gè)較為精確的語料庫分類器需要各個(gè)環(huán)節(jié)的協(xié)同，比如訓(xùn)練語料的預(yù)處理、分類算法等，每個(gè)環(huán)節(jié)都會對分類結(jié)果產(chǎn)生影響。語料庫檢索系統(tǒng)應(yīng)該提供查詢界面供學(xué)習(xí)者查詢，

2、并提供查詢結(jié)果界面。本文研究發(fā)現(xiàn)，現(xiàn)有的語料庫檢索系統(tǒng)對于結(jié)果的顯示都是集中的列表顯示，這樣并不利于語料庫學(xué)習(xí)者有效地利用語料。
　　 為了構(gòu)建一個(gè)更為精確的語料庫分類器和更有利于語料庫學(xué)習(xí)者利用語料的檢索系統(tǒng)，本文做了以下研究工作：
　　 1、改進(jìn)特征權(quán)值算法。本文詳細(xì)分析了特征處理過程中的特征權(quán)值算法，對TFIDF算法進(jìn)行了深入地研究，發(fā)現(xiàn)TFIDF的不足之處，并結(jié)合相關(guān)文獻(xiàn)，提出新的特征權(quán)值改進(jìn)算法一基于文檔分布的

3、TFIDF算法。此算法引入了文檔在類間的分布情況作為賦值依據(jù)：若包含某個(gè)特征t的文檔在類間分布不均勻，則t是具有較好的類別區(qū)分度的，應(yīng)該賦予較高權(quán)值.若分布非常均勻，則t不具有較好的類別區(qū)分度，應(yīng)該賦予較小權(quán)值。
　　 2、將反饋算法引入自動分類中。反饋是被控制的過程對控制機(jī)構(gòu)的反作用，這種反作用影響系統(tǒng)的實(shí)際過程和結(jié)果。系統(tǒng)根據(jù)反饋信息對自身進(jìn)行調(diào)整，使系統(tǒng)更加完善。現(xiàn)有的分類器只訓(xùn)練一次，分類性能就固定不變了，若要提升分類器

4、的分類性能，可以對分類器進(jìn)行反饋。本文提出在中文語料庫自動分類器中加入反饋模塊，使分類器通過加入新的反饋學(xué)習(xí)樣本以提高自動分類器的分類性能。
　　 3、構(gòu)建具有分類顯示功能的中文語料庫檢索系統(tǒng)。分類的過程是將形態(tài)各異的同類事物歸并起來，這看似一個(gè)很簡單的行為，其實(shí)背后是一個(gè)復(fù)雜的思維過程，需要分析、綜合、抽象、概括等一系列的思維活動，從這個(gè)意義上說，分類能力的提升本身就是對思維能力的錘煉。比起一團(tuán)糟的無頭緒的信息，分類卻使得人的