文本過濾關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和存貯技術(shù)的提高,計(jì)算機(jī)可讀的文本信息也越來越多.而對于特定的用戶而言,所需要的信息往往只占其中極小的一部分.大規(guī)模的可用網(wǎng)絡(luò)資源和特定用戶對特定的信息的需求使得大規(guī)模文本信息處理軟件成為信息用戶的迫切需求.而要從大規(guī)模的網(wǎng)絡(luò)信息中抽取有用的信息資源,對信息處理的智能性、速度和精度都將提出極為嚴(yán)格的要求.文本過濾所研究的內(nèi)容就是如何準(zhǔn)確地表達(dá)用戶需求,進(jìn)而在大規(guī)模的信息流中自動地篩選出滿足用戶需求的信息,使人們更有效地利

2、用信息資源.論文的工作主要集中在文本過濾尤其是自適應(yīng)文本過濾中的關(guān)鍵技術(shù)上,設(shè)計(jì)并實(shí)現(xiàn)了大規(guī)模文本過濾的實(shí)驗(yàn)平臺,參加了兩屆國際文本檢索會議(TREC10、TREC11)并取得了好成績.以此為基礎(chǔ),我們實(shí)現(xiàn)了多個實(shí)用系統(tǒng),包括中文文本過濾系統(tǒng)、因特網(wǎng)話題信息檢索系統(tǒng)等均達(dá)到了非常好的效果.在文本表示方面,我們用向量空間模型來表示文本,以詞匯、概念、術(shù)語等作為向量空間模型的特征項(xiàng),并根據(jù)文本中的統(tǒng)計(jì)信息來計(jì)算項(xiàng)的權(quán)重.我們嘗試將WordN

3、et應(yīng)用到英文過濾系統(tǒng)中,使用其中的語義信息,并對消歧進(jìn)行了研究;對中文系統(tǒng),我們設(shè)計(jì)開發(fā)了HowNet接口并首次將其應(yīng)用到中文過濾系統(tǒng)中,在中文過濾系統(tǒng)中使用HowNet概念信息使得向量維數(shù)得到大幅削減并提高了系統(tǒng)性能.自適應(yīng)文本過濾中的機(jī)器學(xué)習(xí)方法包括模板學(xué)習(xí)和閾值學(xué)習(xí).我們對自適應(yīng)文本過濾中的閾值調(diào)進(jìn)行了深入的研究,并在TREC10中提出了一種全新的閾值調(diào)整學(xué)習(xí)算法,該算法能使用極少的正例對自適應(yīng)過濾中閾值進(jìn)行快速、有效的調(diào)整.在