文本過濾關鍵技術研究.pdf

1、隨著互聯網的發(fā)展和存貯技術的提高,計算機可讀的文本信息也越來越多.而對于特定的用戶而言,所需要的信息往往只占其中極小的一部分.大規(guī)模的可用網絡資源和特定用戶對特定的信息的需求使得大規(guī)模文本信息處理軟件成為信息用戶的迫切需求.而要從大規(guī)模的網絡信息中抽取有用的信息資源,對信息處理的智能性、速度和精度都將提出極為嚴格的要求.文本過濾所研究的內容就是如何準確地表達用戶需求,進而在大規(guī)模的信息流中自動地篩選出滿足用戶需求的信息,使人們更有效地利

2、用信息資源.論文的工作主要集中在文本過濾尤其是自適應文本過濾中的關鍵技術上,設計并實現了大規(guī)模文本過濾的實驗平臺,參加了兩屆國際文本檢索會議(TREC10、TREC11)并取得了好成績.以此為基礎,我們實現了多個實用系統(tǒng),包括中文文本過濾系統(tǒng)、因特網話題信息檢索系統(tǒng)等均達到了非常好的效果.在文本表示方面,我們用向量空間模型來表示文本,以詞匯、概念、術語等作為向量空間模型的特征項,并根據文本中的統(tǒng)計信息來計算項的權重.我們嘗試將WordN

3、et應用到英文過濾系統(tǒng)中,使用其中的語義信息,并對消歧進行了研究;對中文系統(tǒng),我們設計開發(fā)了HowNet接口并首次將其應用到中文過濾系統(tǒng)中,在中文過濾系統(tǒng)中使用HowNet概念信息使得向量維數得到大幅削減并提高了系統(tǒng)性能.自適應文本過濾中的機器學習方法包括模板學習和閾值學習.我們對自適應文本過濾中的閾值調進行了深入的研究,并在TREC10中提出了一種全新的閾值調整學習算法,該算法能使用極少的正例對自適應過濾中閾值進行快速、有效的調整.在