基于內(nèi)容的中文文本過濾關(guān)鍵技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，信息處理成為了人們獲取有用信息不可缺少的工具，其中，信息過濾是中文信息處理的一個重要的研究領(lǐng)域。信息過濾，就是根據(jù)用戶的信息需求，利用一定的工具從大規(guī)模的動態(tài)信息流中自動篩選出滿足用戶需求的信息，同時屏蔽掉無用信息和非法信息的過程。 廣義的信息過濾包括對文本、音頻、圖像、視頻等多種信息存在形式的過濾處理，狹義的信息過濾是特指對文本信息的過濾處理。由于目前網(wǎng)絡(luò)上的主要信息載體為文本形式，文本信息過濾技術(shù)首先

2、成為研究的焦點。此外，信息過濾的研究方法主要分為基于內(nèi)容的過濾和社會過濾兩種，本文主要對基于內(nèi)容的文本信息過濾進(jìn)行研究。 利用向量空間模型表示的基于關(guān)鍵字的過濾系統(tǒng)簡單、易于實現(xiàn)，但它不能解決語義方面的問題，影響過濾結(jié)果，針對該問題，本文在過濾系統(tǒng)中引入概念因素，利用同義詞詞典對用戶模板進(jìn)行概念擴充，以解決同義詞問題，提高系統(tǒng)查全率。 另外，隨著文本過濾的進(jìn)行，用戶的需求可能會不斷變化。構(gòu)造一個好的過濾模板雖然可以在沒有

3、反饋學(xué)習(xí)的情況下取得較好的過濾效果，但不論采用什么樣的方法建立的初始過濾模板都只是對用戶需求的一種粗糙的近似表達(dá)。因此，在過濾精度要求較高的情況下，需要在過濾系統(tǒng)中引入機器學(xué)習(xí)的機制。本文利用用戶的反饋信息，采用改進(jìn)的自適應(yīng)學(xué)習(xí)的方法，及時的對用戶模板進(jìn)行修改，以提高系統(tǒng)過濾精度。 本文借鑒其它文本過濾系統(tǒng)的優(yōu)點，充分考慮系統(tǒng)的查全率、查準(zhǔn)率及可實現(xiàn)性等，給出一種改進(jìn)的中文文本過濾原型系統(tǒng)，并利用Java技術(shù)對整個過濾系統(tǒng)的功能