中文信息過濾技術(shù)的研究與應(yīng)用.pdf

1、Internet的迅速發(fā)展在給人們的生活帶來極大方便的同時，也帶來了諸如“信息過載”“信息迷向”等問題，信息過濾技術(shù)應(yīng)運而生。信息過濾就是根據(jù)用戶的信息需求，在動態(tài)的信息流中搜索用戶感興趣的信息，屏蔽其它無用和不良的信息。 本文首先介紹了信息過濾技術(shù)的提出背景、發(fā)展歷史、研究現(xiàn)狀和應(yīng)用價值，隨后綜述了信息過濾的特點、模型，信息過濾系統(tǒng)的體系結(jié)構(gòu)、分類、實現(xiàn)技術(shù)和評估方法。 文本是當前Internet上信息最主要的表現(xiàn)形式

2、，中文文本過濾的相關(guān)技術(shù)是本文的研究重點。本文在對信息過濾系統(tǒng)的體系結(jié)構(gòu)和文本過濾的原型研究的基礎(chǔ)上，給出了一個基于向量空間模型的中文文本過濾的邏輯模型。 中文文本的特征項抽取和表示是中文文本過濾基礎(chǔ)。獲取中文文本的表示需要經(jīng)過分詞、停用詞處理、特征項抽取和特征項權(quán)重計算等過程，本文對這幾個過程進行了詳細的研究并提出了一種基于位置加權(quán)的特征項權(quán)重計算方法。 用戶信息需求是文本過濾的依據(jù)，本文探討了獲取用戶信息需求的方式和

3、方法，給出了向量空間模型下用戶模板的表示方法，并對采用相關(guān)反饋技術(shù)進行用戶模板的優(yōu)化和更新策略進行了討論。 針對中文文本層次結(jié)構(gòu)的特點，本文提出了一種基于N層向量空間模型中文文本過濾方法，實驗表明該方法比傳統(tǒng)向量空間法具有更好的過濾性能。 在文本過濾中，查全率和查準率是一對矛盾。本文在引入了用戶主題不相關(guān)配置文件和不相關(guān)閾值的基礎(chǔ)上提出了一種兩重過濾方法，并以此方法為基礎(chǔ)設(shè)計并實現(xiàn)了一個基于N層向量空間模型的文本過濾系統(tǒng)