文本內(nèi)容過濾的關(guān)鍵技術(shù)研究及實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)“信息過載”與“不良信息泛濫”現(xiàn)象日益嚴(yán)重，這也成為推動信息過濾技術(shù)和信息檢索技術(shù)發(fā)展的動力。無論是信息過濾技術(shù)還是信息檢索技術(shù)，其實質(zhì)都是根據(jù)網(wǎng)頁內(nèi)容對網(wǎng)頁進行分類。文本自動分類是大規(guī)模信息處理領(lǐng)域重要的應(yīng)用技術(shù)之一，也是信息處理領(lǐng)域的重要研究方向，文本分類技術(shù)已經(jīng)逐漸與搜索引擎、信息推送、信息過濾等信息處理技術(shù)相結(jié)合，這些技術(shù)的融合能有效地提高信息服務(wù)的質(zhì)量。 本文在中文文本自動分類方面做了一些有益

2、的探索，對中文文本分類的相關(guān)技術(shù)一中文分詞、文本表示、特征提取、文本分類算法以及利用文本分類進行網(wǎng)頁信息過濾等方面做了一些探討，著重研究了網(wǎng)頁信息的自動提取技術(shù)以及支持向量機文本分類算法。并對真實中文文本進行了實驗，在對文本進行預(yù)處理后，用向量空間模型表示文本，用互信息和詞頻相結(jié)合的方式對文本進行特征提取，然后用支持向量機的一種變形——C-支持向量機來訓(xùn)練文本分類機，通過對文本分類機的測試，表明C-支持向量機用于文本分類具有較高的準(zhǔn)確率