基于文本分類技術(shù)的信息過濾方法的研究.pdf

1、Internet的迅速發(fā)展給人們帶來諸多方便的同時，也帶來了諸如信息過載、信息迷失、色情和暴力充斥網(wǎng)上等很多問題，為解決這些問題，信息過濾應(yīng)運而生。中文文本信息過濾是中文信息處理的一個分支，它是根據(jù)用戶的需求，在動態(tài)的信息流中搜索用戶感興趣的信息，屏蔽其它無用的信息。但傳統(tǒng)的基于關(guān)鍵字或基于IP地址的過濾等過濾技術(shù)已不能很有效的解決這些問題，由此該課題對基于文本分類技術(shù)的過濾方法進行深入研究，希望能對網(wǎng)絡(luò)信息內(nèi)容進行分析，達到對網(wǎng)絡(luò)信息

2、的安全過濾。 本課題將文本分類技術(shù)應(yīng)用到中文信息過濾領(lǐng)域，提出了一種基于文本分類技術(shù)的信息過濾算法。首先對網(wǎng)絡(luò)中收集的文本進行預(yù)處理工作，改進的預(yù)處理方法使兩個字以上的純中文詞成為代表文本信息的特征項。其次，該文借助向量空間模型的思想，將文本表示為向量空間的形式，并在此基礎(chǔ)上結(jié)合詞的屬性特征來分析文本的整體特征。該系統(tǒng)還根據(jù)用戶的過濾需求，從用戶預(yù)先收集的訓(xùn)練樣本中提取出信息特征過濾模型作為匹配模板，再根據(jù)待測文本與信息特征過濾

3、模型的匹配情況來判定待測文本是否滿足用戶過濾需求。同時，由于基于統(tǒng)計的文本過濾技術(shù)忽略了文本中的語義約束，不能真正達到對文本的智能分析，所以在該算法中還引入了局部語義分析，不僅從整體特征還從局部特征對文本進行分析，綜合考慮了文本的統(tǒng)計特性和知識特性兩方面因素，從而實現(xiàn)了對文本的分析過濾，經(jīng)初步測試獲得了對特定文本信息安全過濾的較好效果。實驗結(jié)果表明，論文中所提出的算法能夠?qū)ξ谋局械拿舾行畔⑦M行識別，從而實現(xiàn)了對文本內(nèi)容的分析，達到對文本