中文web文本過濾技術(shù)研究.pdf

1、隨著Internet的日益普及，人們對網(wǎng)絡(luò)的依賴程度越來越高，互聯(lián)網(wǎng)的平等性、開放性、無界性等導致了網(wǎng)絡(luò)的無限制濫用，大量的垃圾及敏感信息充斥于網(wǎng)絡(luò)，特別是對廣大青少年學生，一些“有害信息”正在威脅著他們的身心健康。如何協(xié)助用戶更加方便有效地利用現(xiàn)有的網(wǎng)絡(luò)資源，并且從中獲得真正有用的信息，是信息處理的一個研究方向。
　　當前的網(wǎng)頁過濾系統(tǒng)主要采用URL過濾和關(guān)鍵字過濾的技術(shù)，而這些技術(shù)在網(wǎng)頁過濾的準確性和速度方面都存在不足。要提高

2、網(wǎng)頁過濾的準確性和速度，必須對網(wǎng)頁內(nèi)容進行深度分析。網(wǎng)頁是一種結(jié)構(gòu)化的文檔，DOM是一個針對HTML和XML文檔進行靈活操作的編程接口。在對網(wǎng)頁結(jié)構(gòu)進行詳細分析后，本文提出了按照結(jié)構(gòu)對網(wǎng)頁進行解析，利用DOM技術(shù)提取網(wǎng)頁文檔的不同元素中的文本內(nèi)容的方法。
　　本文首先闡述web上信息過濾的基本問題，包括信息過濾的基本原理、過濾系統(tǒng)的一般處理流程、過濾系統(tǒng)的分類以及過濾系統(tǒng)的性能評價指標等。然后，著重對web文本內(nèi)容過濾中涉及的關(guān)鍵

3、技術(shù)進行深入地分析和探討，主要包括中文分詞技術(shù)、文本特征提取技術(shù)、用戶興趣模型的表示與更新以及文本過濾技術(shù)。針對當前網(wǎng)頁信息提取技術(shù)提取效率低的現(xiàn)狀，本文提出了基于HTML樹和內(nèi)容分析的可適應(yīng)性信息抽取方法。針對向量空間模型過濾器對網(wǎng)頁結(jié)構(gòu)不分權(quán)重，使得過濾性能低的原因，本文改進了向量空間模型的文本向量表示形式，實驗結(jié)果驗證了改進的向量空間模型更適合網(wǎng)頁文本的過濾。在此研究基礎(chǔ)上，設(shè)計了一個中文web過濾原型系統(tǒng)，并對系統(tǒng)總體框架、功能