基于語義分析的網(wǎng)絡(luò)過濾設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷普及，越來越多的應(yīng)用服務(wù)出現(xiàn)在互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)已成為信息匯聚的集散地，瀏覽者可以從網(wǎng)絡(luò)上汲取豐富多彩的資訊。但是這些信息難免良莠不齊，如何從中這些海量數(shù)據(jù)中去蕪存菁，是當(dāng)前社會面臨一個重要問題。IF(過濾)是一個較好的解決方案。網(wǎng)絡(luò)信息過濾是綜合使用技術(shù)和非技術(shù)的手段包括軟件和硬件的協(xié)同工作對待瀏覽信息進行動態(tài)的屏蔽的過程。為了提高資訊獲取的效率，推行貼近用戶的個性化和專業(yè)化服務(wù)，減少不良信息對瀏覽者的視覺污染是信息過濾

2、技術(shù)的應(yīng)用重要職能。這對幫助用戶獲取信息，減輕瀏覽者的查詢時間和避免用戶受到無端干擾和侵害是十分有必要的。
　　 本篇首先對互聯(lián)網(wǎng)不良信息從法律、道德兩個方面進行特征分析，然后對不良信息進行分類，給出不良信息的多方標記和分級方法，歸納總結(jié)不良信息的危害性和傳播途徑。在此基礎(chǔ)上，研究基于URL和內(nèi)容的互聯(lián)網(wǎng)不良信息綜合過濾技術(shù)。該過濾技術(shù)分梯次使用URL過濾算法和文本內(nèi)容過濾算法。其中URL過濾算法包括基于黑名單的過濾算法以及基于

3、白名單的過濾算法，文本內(nèi)容過濾算法又分為關(guān)鍵字匹配算法和潛在語義索引算法(LSI)。
　　 本文所提的綜合過濾算法采用多層次過濾策略。第一層使用URL進行過濾，通過黑白名單來決定是否對HTTP請求進行過濾；第二層是文本內(nèi)容過濾，其中又分為兩層，首先是進行關(guān)鍵字匹配，然后使用潛在語義索引算法進行過濾。該多層次過濾方案不僅具有良好的性能，實現(xiàn)了高吞吐量過濾，而且取得了較為準確的過濾效果。
　　 最后基于上述不良信息過濾算法，