基于向量空間模型的網(wǎng)頁(yè)信息過(guò)濾方法研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展帶動(dòng)了整個(gè)社會(huì)的發(fā)展與變革，電子商務(wù)的興起改變了人們的生活方式，給人們的生活帶來(lái)了極大便利。但隨著電子商務(wù)的快速發(fā)展，安全問(wèn)題越來(lái)越突出。網(wǎng)絡(luò)釣魚等非法站點(diǎn)的存在及迷信、色情、暴力和反動(dòng)信息的傳播嚴(yán)重威脅電子商務(wù)環(huán)境的內(nèi)容安全。因此，為了營(yíng)造一個(gè)安全、健康及和諧的電子商務(wù)環(huán)境，對(duì)不良網(wǎng)絡(luò)信息的過(guò)濾就顯得非常重要。然而傳統(tǒng)的基于關(guān)鍵字和URL的過(guò)濾技術(shù)，已不能有效地解決這些問(wèn)題。 本文介紹了內(nèi)容安全技術(shù)的現(xiàn)狀，將基于內(nèi)

2、容分析的信息過(guò)濾方法用于互聯(lián)網(wǎng)內(nèi)容安全的保護(hù)；研究了信息過(guò)濾中的中文分詞、文本表示和特征提取關(guān)鍵技術(shù)，在特征項(xiàng)權(quán)重計(jì)算方面，分析了HTML標(biāo)記對(duì)權(quán)重計(jì)算的影響，在改進(jìn)傳統(tǒng)TFIDF方法的基礎(chǔ)上，提出了一種基于HTML標(biāo)記加權(quán)的權(quán)重計(jì)算方法。 為了提高網(wǎng)頁(yè)信息過(guò)濾系統(tǒng)的準(zhǔn)確性，本文還進(jìn)行了網(wǎng)頁(yè)正文內(nèi)容抽取方法的研究，在分析了中文網(wǎng)頁(yè)布局的特點(diǎn)和網(wǎng)頁(yè)中中文標(biāo)點(diǎn)符號(hào)的分布特征后，提出了一種新的網(wǎng)頁(yè)正文抽取方法，該方法將中文標(biāo)點(diǎn)符號(hào)數(shù)及

3、非超鏈接文字?jǐn)?shù)與超鏈接所含文字?jǐn)?shù)的比值作為識(shí)別網(wǎng)頁(yè)正文內(nèi)容的重要特征。實(shí)驗(yàn)結(jié)果表明，該方法不僅通用性強(qiáng)，而且精確度高。 最后，本文提出了一種新的過(guò)濾方案并進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)：采用二級(jí)過(guò)濾策略，將基于URL的過(guò)濾技術(shù)和內(nèi)容過(guò)濾技術(shù)有機(jī)結(jié)合，僅對(duì)URL過(guò)濾后標(biāo)記為可疑的用戶請(qǐng)求進(jìn)行內(nèi)容過(guò)濾，并根據(jù)內(nèi)容過(guò)濾的結(jié)果更新URL列表，從而實(shí)現(xiàn)了URL過(guò)濾的實(shí)時(shí)性和高效性及內(nèi)容過(guò)濾的全面性。該網(wǎng)頁(yè)信息過(guò)濾系統(tǒng)采用Winsock 2 SPI進(jìn)行H