多頁(yè)面特殊網(wǎng)頁(yè)文字提取與合并技術(shù)研究.pdf

1、網(wǎng)頁(yè)中的文字,包含的信息量大、易于復(fù)用、占用空間小,是網(wǎng)頁(yè)種類信息中占絕對(duì)比例的信息形式,也是人們從網(wǎng)頁(yè)提取的所有信息中最多的形式。目前,Web挖掘的研究正處于發(fā)展階段,在普通網(wǎng)頁(yè)的文字提取研究領(lǐng)域也已形成眾多理論。
　　 然而有一類網(wǎng)頁(yè),由于采用了腳本,導(dǎo)致網(wǎng)頁(yè)在打開時(shí)執(zhí)行腳本而使計(jì)算機(jī)軟件系統(tǒng)受到惡意代碼入侵,或打開后的網(wǎng)頁(yè)文字受廣告因素等影響而無(wú)法被正常瀏覽,或被腳本限制而使文字無(wú)法被復(fù)制提取。這類特殊網(wǎng)頁(yè)的文本相對(duì)普通網(wǎng)

2、頁(yè)更有價(jià)值,特別是此類網(wǎng)頁(yè)經(jīng)常被網(wǎng)絡(luò)犯罪份子利用來(lái)為他們的活動(dòng)隱匿證據(jù),網(wǎng)絡(luò)監(jiān)察部門進(jìn)行網(wǎng)絡(luò)犯罪的取證,必須采用一定的技術(shù)。
　　 本文深入分析了網(wǎng)頁(yè)腳本的編制及工作原理,采用運(yùn)行期類型信息技術(shù)和擴(kuò)展腳本技術(shù)從手工提取和自動(dòng)提取兩個(gè)角度提出了特殊網(wǎng)頁(yè)文本的提取與合并方案,并解決了過(guò)濾干擾碼問(wèn)題。其主要工作為:
　　 研究發(fā)現(xiàn)所有特殊網(wǎng)頁(yè)的限制功能都來(lái)源于其源代碼中的腳本,研究采用擴(kuò)展腳本屏蔽其限制功能,將特殊網(wǎng)頁(yè)普通化；

3、網(wǎng)頁(yè)中的干擾碼都是在正文中插入的顏色為背景色的其他字符,研究擴(kuò)展腳本限制干擾碼發(fā)揮作用,達(dá)到過(guò)濾干擾碼的目的；提出運(yùn)行期類型信息技術(shù),開發(fā)軟件,繞過(guò)惡意腳本,并自動(dòng)提取文本；研究多頁(yè)面的相似性,通過(guò)記錄第一頁(yè)面的提取點(diǎn)和搜索鏈接地址,自動(dòng)提取多頁(yè)面文本進(jìn)行合并；開發(fā)出軟件模型,測(cè)試其對(duì)普通網(wǎng)頁(yè)、特殊網(wǎng)頁(yè)中的文字的自動(dòng)提取能力和自動(dòng)過(guò)濾干擾碼的能力。
　　 實(shí)驗(yàn)證明,論文提出的所有方法均能有效抵制對(duì)文本提取的限制,而基于RTTI技