智能Web廣告爬蟲(chóng)系統(tǒng)研究.pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)越來(lái)越深入的影響人們的日常生活，互聯(lián)網(wǎng)也演變?yōu)槌娨?、?bào)紙外一個(gè)非常重要的廣告?zhèn)鞑ッ浇椤eb廣告由于其覆蓋面廣、交互性強(qiáng)等特質(zhì)，吸引了眾多的廣告主在互聯(lián)網(wǎng)上進(jìn)行營(yíng)銷(xiāo)。在互聯(lián)網(wǎng)上投放的廣告數(shù)據(jù)非常之多，收集這些數(shù)據(jù)是一份很有意義的工作，但是目前卻沒(méi)有針對(duì)這些Web廣告數(shù)據(jù)的采集器。
　　本文提出并設(shè)計(jì)了一個(gè)Web廣告爬蟲(chóng)系統(tǒng)，專門(mén)用來(lái)收集互聯(lián)網(wǎng)中的廣告數(shù)據(jù)。本文主要做了如下三個(gè)方面的工作：
　　(1)設(shè)計(jì)了

2、針對(duì)Web廣告信息抓取的爬行策略，爬行策略通過(guò)計(jì)算URL種子的權(quán)重來(lái)安排 URL種子的下載順序。結(jié)合 Web廣告爬蟲(chóng)系統(tǒng)要抓取的廣告對(duì)象類(lèi)型和Web廣告的投放方法，提出了已下載頁(yè)面權(quán)重計(jì)算方法和種子鏈接權(quán)重計(jì)算方法，計(jì)算已下載頁(yè)面權(quán)重，結(jié)合一些全局統(tǒng)計(jì)知識(shí)進(jìn)一步計(jì)算種子鏈接的權(quán)重；
　　(2)通過(guò)觀察和分析大量不同類(lèi)型網(wǎng)頁(yè)中的廣告數(shù)據(jù)，設(shè)計(jì)了針對(duì)Web廣告信息的抽取方法，用于抽取網(wǎng)頁(yè)中的廣告數(shù)據(jù)。該方法根據(jù)網(wǎng)頁(yè)中的廣告數(shù)據(jù)呈現(xiàn)出來(lái)

3、的局部性和聚集性，利用聚類(lèi)算法將網(wǎng)頁(yè)中的所有超鏈接聚合成超鏈接塊，然后用啟發(fā)式規(guī)則判斷鏈接塊的類(lèi)別性質(zhì)，如果判斷是廣告塊，抽取廣告塊中的廣告數(shù)據(jù)；
　　(3)在以上研究成果的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)智能Web廣告爬蟲(chóng)系統(tǒng)，該系統(tǒng)從預(yù)設(shè)的URL種子開(kāi)始，自動(dòng)的從互聯(lián)網(wǎng)中下載網(wǎng)頁(yè)數(shù)據(jù)，然后抽取網(wǎng)頁(yè)中的廣告數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，智能Web廣告爬蟲(chóng)系統(tǒng)的爬行策略與廣度優(yōu)先策略和深度優(yōu)先策略相比，能夠更高效的抓取互聯(lián)網(wǎng)中的廣告數(shù)據(jù)，同時(shí)，廣告信