基于切片的Web資源爬蟲(chóng)的設(shè)計(jì)與優(yōu)化研究.pdf

1、在手機(jī)等移動(dòng)設(shè)備越來(lái)越普遍的現(xiàn)在，移動(dòng)學(xué)習(xí)在漸漸成為我們學(xué)習(xí)的重要方法之一。移動(dòng)學(xué)習(xí)資源的質(zhì)量以及數(shù)量是至關(guān)重要的，在豐富的互聯(lián)網(wǎng)大背景之下，我們可以借助于網(wǎng)絡(luò)爬蟲(chóng)從網(wǎng)絡(luò)中抓取豐富的學(xué)習(xí)資源，對(duì)之加以改造，可以加工成適合于移動(dòng)學(xué)習(xí)的學(xué)習(xí)資源。由于移動(dòng)學(xué)習(xí)時(shí)間的片段性和即時(shí)性、地點(diǎn)的不確定性、等特點(diǎn)，在使用網(wǎng)絡(luò)爬蟲(chóng)從網(wǎng)絡(luò)中抓取資源的時(shí)候，要盡可能多的抓取圖片、視頻、音頻、Flash等多媒體資源，同時(shí)也要保證資源跟學(xué)習(xí)主題的相關(guān)性。在我們已

2、有的基礎(chǔ)教育平臺(tái)中的網(wǎng)絡(luò)爬蟲(chóng)可以實(shí)現(xiàn)基本的數(shù)據(jù)的抓取，要實(shí)現(xiàn)針對(duì)于移動(dòng)學(xué)習(xí)資源的抓取還需要對(duì)爬蟲(chóng)進(jìn)行進(jìn)一步改造。本文中主要對(duì)爬蟲(chóng)進(jìn)行了以下的改進(jìn):
　　1.對(duì)移動(dòng)學(xué)習(xí)所需資源進(jìn)行分析，確定了在爬蟲(chóng)中需要采集的資源類(lèi)型以及這些資源在網(wǎng)頁(yè)中的表現(xiàn)形式;
　　2.對(duì)標(biāo)準(zhǔn)的網(wǎng)頁(yè)DOM樹(shù)結(jié)構(gòu)進(jìn)行擴(kuò)展，并根據(jù)鏈接在網(wǎng)頁(yè)中語(yǔ)義上聚集成塊的特點(diǎn)，對(duì)網(wǎng)頁(yè)中的鏈接在擴(kuò)展的DOM樹(shù)的基礎(chǔ)之上進(jìn)行分塊，并根據(jù)噪音鏈接的特點(diǎn)對(duì)其進(jìn)行過(guò)濾，并抽取相關(guān)的