基于網(wǎng)站內(nèi)容框架的聚焦爬蟲(chóng)算法的優(yōu)化和實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的急速發(fā)展，網(wǎng)絡(luò)信息量以飛快的速度進(jìn)行增長(zhǎng)，搜索引擎成為人們生活中獲取信息的不可缺少的方式之一，在現(xiàn)代搜索引擎中，爬蟲(chóng)起到了至關(guān)重要的作用，它是搜索引擎的核心，通過(guò)爬蟲(chóng)獲取足夠數(shù)量和質(zhì)量的網(wǎng)頁(yè)后，搜索引擎才可以依據(jù)索引技術(shù)為用戶(hù)提供基于關(guān)鍵字搜索的服務(wù)。然而隨著網(wǎng)頁(yè)的爆發(fā)性增長(zhǎng)，具有相同主題的網(wǎng)站日漸增多，如何快速的抓取網(wǎng)頁(yè)，更加準(zhǔn)確的分析網(wǎng)頁(yè)信息并且將爬取策略有效的整合到爬蟲(chóng)系統(tǒng)中成為了現(xiàn)在網(wǎng)絡(luò)爬蟲(chóng)的系統(tǒng)的一個(gè)核心問(wèn)題，也

2、是搜索引擎面臨的主要問(wèn)題。
　　本文從互聯(lián)網(wǎng)較為常見(jiàn)的網(wǎng)站的主題作為基礎(chǔ)研究方向，通過(guò)站在網(wǎng)站運(yùn)營(yíng)的角度和網(wǎng)站設(shè)計(jì)的理念上對(duì)網(wǎng)頁(yè)框架進(jìn)行分析，總結(jié)出現(xiàn)今網(wǎng)站建設(shè)中的主題的相似性，并提取出符合當(dāng)前網(wǎng)站性質(zhì)的主題框架，根據(jù)框架的行為確定當(dāng)前網(wǎng)頁(yè)的主題方向，運(yùn)用現(xiàn)有的研究思路對(duì)網(wǎng)頁(yè)模型進(jìn)行分析，并分析現(xiàn)有算法在解決網(wǎng)頁(yè)模型中的優(yōu)點(diǎn)和不足，以軟件工程的思想為指導(dǎo)，在一定的理論基礎(chǔ)上提出相關(guān)問(wèn)題的解決方案的設(shè)想，隨后設(shè)計(jì)并實(shí)現(xiàn)基于主題框架的