基于網(wǎng)站內(nèi)容框架的聚焦爬蟲算法的優(yōu)化和實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的急速發(fā)展，網(wǎng)絡(luò)信息量以飛快的速度進(jìn)行增長，搜索引擎成為人們生活中獲取信息的不可缺少的方式之一，在現(xiàn)代搜索引擎中，爬蟲起到了至關(guān)重要的作用，它是搜索引擎的核心，通過爬蟲獲取足夠數(shù)量和質(zhì)量的網(wǎng)頁后，搜索引擎才可以依據(jù)索引技術(shù)為用戶提供基于關(guān)鍵字搜索的服務(wù)。然而隨著網(wǎng)頁的爆發(fā)性增長，具有相同主題的網(wǎng)站日漸增多，如何快速的抓取網(wǎng)頁，更加準(zhǔn)確的分析網(wǎng)頁信息并且將爬取策略有效的整合到爬蟲系統(tǒng)中成為了現(xiàn)在網(wǎng)絡(luò)爬蟲的系統(tǒng)的一個(gè)核心問題，也

2、是搜索引擎面臨的主要問題。
　　本文從互聯(lián)網(wǎng)較為常見的網(wǎng)站的主題作為基礎(chǔ)研究方向，通過站在網(wǎng)站運(yùn)營的角度和網(wǎng)站設(shè)計(jì)的理念上對網(wǎng)頁框架進(jìn)行分析，總結(jié)出現(xiàn)今網(wǎng)站建設(shè)中的主題的相似性，并提取出符合當(dāng)前網(wǎng)站性質(zhì)的主題框架，根據(jù)框架的行為確定當(dāng)前網(wǎng)頁的主題方向，運(yùn)用現(xiàn)有的研究思路對網(wǎng)頁模型進(jìn)行分析，并分析現(xiàn)有算法在解決網(wǎng)頁模型中的優(yōu)點(diǎn)和不足，以軟件工程的思想為指導(dǎo)，在一定的理論基礎(chǔ)上提出相關(guān)問題的解決方案的設(shè)想，隨后設(shè)計(jì)并實(shí)現(xiàn)基于主題框架的