搜索引擎的數(shù)據(jù)分析系統(tǒng)

1、搜索引擎的數(shù)據(jù)分析系統(tǒng)搜索引擎的數(shù)據(jù)分析系統(tǒng)來(lái)源:史占強(qiáng)作者:zjkszq19892012071208:41我來(lái)投稿參與評(píng)論數(shù)據(jù)分析系統(tǒng)，是搜索引擎整個(gè)工作流程的第二個(gè)系統(tǒng)，也就是既搜索引擎蜘蛛抓取系統(tǒng)的后一個(gè)系統(tǒng)，搜索引擎的數(shù)據(jù)分析系統(tǒng)主要用來(lái)處理蜘蛛抓取回來(lái)的網(wǎng)頁(yè)，今天呢，小強(qiáng)會(huì)給你詳細(xì)的講解，搜索引擎的數(shù)據(jù)分析系統(tǒng)的工作流程及幾個(gè)重要的知識(shí)點(diǎn)。我們剛剛說(shuō)了，數(shù)據(jù)分析系統(tǒng)主要是分析蜘蛛抓取回來(lái)的內(nèi)容，那么怎樣分析呢主要涵蓋以下幾點(diǎn)。

2、網(wǎng)頁(yè)結(jié)構(gòu)化網(wǎng)頁(yè)結(jié)構(gòu)化什么是網(wǎng)頁(yè)結(jié)構(gòu)化呢我們要知道網(wǎng)頁(yè)，是由html組成，搜索引擎蜘蛛最后抓取回來(lái)的，也都是html的代碼頁(yè)面，簡(jiǎn)單的說(shuō)，網(wǎng)頁(yè)結(jié)構(gòu)化，就是刪掉html代碼，然后留下其中的內(nèi)容，如下圖，圖1是網(wǎng)頁(yè)結(jié)構(gòu)化之前，圖2就是網(wǎng)頁(yè)結(jié)構(gòu)化之后。網(wǎng)頁(yè)結(jié)構(gòu)化之后網(wǎng)頁(yè)的內(nèi)容消噪網(wǎng)頁(yè)的內(nèi)容消噪在網(wǎng)頁(yè)結(jié)構(gòu)后之后，依然存在著一些搜索引擎不需要的內(nèi)容，比如說(shuō)導(dǎo)航欄的菜單文字，底部的版權(quán)信息等，這些呢，都是搜索引擎不需要的，搜索引擎只需要內(nèi)容，那么在這

3、個(gè)時(shí)候就會(huì)對(duì)網(wǎng)頁(yè)結(jié)構(gòu)化之后的內(nèi)容進(jìn)行消噪處理，簡(jiǎn)單的說(shuō)，消噪就是把內(nèi)容之外的文字全部刪掉，比如菜單上的文字，底部版權(quán)的文字等等。那么搜索引擎的數(shù)據(jù)分析系統(tǒng)怎么判斷哪些是菜單文字哪些是版權(quán)信息呢其實(shí)很簡(jiǎn)單，就是對(duì)比，比如一個(gè)內(nèi)容頁(yè)，除了內(nèi)容不一樣，其他的內(nèi)容幾乎一樣，比如導(dǎo)航，每個(gè)頁(yè)面都有導(dǎo)航，而且文字也一樣，版權(quán)也是，當(dāng)然也會(huì)根據(jù)html的源碼去分析。對(duì)頁(yè)面的查重對(duì)頁(yè)面的查重對(duì)頁(yè)面的查重其實(shí)很好理解，就是搜索引擎蜘蛛在抓取你這個(gè)網(wǎng)站所有