搜索引擎的數(shù)據(jù)分析系統(tǒng)

1、搜索引擎的數(shù)據(jù)分析系統(tǒng)搜索引擎的數(shù)據(jù)分析系統(tǒng)來源:史占強作者:zjkszq19892012071208:41我來投稿參與評論數(shù)據(jù)分析系統(tǒng)，是搜索引擎整個工作流程的第二個系統(tǒng)，也就是既搜索引擎蜘蛛抓取系統(tǒng)的后一個系統(tǒng)，搜索引擎的數(shù)據(jù)分析系統(tǒng)主要用來處理蜘蛛抓取回來的網(wǎng)頁，今天呢，小強會給你詳細的講解，搜索引擎的數(shù)據(jù)分析系統(tǒng)的工作流程及幾個重要的知識點。我們剛剛說了，數(shù)據(jù)分析系統(tǒng)主要是分析蜘蛛抓取回來的內容，那么怎樣分析呢主要涵蓋以下幾點。

2、網(wǎng)頁結構化網(wǎng)頁結構化什么是網(wǎng)頁結構化呢我們要知道網(wǎng)頁，是由html組成，搜索引擎蜘蛛最后抓取回來的，也都是html的代碼頁面，簡單的說，網(wǎng)頁結構化，就是刪掉html代碼，然后留下其中的內容，如下圖，圖1是網(wǎng)頁結構化之前，圖2就是網(wǎng)頁結構化之后。網(wǎng)頁結構化之后網(wǎng)頁的內容消噪網(wǎng)頁的內容消噪在網(wǎng)頁結構后之后，依然存在著一些搜索引擎不需要的內容，比如說導航欄的菜單文字，底部的版權信息等，這些呢，都是搜索引擎不需要的，搜索引擎只需要內容，那么在這

3、個時候就會對網(wǎng)頁結構化之后的內容進行消噪處理，簡單的說，消噪就是把內容之外的文字全部刪掉，比如菜單上的文字，底部版權的文字等等。那么搜索引擎的數(shù)據(jù)分析系統(tǒng)怎么判斷哪些是菜單文字哪些是版權信息呢其實很簡單，就是對比，比如一個內容頁，除了內容不一樣，其他的內容幾乎一樣，比如導航，每個頁面都有導航，而且文字也一樣，版權也是，當然也會根據(jù)html的源碼去分析。對頁面的查重對頁面的查重對頁面的查重其實很好理解，就是搜索引擎蜘蛛在抓取你這個網(wǎng)站所有