面向Web搜索的鏈接可用性分析與推測技術研究.pdf

1、Web信息數(shù)量過多、增長過快，使得搜索引擎成為人們在Web上查找和獲取信息的主要方式。Web上的信息分布存儲、規(guī)模巨大，且有大量不穩(wěn)定數(shù)據(jù)，加之網(wǎng)絡的不穩(wěn)定性，導致搜索引擎存在鏈接可用性問題，即搜索結果中有無法訪問或響應時間過長的鏈接。因此，進行鏈接可用性分析有實際應用價值。
　　本文在分析鏈接可用性影響因素的基礎上，提出基于搜索結果邏輯層次拓撲圖的鏈接可用性分析與推測方法，對方法中的核心概念進行解釋和定義，給出方法的總體過程，研

2、究并設計方法中的核心算法。通過將搜索結果邏輯層次拓撲圖轉換為一棵二叉樹，采用樹的層次構造思想完成拓撲圖構造。為獲得較好推測效果，抽樣算法應考慮總體的邏輯位置信息，提出基于拓撲圖的分層抽樣算法。提出基于HTTP請求和ICMP報文的鏈接可用性檢測算法，算法既能獲取服務器端的信息也可以獲取當前的網(wǎng)絡信息，從而能夠提高推測效果。通過分析HTTP響應信息和ICMP報文，制定鏈接可用性判定規(guī)則;根據(jù)檢測路徑越長鏈接可用概率越大的原則，制定鏈接可用性