安卓技術信息的主題爬蟲技術研究與實現(xiàn).pdf

1、為提高企業(yè)內安卓研發(fā)人員的工作效率，企業(yè)開發(fā)了安卓技術信息的垂直搜索引擎。在垂直搜索引擎中，最為基礎和底層的數(shù)據(jù)是由主題爬蟲提供的。因此主題爬蟲的能力決定了整個垂直搜索引擎在該領域上的專業(yè)程度。而主題爬蟲能夠找準方向進行爬行就能高效合理地到達垂直資源所在的位置，也就能高效率地獲得符合主題的資源。為此，本文將對主題爬蟲的核心部分——主題爬行策略展開論述，并針對策略中的兩個子功能網(wǎng)頁主題相關度判斷和隧道穿越進行研究與實現(xiàn)。因此論文比較了現(xiàn)有

2、的基于網(wǎng)頁內容和網(wǎng)頁鏈接結構多種算法的優(yōu)劣，并對安卓技術信息的資源進行分析制定專有的網(wǎng)頁主題相關度判斷方案，并實現(xiàn)穿越隧道的能力。其中主要貢獻如下：
　　(1)實現(xiàn)了參考谷歌的網(wǎng)頁排名算法并改進了鯊魚搜索對主題背景不適用的部分，最后結合一個參考網(wǎng)頁兄弟節(jié)點的綜合方案進行爬行;
　　(2)為了提高獲取主題資源的準確率，課題制定了基于向量空間模型對分類后的網(wǎng)頁內容進行主題相關度計算的方法;
　　(3)為擴大爬行結果在網(wǎng)站中