基于對象的領域搜索.pdf

1、萬維網(wǎng)（World Wide Web）信息的爆炸性增長使Web已經(jīng)成為世界上最大的信息庫。面對這個海量、異構、半結構化的信息庫，Web用戶經(jīng)常發(fā)現(xiàn)要查找到所需的信息需要耗費大量的精力，甚至難以找到，造成了“信息過載，知識匱乏”的問題。為了解決這個問題，在Web信息檢索領域產生了一個新的研究課題，領域搜索引擎。它的基本思想可以概括為：與通用的搜索引擎不同，只對一個特定領域內的網(wǎng)頁集合，以方便、有效的檢索方式滿足用戶的信息檢索需求。它的理論

2、和技術基礎主要包括機器學習、信息檢索、概率統(tǒng)計理論和Web新技術。在很多應用領域，例如學術搜索，電子商務搜索，都有很好的應用前景，與現(xiàn)有的Web搜索引擎可以形成良好的互補。 基于對象的領域搜索是微軟亞洲研究院在2005年的萬維網(wǎng)大會(World Wide Web Conference 2005)上提出的新理念。這一理念融合了數(shù)據(jù)庫和信息檢索這兩個領域的主要技術，認為當一個搜索引擎只集中于處理一個特定領域的Web頁面的話，應該能

3、夠提供比基于頁面的搜索更好的服務，可以有相對自動化的方法從Web頁面中獲得這個特定領域所關心的對象，提供對象一級的搜索。 本文將對基于對象的領域搜索引擎的數(shù)據(jù)倉庫型的解決方案進行討論，對幾大核心技術進行分析，包括對象的抽取，對象的集成，對象的搜索，以及領域搜索引擎的聚焦爬蟲。同時，本文通過對兩個領域的數(shù)據(jù)集的實驗，旅游和學術搜索，來研究一些新技術的可行性，包括對象的識別，對象的搜索，以及領域搜索的聚焦爬蟲。 本文的主要

4、創(chuàng)新工作在于以下幾方面： 1. 首先，在分析了現(xiàn)有主題爬蟲由于缺少增量學習能力而影響系統(tǒng)性能的基礎上，本文提出了基于增量學習的主題爬蟲系統(tǒng)，使頁面分類器和超鏈接評價器具有增強學習能力，改進了現(xiàn)有的主題爬蟲的體系結構，使主題爬蟲在爬行過程中能夠在線的學習，具有更強的自適應性，快速優(yōu)化爬行策略； 2. 對象識別是提供高質量的Web對象的基礎，因此對象識別的準確率對于基于對象的領域搜索至關重要?，F(xiàn)有的方法主要集中在利用對象的

5、屬性信息來解決對象識別的問題，本文對一種新的對象識別的方法進行了研究，即利用本地數(shù)據(jù)集上的實體關系的連通性來解決對象識別。此外，本文還提出了利用無結構化的Web文檔集來輔助本地數(shù)據(jù)集的對象識別，并通過再DBLP的實驗中看到了準確率有較大的提高； 3. 基于對象的檢索比一般的網(wǎng)頁檢索提出了更高的檢索精度要求，因此有必要提出高質量的Web檢索算法。與網(wǎng)頁中的一般文本不同，錨文本是一種較為客觀的文本，對錨文本相似性的研究與同樣的超鏈