基于Web的實(shí)體信息提取和搜索研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)呈爆炸式的增長(zhǎng),因此高效的信息檢索技術(shù)對(duì)于幫助用戶獲取有用的信息具有重要的意義。目前搜索引擎技術(shù)已經(jīng)取得了很大的進(jìn)步,能夠基本滿足用戶對(duì)信息檢索的需求。但是目前搜索引擎技術(shù)大部分是基于頁(yè)面層的搜索,該技術(shù)存在固有的缺陷,查詢結(jié)果是以網(wǎng)頁(yè)鏈接的形式返回給用戶,用戶需要自己尋找信息所在的網(wǎng)頁(yè)。但是在很多情況下,用戶搜索的目標(biāo)是實(shí)體信息,如論文、地名、商品信息等。本文針對(duì)實(shí)體層的搜索技術(shù)進(jìn)行了研究,在已有的

2、研究成果的基礎(chǔ)上,提出了一些新的解決方法。本文的主要工作包括:
　　1、提出了一種基于鏈接模版樹(shù)的垂直爬蟲(chóng)技術(shù),通過(guò)對(duì)目標(biāo)網(wǎng)站鏈接進(jìn)行分析,使用鏈接模版來(lái)歸納需要下載的鏈接,構(gòu)建正則鏈接樹(shù)來(lái)導(dǎo)航爬蟲(chóng)的下載路徑,解決了網(wǎng)頁(yè)中存在的隧道問(wèn)題。實(shí)驗(yàn)中,在開(kāi)源爬蟲(chóng) Nutch的基礎(chǔ)上,以插件的形式實(shí)現(xiàn)本文提出的爬蟲(chóng)算法,經(jīng)過(guò)比較,本文提出的方法能夠取得較好的召回率和效率。
　　2、提出了一種基于DOM樹(shù)和XSL的實(shí)體信息抽取方法。首

3、先對(duì)下載的Web頁(yè)面進(jìn)行預(yù)處理,通過(guò)訓(xùn)練數(shù)據(jù)提取出網(wǎng)頁(yè)中實(shí)體信息所在的路徑規(guī)則,然后通過(guò)XSL將Web頁(yè)面中的實(shí)體信息轉(zhuǎn)換為XML文件。也對(duì)頁(yè)面中出現(xiàn)多實(shí)體提取的情況,提出了相應(yīng)的解決方案。在單實(shí)體提取方法的基礎(chǔ)上,先提取頁(yè)面中的最大數(shù)據(jù)子樹(shù),然后在最大數(shù)據(jù)子樹(shù)中提取多實(shí)體規(guī)則,來(lái)實(shí)現(xiàn)多實(shí)體信息的提取。實(shí)驗(yàn)結(jié)果表明,本文提出的實(shí)體信息提取方法能夠有效地提取實(shí)體信息。
　　3、提出了適用于實(shí)體的索引結(jié)構(gòu),并對(duì) Lucene的評(píng)分算法