垂直搜索關(guān)鍵技術(shù)研究與設(shè)計.pdf

1、隨著信息技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)成為人們獲取信息的主要手段。為了幫助人們在浩如煙海的互聯(lián)網(wǎng)中得到有用的信息，基于 Internet的各類信息檢索服務(wù)應(yīng)運而生并得到了迅速發(fā)展。目前，人們在互聯(lián)網(wǎng)上搜索信息主要是通過Google、百度等通用搜索引擎，這類搜索引擎的功能已十分強大，在一般情況下可以滿足用戶的需求。然而，當(dāng)用戶只想查詢具體某專業(yè)、某行業(yè)或某種主題的相關(guān)信息時，這類搜索引擎就會顯得有些力不從心，垂直搜索引擎的出現(xiàn)就是為了解決這類問題。

2、因為它服務(wù)于特定領(lǐng)域，注重于專業(yè)化與結(jié)構(gòu)化 Web信息的整合，定向分字段抽取出需要的數(shù)據(jù)進行處理后再以某種形式返回給用戶。
　　本文針對垂直搜索研究熱點，主要研究內(nèi)容有以下四個方面：
　?。?）結(jié)合國內(nèi)外研究現(xiàn)狀、關(guān)鍵技術(shù)及存在問題，針對垂直搜索進行了理論性的分析，介紹了垂直搜索概念、優(yōu)勢、關(guān)鍵技術(shù)及其發(fā)展方向。
　?。?）主題爬蟲必須解決的三個主要問題：一是對各異構(gòu)Web數(shù)據(jù)源的抓取目標的描述或定義；二是對網(wǎng)頁或數(shù)據(jù)

3、的分析與過濾；三是對URL的搜索策略。針對以上三個問題，本文提出了基于Heritrix開源爬蟲的聚焦網(wǎng)絡(luò)爬蟲設(shè)計。通過抓取過程策略與算法分析、抓取過程數(shù)據(jù)流圖設(shè)計及擴展與定制Heritrix完成了特定網(wǎng)頁的抓取。
　?。?）“結(jié)構(gòu)化”是垂直搜索的特征之一，即垂直搜索要利用信息抽取技術(shù)把網(wǎng)頁打碎，從中提取出精細化、條目化的信息，存放到數(shù)據(jù)庫中。為了完成網(wǎng)頁結(jié)構(gòu)化數(shù)據(jù)抽取，本文結(jié)合現(xiàn)在的網(wǎng)頁結(jié)構(gòu)化信息抽取技術(shù)，提出了Web實體提取方法

4、。并在文中闡述了Web實體提取的定義、原理、方法及實現(xiàn)。并通過實驗驗證了該方法的可行性，滿足了垂直搜索對網(wǎng)頁結(jié)構(gòu)化數(shù)據(jù)抽取的需求。
　?。?）在現(xiàn)有的研究基礎(chǔ)上，設(shè)計了一個實際的新書信息垂直搜索系統(tǒng)。該系統(tǒng)根據(jù)垂直搜索的架構(gòu)和運行原理而設(shè)計，容納了垂直搜索引擎的關(guān)鍵技術(shù)，滿足了實際的應(yīng)用需求。并且具備良好的可擴展性和可修改性，有較好的實際應(yīng)用價值。
　　本文的貢獻主要在于合理地整合運用了開源項目，提出了Web實體提取方法，采