基于Web的電子產品信息抽取及分布式檢索技術研究.pdf

1、互聯(lián)網的快速發(fā)展和廣泛普及使得網站和網頁信息量呈爆炸性的趨勢增長，互聯(lián)網已變成了一個巨大的、分布廣泛的全球性信息服務中心。雖然在該信息服務中心中非結構化或半結構化數(shù)據的比重呈現(xiàn)增大的趨勢，但是在很多應用場景中結構化的信息集合對用戶更具有價值。因此，提供用戶信息結構化抽取及檢索服務的信息融合系統(tǒng)，在Web信息處理領域成為新的研究熱點，具有更加廣泛的應用場景。面向電子產品領域，論文重點研究信息抽取及信息檢索兩項關鍵技術。
　　 論文

2、首先描述面向電子產品的信息融合系統(tǒng)的研究背景與意義，并提出信息融合系統(tǒng)中信息抽取及信息檢索兩項關鍵技術的不足之處，最后描述論文的主要工作和組織結構。
　　 其次，論文描述了信息融合系統(tǒng)中采用的平臺、相關技術以及國內外研究現(xiàn)狀等。面向電子產品的信息融合系統(tǒng)主要是處理Web海量商業(yè)信息，完成商業(yè)信息的結構化抽取及商業(yè)信息的分布式檢索。論文側重描述分布式系統(tǒng)基礎架構Hadoop，并在最后描述了Web信息抽取和信息檢索的國內外研究現(xiàn)狀。

3、
　　 論文第三部分研究信息融合系統(tǒng)的信息抽取與信息檢索兩項關鍵技術。針對信息抽取，論文分析Anchor-Hop-I模型，該模型在網頁結構未發(fā)生大幅度改變的情下，具有信息抽取高效率的優(yōu)點。但在網頁結構改變時，信息抽取將大幅失效，需要人為重新制定抽取規(guī)則。針對該模型的適用場景及缺點，論文提出Anchor-Hop-T模型。該模型在Anchor-Hop-I模型失效的情況下，結合電子產品網站的網頁特殊結構標簽，引入Anchor定位庫，自

4、動生成并保存正確的抽取規(guī)則列表，大幅提升信息抽取準確率和降低人力成本。針對信息檢索技術，論文介紹了基于Hadoop的Map端分布式檢索模型，該模型具有高效建立索引的特點，但在查詢階段需要全局查詢，大幅降低了查詢效率。針對該模型的缺點，論文提出基于Hadoop的Reduce端分布式檢索模型，該模型采用分類建立索引的方式，提供混合查詢，大幅提升查詢效率。同時，結合Hadoop平臺特點，提出一些細粒度優(yōu)化，包括InputSplit塊大小控制、