自定義主題信息抽取的研究與應用.pdf

1、當今社會，網站是人們獲得信息的主要來源之一，可是在網站提供的信息里面難免摻雜著一些人們不關心的信息，如圖片，廣告，無關鏈接等。一些商業(yè)性網站已經發(fā)現(xiàn)了這些弊端，采用了“推”的技術，向互聯(lián)網上的人們發(fā)布RSS種子，人們通過定制可以直接定位到所需信息，這樣的信息準確，及時。但是，一些非商業(yè)性網站，還沒有這樣的一個統(tǒng)一的信息發(fā)布平臺用于不同主題信息的定制，所以在進行信息獲取方面上，要實現(xiàn)新、快、準的目標，就要主動的去其他網站上的信息源獲取。

2、 本文在自定義主題信息抽取的需求背景之下，通過對鏈接上下文算法和WEB目錄型網頁結構特點的研究，提出局部擴散算法來發(fā)現(xiàn)主題相關鏈接，從而確定主題鏈接塊的位置，減少與主題無關的鏈接被發(fā)現(xiàn)的概率來滿足自定義主題的需求。在主題信息抽取階段，將網頁HTML標簽文檔進行基于布局標簽的劃分，構造網頁的粗粒度劃分DOM樹模型表示，通過文本語義分析，獲取網頁語義塊的特征向量作為網頁的量化表示，在進行抽取時利用網頁本身文本語義進行，省去了通過大量訓

3、練集的訓練來確定模板的階段，而且通過實驗證明該抽取算法有助于提高在抽取信息過程中的整體完整性，指出了適用的范圍，并且在實際應用中采用語義塊分析與語義塊位置相結合的方式，直接定位抽取塊，從而避免無關信息的抽取。最后通過對主題信息抽取的研究和公安信息網頁的研究與應用，建立了一個基于塊位置的自定義主題信息抽取系統(tǒng)。解決了如何自動的、廣泛的、準確的對不同網站上的主題信息進行抽取，并且根據(jù)對不同主題進行的自定義，可以將抽取的信息進行自定義分類，實