基于領域的信息分類和搜索技術的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡信息資源量爆炸性的增長，使得人們從浩瀚的信息世界里查詢到自己所需要的信息越來越困難，于是需要借助搜索引擎來進行查詢。目前已成熟的大型通用搜索引擎有谷歌和百度等，它們已經(jīng)實現(xiàn)了強大的搜索功能，但在一定程度上不能滿足用戶對特定領域信息的搜索需求，存在一些問題，如檢索的反饋量過大，甚至返回結果中有時經(jīng)常包含一些廣告信息等，為此基于領域的快速準確的搜索引擎成了迫切的需要。 基于領域的搜索引擎也可稱為主題型搜索引

2、擎或專業(yè)垂直搜索引擎，從情報信息服務的角度而言，也可稱之為專題搜索引擎，主要用于從因特網(wǎng)上搜索和查詢某一特定領域的信息與知識。目前，基于領域的搜索引擎主要分成兩類：一類是基于內容的搜索，其內部包含一個針對特定主題的關鍵詞表，搜索引擎的網(wǎng)絡機器人(也稱網(wǎng)絡蜘蛛或爬行器)根據(jù)該關鍵詞表對網(wǎng)絡信息進行檢索。另一類是基于網(wǎng)頁鏈接分析的檢索，通過分析網(wǎng)頁之間的鏈接的匯聚性，搜索與主題相關的信息。本課題采用的是基于內容的搜索。基于領域的搜索引擎面向

3、特定專題或學科領域，以互聯(lián)網(wǎng)網(wǎng)絡信息資源為對象，利用計算機自動搜集符合該特定專題或學科所需的信息資源，是當前科研院所，教學單位以及數(shù)字資源建設中網(wǎng)絡信息資源采集的有力工具。 與大型綜合性通用搜索引擎相比，基于領域的搜索引擎主要具有以下幾個特點：其一，由于專注于某一特定學科領域，可以利用專業(yè)詞匯表進行規(guī)范和控制，對相應的關鍵詞進行深入的分析和研究，大大提高了查全率與查準率。其二，由于采集的信息專業(yè)性強，數(shù)量較少，可以由專家對自動采

4、集的信息進一步分類標引，進一步優(yōu)化和組織整理，提高信息的質量，建立起一個高質量的、專業(yè)信息收錄全面并能夠實時更新的索引數(shù)據(jù)庫。其三，由于索引的數(shù)據(jù)庫規(guī)模小，有利于縮短查詢響應的時間，可以采用復雜的查詢語法，提高用戶的準確查詢精度。 但是，目前基于領域的搜索引擎檢索功能上和通用搜索引擎相比顯得過于簡單，其中一些只有簡單關鍵詞檢索功能，檢索詞間邏輯關系的限定不是很全面，從檢索界面語言上看，專業(yè)搜索引擎的界面語言單一，大部分為英文檢索

5、界面，不能選擇設定其他語種。Agriscape雖然提供有4種語言檢索界面，但只有英語界面才能進行檢索，其他語種界面實際上是收錄相應語言網(wǎng)站的目錄。而這些英語界面的專業(yè)搜索引擎也僅支持英文關鍵詞檢索，不能進行交叉語言檢索，因此專業(yè)搜索引擎的檢索功能有待進一步的完善。 綜上，本課題提出一種針對特定領域的基于數(shù)據(jù)挖掘算法的中文搜索引擎設計方案，結合上面幾種方式的優(yōu)點，將改進的關聯(lián)規(guī)則算法應用于文本聚類中，支持用戶用中文自然語言檢索，實