語言淺層分析與句子級新信息檢測研究.pdf

1、針對粒度更小、冗余更少的信息需求，本文圍繞句子級別的信息檢索與新信息檢測，進行了深入而又細致的研究，提出了有針對性的淺層語言分析技術，討論了句子檢索的主要建模方法，并闡述了信息新穎度的多種量化手段。在多組對比實驗和國際上公開的評測比賽中，依據(jù)本文技術方法研制的Noovel系統(tǒng)取得了當前最好的性能，超過了所有正式公開的結果，這也表明：本文提出的句子檢索方法與新信息檢測技術是卓有成效的。 針對新信息檢測的英文淺層語言分析主要包括斷句

2、、詞匯切分、詞性標注以及詞形還原等自然語言處理過程。作者在已有研究工作的基礎上，結合新信息發(fā)現(xiàn)的特點，提出了有針對性的改進措施。在中文淺層語言分析方面，本文提出了一種將漢語分詞、詞性標注、切分排歧和未登錄詞識別相結合的基于層次隱馬模型的理論框架。在語言的分析基礎上，查詢分析過程通過輔助詞過濾與傾向分類，從自然語言表述的主題中理解用戶的查詢意圖，從而抽取出可用于直接建模計算的查詢向量。在目前所有能獲取的公開數(shù)據(jù)集合上進行對比實驗，基于淺層

3、語言‘分析的系統(tǒng)性能均超過了目前所見到發(fā)表的最好水平。 在句子檢索方面，Noovel采取了三種模型：向量空間模型、概率檢索模型與語言模型。為了克服句子的局限性，本文引入了查詢擴展的技術，主要包括：借助于WordNet的語義衍生擴展、偽相關反饋擴展、采用高頻共現(xiàn)詞語的局部共現(xiàn)擴展。在TREC2003數(shù)據(jù)集上的實驗表明：在淺層語言分析的基礎上，簡單向量空間模型可以達到目前最好的結果，受到語義資源和分析深度的限制，當前階段的語義擴展作

4、用有限，而偽相關反饋與局部共現(xiàn)擴展都能夠幫助提高句子檢索的性能，局部共現(xiàn)擴展是很有潛力的查詢擴展與文檔擴展的技術。 句子級別的新信息檢測是本項研究的最終目標，這是個時序性很強的信息過濾任務，在總結現(xiàn)有方法的基礎上，本文提出了三種具有代表性的信息新穎度的量化方法，其中包括：詞重疊度及其擴展方法、相似度比較方法與信息增強的評價方法。初衷在于兼顧信息與主題的相關性，同時還要與已有歷史的信息進行比對，尋找新信息之所在。 除了非監(jiān)

5、督條件的新信息檢測之外，本文還探討了在監(jiān)督條件下如何進行機器自動學習并調(diào)整參數(shù)的策略，主要的手段包括：進一步的特征選擇、真實反饋、調(diào)整參數(shù)、閾值設置。作者還進一步的提出了基于分類的句子檢索與新信息檢測方法。 Noovel系統(tǒng)參加了第13屆TREC比賽新信息發(fā)現(xiàn)任務的全部四個子任務，在最關鍵的任務1中，Noovel的新信息檢測結果排名第一：任務3的句子檢索性能方面，提交的兩個結果并列排名第一，其他的子任務也取得不俗的成績，與參賽的