基于大規(guī)模語料庫的中文同義詞抽取方法研究.pdf

1、隨著計算機的日益普及、因特網(wǎng)的迅猛發(fā)展,網(wǎng)上信息呈指數(shù)級增長。同時,信息資源的共享度愈來愈高,給人們的日常生活帶來極大的便利。目前,人們每天面對大量的信息,如何從海量數(shù)據(jù)中提取有價值的信息,已經(jīng)成為信息技術(shù)領(lǐng)域研究的熱門課題。中文同義詞抽取是中文信息處理的基礎(chǔ)研究,在不同的應(yīng)用領(lǐng)域中發(fā)揮不同的作用。由于同義詞散布于海量信息中,為盡可能多地抽取同義詞,本文以大規(guī)模語料為研究對象。
　　互聯(lián)網(wǎng)新技術(shù)的不斷發(fā)展和信息的爆炸式增長,自然語

2、言處理和信息檢索等技術(shù)在信息的處理和獲取方面呈現(xiàn)愈加重要的作用,而同義詞又在各種自然語言處理和信息檢索應(yīng)用中有著重要的研究意義和應(yīng)用價值?；诖?本文提出兩種面向經(jīng)濟領(lǐng)域的字面相似與PageRank鏈接融合、點互信息(PointwiseMutualInformation,簡稱PMI)與潛在語義分析(LatentSemanticAnalysis,簡稱LSA)結(jié)合的同義詞方法,可從海量語料庫中獲取大量的同義詞集合。
　　字面相似與Pa

3、geRank鏈接融合方法建立在字面相似方法和PageRank鏈接方法基礎(chǔ)之上,充分利用了字面相似方法的構(gòu)詞特征和PageRank鏈接方法詞匯間語義的聯(lián)系。既考慮了兩個詞匯的匹配序、匹配度,又考慮了兩個詞匯之間的解釋與被解釋的鏈接關(guān)系。
　　點互信息與潛在語義分析結(jié)合方法是以互信息原理和潛在語義分析理論為基礎(chǔ),點互信息通過兩個詞匯之間的互信息,對多個詞匯間的互信息進行簡單有效的估計;潛在語義分析將計算機科學、數(shù)學、情報學的思想、技術(shù)

4、和手段結(jié)合起來,對詞匯的潛在含義進行挖掘,根據(jù)兩個詞匯在語義上的關(guān)聯(lián),達到檢索結(jié)果的目的。基于LSA的同義詞抽取方法始于一個詞匯與文檔聯(lián)系的大規(guī)模矩陣,自動地建造了一個語義空間,使得使用者能夠發(fā)現(xiàn)相關(guān)信息。只要在概念上與該文檔的主體思想聯(lián)系相一致,在語意空間中它們?nèi)匀痪o靠在該文檔附近。因此詞匯和文檔在語義空間的位置可以用來作為一種主意指引,提取信息的過程就是利用提問式中的關(guān)鍵詞來識別空間的一個點,在這個點附近的文檔按詞匯向量與文檔向量之