基于中文維基百科的語(yǔ)義知識(shí)挖掘相關(guān)研究.pdf

1、為了實(shí)現(xiàn)基于自然語(yǔ)言的智能信息處理，計(jì)算機(jī)需要了解大量的語(yǔ)義知識(shí)。大規(guī)模語(yǔ)義詞典和知識(shí)庫(kù)通常依靠人工構(gòu)建完成，在建設(shè)和維護(hù)過(guò)程中耗費(fèi)了大量的人力物力。從語(yǔ)料資源中自動(dòng)抽取語(yǔ)義信息，建設(shè)大規(guī)模的語(yǔ)義知識(shí)資源已成為一個(gè)熱門的研究課題。維基百科是一個(gè)開(kāi)放式的在線百科全書(shū)，對(duì)于自然語(yǔ)言處理它不止是一個(gè)大規(guī)模的語(yǔ)料庫(kù)，還可以用作一個(gè)包含了大量人類知識(shí)和語(yǔ)義關(guān)系的知識(shí)庫(kù)資源。本文從自然語(yǔ)言處理和語(yǔ)義知識(shí)資源建設(shè)兩方面出發(fā)，研究了維基百科挖掘語(yǔ)義信息

2、挖掘等方面的處理方法及相關(guān)應(yīng)用。 針對(duì)自然語(yǔ)言處理中的語(yǔ)義相關(guān)度計(jì)算，本文提出了基于維基百科鏈接關(guān)系(分類圖和文檔圖)的“多路徑搜索”算法。實(shí)驗(yàn)下載了中文維基百科頁(yè)面并利用鏈接關(guān)系抽取出反映分類層次關(guān)系的分類圖以及反映解釋文檔超級(jí)鏈接引用的文檔圖。進(jìn)一步通過(guò)搜索多條相關(guān)路徑，綜合路徑長(zhǎng)度及節(jié)點(diǎn)或鏈接權(quán)重等完成語(yǔ)義相關(guān)度計(jì)算。實(shí)驗(yàn)利用超級(jí)鏈接引用關(guān)系抽取了大量的語(yǔ)義相關(guān)詞對(duì)，并建立了一個(gè)人工標(biāo)注的測(cè)試集，通過(guò)與經(jīng)典算法的對(duì)比對(duì)實(shí)驗(yàn)

3、結(jié)果進(jìn)行了分析評(píng)估。 文本語(yǔ)義相關(guān)度的計(jì)算也可以利用維基百科實(shí)現(xiàn)語(yǔ)義知識(shí)擴(kuò)展。實(shí)驗(yàn)抽取了頁(yè)面重定向、分類層次、文本鏈接等反映語(yǔ)義關(guān)聯(lián)關(guān)系的鏈接結(jié)構(gòu)，并利用矩陣運(yùn)算綜合了直接或間接的語(yǔ)義關(guān)聯(lián)關(guān)系，建立了一個(gè)包含維基百科背景知識(shí)的語(yǔ)義轉(zhuǎn)換矩陣。通過(guò)將文檔詞頻向量與語(yǔ)義轉(zhuǎn)換矩陣相乘，獲得一個(gè)在新的語(yǔ)義空間上的擴(kuò)展向量，利用傳統(tǒng)的向量夾角余弦等方法計(jì)算文本的語(yǔ)義相關(guān)度。算法同樣可以用于抽取大量的存在語(yǔ)義相關(guān)關(guān)系的詞，作為語(yǔ)義相關(guān)度測(cè)試集

4、。 針對(duì)挖掘維基百科構(gòu)建語(yǔ)義知識(shí)資源，本文從兩個(gè)角度進(jìn)行了探索。一方面結(jié)合維基百科分類圖的層次關(guān)系及詞匯短語(yǔ)結(jié)構(gòu)，并利用解釋頁(yè)面文檔的句法模式等信息，挖掘出反映語(yǔ)義關(guān)系類別的信息，并為不包含具體語(yǔ)義關(guān)系類型的分類圖添加語(yǔ)義關(guān)系標(biāo)記，建立一個(gè)本體型語(yǔ)義層次網(wǎng)絡(luò)。另一方面，從維基百科詞匯中篩選出反映獨(dú)立語(yǔ)義概念的核心詞，并為所有詞條標(biāo)注最能反映概念、屬性特征的相關(guān)詞解釋，建立解釋型語(yǔ)義詞典。進(jìn)一步探討了將維基百科關(guān)聯(lián)到中文語(yǔ)義詞典知