面向問(wèn)答系統(tǒng)的大規(guī)模文本數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究.pdf

1、隨著信息化時(shí)代的來(lái)臨，互聯(lián)網(wǎng)中各種結(jié)構(gòu)化（如web頁(yè)面）以及半結(jié)構(gòu)化（如電子郵件，XML網(wǎng)頁(yè)）文本數(shù)據(jù)規(guī)模呈現(xiàn)指數(shù)級(jí)增長(zhǎng)并伴著信息存儲(chǔ)技術(shù)的飛速發(fā)展而累積了海量的文本數(shù)據(jù)。海量文本數(shù)據(jù)雖然蘊(yùn)含著巨大的使用價(jià)值卻給信息查詢者快速定位查詢信息帶來(lái)了困難。傳統(tǒng)搜索引擎技術(shù)雖然在一定程度上可以幫助人們快速檢索出相關(guān)文檔信息，但是由于其自身設(shè)計(jì)模式的局限性而引發(fā)的用戶二次檢索的弊端導(dǎo)致其不能真正意義上解決上述問(wèn)題。因而，作為下一代語(yǔ)義搜索引擎重要

2、研究方向的問(wèn)答系統(tǒng)（Community-based Question Answering，cQA）引起了研究學(xué)者們的廣泛關(guān)注。問(wèn)答系統(tǒng)中的文本數(shù)據(jù)是建立在信息檢索與信息抽取技術(shù)之上產(chǎn)生的，因而基于問(wèn)答系統(tǒng)的文本數(shù)據(jù)挖掘比原始的互聯(lián)網(wǎng)文本數(shù)據(jù)挖掘具有更廣泛的研究?jī)r(jià)值。本文結(jié)合人工智能和自然語(yǔ)言處理技術(shù)，重點(diǎn)針對(duì)大規(guī)模cQA問(wèn)答語(yǔ)料庫(kù)文本數(shù)據(jù)挖掘相關(guān)關(guān)鍵技術(shù)展開研究。
　　一般來(lái)說(shuō)，單個(gè)cQA系統(tǒng)語(yǔ)料庫(kù)中文本數(shù)據(jù)資源非常有限，而為了滿

3、足不同用戶復(fù)雜的信息查找需求，通常需要將多個(gè)具有不同層次結(jié)構(gòu)的問(wèn)答語(yǔ)料庫(kù)進(jìn)行有效整合。在已有的文檔目錄整合算法中，大多只考慮了目標(biāo)目錄的層次結(jié)構(gòu)或者是源目錄中單個(gè)目錄結(jié)構(gòu)，而往往忽略了源目錄中豐富的層次結(jié)構(gòu)信息。因此，本文結(jié)合文本目錄特殊的層次結(jié)構(gòu)信息，著重討論如何有效利用源目錄樹形結(jié)構(gòu)中父子、兄弟等層次結(jié)構(gòu)關(guān)系信息來(lái)提高文本目錄整合精度，從而提出了一種具有較強(qiáng)泛化能力的自動(dòng)化目錄整合（Automatic Category Integr

4、ation，ACI）算法來(lái)更多考慮源目錄中隱式的層次結(jié)構(gòu)信息，性能評(píng)測(cè)結(jié)果表明，ACI算法比以往的目錄整合算法具有更高的目錄整合精度。
　　在文本數(shù)據(jù)挖掘中，最重要的一個(gè)研究課題是如何決定文本數(shù)據(jù)集中不同文本的重要性。在本文中我們考慮將單個(gè)文本數(shù)據(jù)抽象成單個(gè)圖數(shù)據(jù)節(jié)點(diǎn)，則文本數(shù)據(jù)排序問(wèn)題可轉(zhuǎn)化為圖數(shù)據(jù)節(jié)點(diǎn)排序問(wèn)題。不同于傳統(tǒng)的圖數(shù)據(jù)節(jié)點(diǎn)排序問(wèn)題，單個(gè)文本數(shù)據(jù)通常帶有豐富的異質(zhì)屬性信息，并且文本數(shù)據(jù)之間也具有多種不同的隱式關(guān)聯(lián)關(guān)系，

5、但是現(xiàn)有的圖排序算法往往忽略了上述豐富的異質(zhì)屬性信息而只考慮了簡(jiǎn)單的圖結(jié)構(gòu)信息。另一方面，cQA系統(tǒng)檢索出的相關(guān)文本數(shù)據(jù)集規(guī)模通常較為龐大，已有圖排序算法大都受限于過(guò)高的算法時(shí)間復(fù)雜度而不能處理大規(guī)模的圖數(shù)據(jù)排序問(wèn)題（少數(shù)幾種除外，如PageRank算法）。針對(duì)以上問(wèn)題，本文提出了一種半監(jiān)督圖排序（Semi-Supervised Graph Ranking，SSGR）算法模型來(lái)有效利用上述豐富的異質(zhì)屬性信息進(jìn)行更高精度的圖數(shù)據(jù)排序。為了

6、驗(yàn)證SSGR算法模型的有效性，本文還提出了一種基于SSGR算法模型的半監(jiān)督圖排序（Semi-Supervised Pagerank，SSP）算法，該算法利用參數(shù)化圖模型來(lái)編碼圖數(shù)據(jù)中豐富的異質(zhì)屬性信息并引入約束變量作為損失函數(shù)來(lái)保證圖排序結(jié)果與外部先驗(yàn)知識(shí)保持一致。實(shí)驗(yàn)結(jié)果顯示，SSP算法較以往的圖排序算法具有更加優(yōu)良的排序性能。
　　cQA系統(tǒng)平臺(tái)為了解決社區(qū)協(xié)作機(jī)制缺乏實(shí)時(shí)性的問(wèn)題，通常會(huì)提供類似搜索引擎的檢索功能來(lái)幫助人們快

7、速獲取信息。但是，cQA系統(tǒng)檢索模式返回給用戶的是與之查詢相關(guān)的問(wèn)答文本列表，這不可避免的帶來(lái)了用戶二次檢索的困擾。針對(duì)該問(wèn)題，本文首次提出利用自動(dòng)化文摘的方式處理cQA系統(tǒng)檢索出的文本數(shù)據(jù)集，并將該問(wèn)題形式化定義為普聚類的優(yōu)化問(wèn)題。但是，一般普聚類問(wèn)題的算法時(shí)間開銷與自身規(guī)模（這里是指問(wèn)答文本個(gè)數(shù)）呈指數(shù)級(jí)比例關(guān)系（通常為O(n3)）。因此，為了有效降低生成文本摘要的計(jì)算時(shí)間復(fù)雜度，本文提出了一種面向查詢的交互式問(wèn)答文本摘要（Quer

8、y-oriented Community-based Question Answering Summarization，QCQAS）算法框架，該框架能夠在有效保留原問(wèn)答文本集中重要文本數(shù)據(jù)的前提下，將問(wèn)答文本數(shù)據(jù)集的規(guī)模從n降低到K（K?n，經(jīng)實(shí)驗(yàn)得出K取100較為合適）。另外，在QCQAS算法框架礎(chǔ)上本文還設(shè)計(jì)了一種新的基于異質(zhì)屬性的對(duì)稱自動(dòng)化文摘（Heterogeneous Features Symmetric Summarizat