網(wǎng)絡(luò)文本信息中的共指消歧方法及應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和網(wǎng)絡(luò)信息的不斷豐富,互聯(lián)網(wǎng)為人們的工作和生活提供了越來(lái)越多的便利。要滿足人們對(duì)網(wǎng)絡(luò)信息服務(wù)越來(lái)越高的要求,我們不僅需要從存儲(chǔ)、傳播和顯示等方面處理信息,更要從內(nèi)容上理解信息。目前網(wǎng)絡(luò)信息的形式已經(jīng)非常豐富,但是文本信息仍然是互聯(lián)網(wǎng)信息的重要組成部分,文本作為語(yǔ)言的載體,理解其內(nèi)容需要自然語(yǔ)言處理的相關(guān)技術(shù),而共指消歧則是其中一個(gè)非常重要的方面。網(wǎng)絡(luò)文本信息中包含著許多共指現(xiàn)象,即針對(duì)同一實(shí)體有著不同的描述,例如代

2、詞的指代和名詞的縮寫等。這些現(xiàn)象都是語(yǔ)言表達(dá)的常用形式,但對(duì)計(jì)算機(jī)而言理解其真正內(nèi)容卻是很難的。如果能將這些不同的實(shí)體描述加以識(shí)別并歸類,那么文本內(nèi)容將得到更準(zhǔn)確規(guī)范的整理。網(wǎng)絡(luò)文本信息的共指消歧,可以幫助計(jì)算機(jī)更準(zhǔn)確的理解信息的內(nèi)容以及用戶的需求,從而提高信息服務(wù)的質(zhì)量。
　　迄今為止,共指消歧特別是中文共指消歧,仍然是自然語(yǔ)言處理的研究難點(diǎn)。中文語(yǔ)言表達(dá)的多樣性使得中文共指消歧更為復(fù)雜。網(wǎng)絡(luò)文本信息中語(yǔ)言表達(dá)形式的不斷發(fā)展,也

3、增加了將共指消歧應(yīng)用到網(wǎng)絡(luò)文本信息處理中的難度。解決共指消歧的基本途徑是利用機(jī)器學(xué)習(xí)方法,其主要思想是將該問(wèn)題轉(zhuǎn)換成分類問(wèn)題,利用分類模型完成共指消歧。但是共指消歧問(wèn)題的復(fù)雜性使得利用單個(gè)分類器得到的結(jié)果不夠理想。為此論文提出了基于多分類器投票的中文共指消歧方法。首先對(duì)訓(xùn)練數(shù)據(jù)樣例的生成方式進(jìn)行了改進(jìn),平衡了正反例的比例。通過(guò)訓(xùn)練多個(gè)分類方法,包括決策樹模型,隨機(jī)森林模型和最大熵模型,分別完成共指關(guān)系的判斷,然后投票給出最后的結(jié)果。多個(gè)

4、分類器的投票方法,修正了單分類器的判斷錯(cuò)誤并中和了各分類器的優(yōu)勢(shì),得到了更好的共指消歧結(jié)果。
　　機(jī)器學(xué)習(xí)方法的優(yōu)點(diǎn)是不需要過(guò)多語(yǔ)言學(xué)知識(shí),但是利用投票方式解決中文共指消歧的結(jié)果仍不夠理想。為了更好的解決該問(wèn)題,論文認(rèn)為共指現(xiàn)象是由多個(gè)子問(wèn)題組成,因此提出了基于決策模型的中文共指消歧方法。論文建立了共指消歧問(wèn)題的分類體系,通過(guò)該分類體系將共指消歧問(wèn)題拆分成若干子問(wèn)題,如名詞性短語(yǔ)的共指,代詞共指問(wèn)題等,對(duì)每一個(gè)子問(wèn)題建立了詳細(xì)的判

5、定準(zhǔn)則。同時(shí)論文利用有效的人稱識(shí)別,性別和單復(fù)數(shù)判定等先驗(yàn)知識(shí)幫助建立子問(wèn)題規(guī)則集。在CoNLL-2012國(guó)際公開評(píng)測(cè)數(shù)據(jù)集上決策模型得到的結(jié)果優(yōu)于利用機(jī)器學(xué)習(xí)方法得到的結(jié)果,并在該國(guó)際評(píng)測(cè)的中文共指消歧任務(wù)中取得國(guó)內(nèi)第一,國(guó)際第二的成績(jī)。決策模型解決共指消歧的優(yōu)勢(shì)是可以快速實(shí)現(xiàn)單個(gè)子問(wèn)題的解決策略,從而更方便應(yīng)用到網(wǎng)絡(luò)信息處理過(guò)程中。
　　時(shí)間信息的共指判斷是共指消歧中特定的任務(wù)。實(shí)際上所有時(shí)間信息在時(shí)間軸上是唯一定位并可以相互

6、比較的,那么時(shí)間信息的共指消歧可以幫助確定文檔在時(shí)間維度上的相關(guān)性。該方法可以應(yīng)用到網(wǎng)絡(luò)文本信息的處理中,例如搜索引擎的返回結(jié)果排序主要是基于關(guān)鍵詞匹配的程度和網(wǎng)頁(yè)自身的重要度等,針對(duì)包含時(shí)間信息修飾的查詢,忽略了查詢的時(shí)間限定作用,因此可以對(duì)該類查詢與網(wǎng)頁(yè)內(nèi)容的時(shí)間信息進(jìn)行共指消歧,調(diào)整搜索結(jié)果的排序使其更合理。為此論文提出了基于時(shí)間信息共指消歧的搜索結(jié)果排序方法。首先完成了用戶查詢中的時(shí)間信息抽取和時(shí)間信息標(biāo)準(zhǔn)化。提取用戶查詢包含的

7、事件描述特征,并根據(jù)該特征完成網(wǎng)頁(yè)中事件的定位和時(shí)間信息的提取,通過(guò)網(wǎng)頁(yè)內(nèi)容和用戶查詢的時(shí)間信息共指對(duì)比,得到搜索結(jié)果的時(shí)間相關(guān)度排序。針對(duì)包含時(shí)間信息修飾的用戶查詢,在原有的搜索結(jié)果排序基礎(chǔ)上,給出了基于時(shí)間信息共指消歧的搜索結(jié)果排序,為用戶提供更好的信息服務(wù)。
　　論文將共指消歧解決方法應(yīng)用到網(wǎng)絡(luò)新聞的事件發(fā)現(xiàn)研究中,提出了基于共指消歧的多特征組合事件發(fā)現(xiàn)方法。論文利用文本聚類方法來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)新聞事件發(fā)現(xiàn)。文本聚類多是利用詞頻作

8、為特征,忽略了新聞事件包含的時(shí)間信息和領(lǐng)域詞典分類信息等,并且表達(dá)習(xí)慣中的共指現(xiàn)象降低了某些詞的詞頻,從而降低了文檔間的相似度。論文將時(shí)間信息和詞典信息加入文本特征,并通過(guò)共指消歧得到文本中的共指描述集合,用集合中最完整的描述替代文本中的其他描述,以此來(lái)調(diào)整文本的詞頻特征。最后計(jì)算不同特征的相似度,加權(quán)得到文本之間的相似度,以此完成事件發(fā)現(xiàn)。論文提出的方法將共指消歧研究應(yīng)用到網(wǎng)絡(luò)文本信息處理中,并考慮了網(wǎng)頁(yè)新聞中包含的多種特征。針對(duì)金融