面向?qū)哟伟l(fā)類標(biāo)簽的詞性標(biāo)注系統(tǒng).pdf

1、作為自然語(yǔ)言處理的基本操作,詞性標(biāo)注能提供關(guān)于單詞及其鄰近成分的大量有用信息,因此常常是組成復(fù)雜應(yīng)用的模塊之一。詞性標(biāo)注任務(wù)是文本理解、文本生成等自然語(yǔ)言處理領(lǐng)域的重要基礎(chǔ),經(jīng)過(guò)多年的發(fā)展,被認(rèn)為是相對(duì)成熟的一個(gè)領(lǐng)域。然而,隨著互聯(lián)網(wǎng)的發(fā)展和信息的日益增多,出現(xiàn)了大量的不規(guī)則的短語(yǔ)文本,如層次分類標(biāo)簽。另一方面,目前的詞性標(biāo)注工具均建立在常規(guī)長(zhǎng)句的基礎(chǔ)上,在短語(yǔ)文本上的性能并不理想。正是在這種前提下,本文深入研究了面向?qū)哟畏诸悩?biāo)簽的詞性

2、標(biāo)注算法。
　　 本文介紹了詞性標(biāo)注的核心技術(shù)和研究方法,包括四種經(jīng)典的詞性標(biāo)注模型和算法。通過(guò)手工標(biāo)注,我們成功分析出層次分類標(biāo)簽同長(zhǎng)句文本之間的六個(gè)主要差異,找到了傳統(tǒng)的詞性標(biāo)注工具性能不佳的根本原因,并指出了兩個(gè)有待解決的關(guān)鍵問(wèn)題:路徑信息和專有名詞。
　　 在此基礎(chǔ)上,本文提出了基于最大熵模型的詞性標(biāo)注算法。為了把路徑信息集成到輸入中,我們引入了一個(gè)新的標(biāo)記PATH,同時(shí)還添加了三類利用該路徑信息的特征。針對(duì)層次

3、分類標(biāo)簽中大量的專有名詞,我們從WordNet和Wikipedia出發(fā),分別構(gòu)造出一個(gè)詞典和一個(gè)數(shù)據(jù)庫(kù),然后以二值特征的形式引入到最大熵模型中去。在分類目錄Dmoz上,這些改進(jìn)取得了非常顯著的性能提升,從而表明了該方法的有效性。
　　 層次分類標(biāo)簽上的詞性標(biāo)注可以應(yīng)用到自動(dòng)網(wǎng)頁(yè)分類系統(tǒng)中。當(dāng)前的網(wǎng)頁(yè)分類系統(tǒng)過(guò)于依賴于人工標(biāo)注的網(wǎng)頁(yè)以作為訓(xùn)練語(yǔ)料。我們?cè)O(shè)計(jì)出這樣一個(gè)系統(tǒng),在沒(méi)有語(yǔ)料的條件下,巧妙地利用分類標(biāo)簽的詞性標(biāo)注信息和搜索引