中文文本體裁的自動分類機制.pdf

1、二十世紀(jì)末以來,計算語言學(xué)很多的文本分類研究者認(rèn)識到按照形式分類的重要性,并出現(xiàn)了一個重要的理論轉(zhuǎn)向,即由重視內(nèi)容的分類轉(zhuǎn)而重視內(nèi)容與形式并重的研究.體裁屬于形式的范疇,與寫作風(fēng)格、句法分析聯(lián)系緊密,對文章的寫作有著明顯的制約和規(guī)范作用.把體裁分類信息附加于信息搜索引擎的方案,可以顯著改善其效能.此外,體裁信息用于協(xié)助數(shù)字圖書館系統(tǒng)的可視化表示.因此,研究體裁自動分類,有著極高的理論價值和深遠(yuǎn)的現(xiàn)實意義.然而,如何識別、描述、利用文本體

2、裁是一項復(fù)雜而具有挑戰(zhàn)性的工作.首先,體裁概念體系很大程度上是人類思維的抽象歸納,研究者認(rèn)知受限和體裁自身動態(tài)演變等因素使得其概括和表述工作相當(dāng)困難.其次,這個課題交叉于傳統(tǒng)的漢語修辭學(xué)與計算語言學(xué)之間,需要有較深的語言學(xué)功底和計算語言學(xué)理論基礎(chǔ).因此,在其研究道路上還存在一些必須要克服的障礙.整體來看,體裁分類研究尚處于全面探索階段的初期,其技術(shù)還不夠成熟.而且,國內(nèi)漢語體裁自動分類的研究工作也剛剛起步.本文參照英語體裁分類機制,提出

3、了一種基于淺層特征的中文體裁自動分類機制.其中,利用樣本分類決策選出十三個中文特征項,借鑒模糊隸屬度理論接合定性與定量指標(biāo),采用支撐向量機技術(shù)計算特征值.該分類機制已經(jīng)在科學(xué)體、政論體、詩歌體、公文體、新聞體共五類體裁的典型文本的語料上得到實現(xiàn),并獲得了較好的效果.系統(tǒng)的局限性是特征提取程序缺乏通用性,必須隨著體裁分類體系的每一項變化而做大幅度的調(diào)整.本課題盡管取得了一些進展,但必竟只是體裁自動分類研究的一個初步嘗試,更多后續(xù)理論及應(yīng)用