基于粗糙集理論的文本自動(dòng)分類研究.pdf

1、文本自動(dòng)分類是目前信息檢索和自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn)之一。九十年代以后，機(jī)器學(xué)習(xí)方法逐步廣泛應(yīng)用于文本自動(dòng)分類?；跈C(jī)器學(xué)習(xí)的文本自動(dòng)分類是一個(gè)非常復(fù)雜的信息處理任務(wù)，目前仍然面臨著許多亟待解決的難題。本文將針對(duì)文本自動(dòng)分類涉及的幾個(gè)主要問(wèn)題進(jìn)行比較深入的研究和探索。具體研究?jī)?nèi)容和創(chuàng)新性研究成果概括如下：　　1.基于N-gram的中英文文本表達(dá)方法。文本表達(dá)是指將表達(dá)文獻(xiàn)主題內(nèi)容的詞匯抽取出來(lái)的過(guò)程。常用的向量空間表達(dá)法主要采用TF

2、/IDF等權(quán)重法。該類權(quán)重法普遍存在兩大缺點(diǎn)：一是需要計(jì)算詞匯在整個(gè)數(shù)據(jù)集中頻率，標(biāo)引效率較低；二是不能直接應(yīng)用于中文等東方語(yǔ)種文獻(xiàn)。否則，必須首先解決分詞技術(shù)問(wèn)題?！　?.標(biāo)引詞的語(yǔ)義異構(gòu)性處理。通過(guò)文本表達(dá)獲得的標(biāo)引詞，通常是沒(méi)有進(jìn)行語(yǔ)義規(guī)范控制的自由詞。如果直接將這些標(biāo)引詞作為特征項(xiàng)輸入文本自動(dòng)分類算法，會(huì)直接導(dǎo)致計(jì)算時(shí)間復(fù)雜度的增加和分類性能的降低。人工方法和經(jīng)典相似度計(jì)算方法是目前建立標(biāo)引詞語(yǔ)義轉(zhuǎn)換關(guān)系的主要方式。本文的研究

3、成果是提出了一種基于粗糙集理論和索引語(yǔ)言理論的標(biāo)引詞語(yǔ)義轉(zhuǎn)換模型，可以用于建立來(lái)源于多個(gè)索引語(yǔ)言的標(biāo)引詞之間的語(yǔ)義關(guān)系，解決標(biāo)引詞的語(yǔ)義異構(gòu)性問(wèn)題。該模型的優(yōu)點(diǎn)表現(xiàn)在：克服了人工轉(zhuǎn)換方法成本高、效率低的缺點(diǎn)；克服了經(jīng)典相似度計(jì)算方法單向性和不能明確定義標(biāo)引詞之間語(yǔ)義關(guān)系的缺點(diǎn)；能夠快速有效地實(shí)現(xiàn)多個(gè)索引語(yǔ)言在不同兼容水平上的標(biāo)引詞語(yǔ)義雙向轉(zhuǎn)換；能夠較大范圍地集成具有語(yǔ)義關(guān)系的標(biāo)引詞，克服特征抽取方法受限于數(shù)據(jù)集的缺點(diǎn)?！　?.粗糙集理