基于機(jī)器學(xué)習(xí)的文本分類研究.pdf

1、隨著信息技術(shù)尤其是因特網(wǎng)相關(guān)技術(shù)的發(fā)展與成熟，人們可獲得的信息越來越多。面對海量信息，一方面是人們對快速、準(zhǔn)確且全面獲取信息的渴望，而另一方面卻是信息的雜亂無序。如何盡可能有效地組織和管理信息，是信息處理研究的重要問題之一。因此，文本分類得到了廣泛關(guān)注，成為自然語言處理領(lǐng)域最重要的研究方向之一。本論文研究了文本分類中特征提取，大規(guī)模文本分類和跨語言文本分類等問題。我們主要解決下面三個(gè)問題，如何高效準(zhǔn)確的進(jìn)行分類、如何利用大規(guī)模的文本分類

2、數(shù)據(jù)以及如何在多語言環(huán)境下利用某種語言的訓(xùn)練集，去分類另外一種語言的文本的問題。 本文的主要研究工作及創(chuàng)新點(diǎn)體現(xiàn)在以下五個(gè)方面： (1)將一個(gè)基于概率解釋的多類特征選擇算法應(yīng)用在文本分類中。與將每個(gè)特征作為一個(gè)單一的個(gè)體的信息增益和x2統(tǒng)計(jì)量等傳統(tǒng)方法相比，這種多類特征選擇的優(yōu)勢在于它通過線性支持向量機(jī)所特有的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則來選擇一個(gè)好的特征集。實(shí)驗(yàn)中使用了三種常見的多類分類器測試了該特征提取方法。實(shí)驗(yàn)結(jié)果均顯示了該

3、方法的有效性。 (2)將最近鄰算法的不同投票策略應(yīng)用于文本分類中，并結(jié)合最小最大模塊化網(wǎng)絡(luò)來處理大規(guī)模數(shù)據(jù)的文本分類。一般情況下，最近鄰算法在文本中采用相似性累加投票法，類似于機(jī)器學(xué)習(xí)中的反距離投票策略。本文將機(jī)器學(xué)習(xí)研究領(lǐng)域中最近鄰算法的不同投票策略引入到文本分類中進(jìn)行研究，而且進(jìn)一步將它們引入到最小最大模塊化網(wǎng)絡(luò)中來處理大規(guī)模的數(shù)據(jù)。實(shí)驗(yàn)結(jié)果顯示，高斯投票能在文本分類中表現(xiàn)出較好的綜合性能。 (3)將最小最大模塊化支

4、持向量機(jī)中的超平面數(shù)據(jù)劃分方法應(yīng)用在大規(guī)模文本分類中。最小最大模塊化網(wǎng)絡(luò)在處理大規(guī)模數(shù)據(jù)時(shí)，通常有三個(gè)問題，一個(gè)是集成什么樣的分類器，第二個(gè)是模塊冗余消除問題，第三個(gè)是數(shù)據(jù)劃分問題。這里研究了第三個(gè)問題，即使用超平面劃分方法到文本分類領(lǐng)域進(jìn)行研究。傳統(tǒng)的數(shù)據(jù)劃分方法，一般使用隨機(jī)劃分和聚類方法劃分。然而，隨機(jī)劃分方法可能會破壞數(shù)據(jù)本身分布的空間屬性，聚類方法劃分又過于消耗計(jì)算資源。超平面劃分方法一定程度上克服了這兩種方法的缺點(diǎn)。實(shí)驗(yàn)結(jié)果

5、驗(yàn)證了該方法的有效性。 (4)首次提出使用雙語詞典解決跨語言文本分類問題。在進(jìn)行多語言分析的時(shí)候，通常需要一些額外的雙語資源來溝通兩種語言的差異，像雙語電子詞典，大規(guī)模的平行語料庫和自動機(jī)器翻譯等等。但是，跨語言文本分類，至今沒有使用雙語電子詞典方面的研究。本文提出了一種跨語言樸素貝葉斯算法。該算法借助雙語電子詞典，第一次將單語言的樸素貝葉斯算法擴(kuò)展到了雙語言上。初步的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。 (5)提出了一種跨語