面向大規(guī)模短文本的分類技術(shù)研究.pdf

1、隨著萬維網(wǎng)(World Wide Web)的快速普及和發(fā)展，Web上出現(xiàn)了大量短文本，例如科技文獻(xiàn)摘要、微博和電子郵件等。這些短文本內(nèi)容短小、數(shù)量巨大、相互聯(lián)系、已標(biāo)注數(shù)據(jù)獲得困難，導(dǎo)致傳統(tǒng)分類方法很難取得較高的分類精度，使得基于短文本的數(shù)據(jù)挖掘和應(yīng)用開發(fā)陷入困境。
　　本文研究了大規(guī)模短文本的分類問題，主要工作包括：
　　(1)分析了短文本分類問題的特點，提出了基于半監(jiān)督學(xué)習(xí)的迭代分類算法，該算法利用短文本實例之間的關(guān)系進(jìn)

2、行迭代分類，在已標(biāo)記訓(xùn)練數(shù)據(jù)稀少的情況下有效提高了分類性能。
　　(2)分析了大規(guī)模短文本分類中的類別組織、特征選擇和分類效率問題，使用本體技術(shù)對多個數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集成和類別組織，提出了特征選擇的并行化方法和基于連通子圖的數(shù)據(jù)集劃分方法，有效地提高了大規(guī)模短文本的分類效率。
　　(3)本文將上述研究應(yīng)用于電信研發(fā)信息平臺，為系統(tǒng)中海量電信領(lǐng)域論文標(biāo)記類別信息。對標(biāo)記類別后的數(shù)據(jù)進(jìn)行深層次的數(shù)據(jù)挖掘，為電信領(lǐng)域研究人員提供了