基于主題相似度的短文本分類(lèi)方法研究.pdf

1、在互聯(lián)網(wǎng)廣泛應(yīng)用的影響下，特別是微信、微博、問(wèn)答系統(tǒng)等新媒體的出現(xiàn)使得互聯(lián)網(wǎng)每天產(chǎn)生海量的短文本信息。這些短文本的長(zhǎng)度短、內(nèi)容少、用詞不規(guī)范、數(shù)據(jù)量龐大而且屬于半結(jié)構(gòu)化的信息數(shù)據(jù)。把長(zhǎng)文本的處理方法直接應(yīng)用于短文本的文本挖掘中，難以取得令人滿(mǎn)意的文本挖掘效果。因此，如何準(zhǔn)確、實(shí)時(shí)、高效的挖掘短文本中隱藏的信息，是目前中文信息處理與文本挖掘討論與研究的熱點(diǎn)。
　　短文本具有結(jié)構(gòu)短、文本內(nèi)容少、數(shù)量龐大、語(yǔ)義不明顯等特點(diǎn)，導(dǎo)致短文本的

2、分類(lèi)面臨特征稀疏、噪聲多、上下文依賴(lài)強(qiáng)等問(wèn)題。基于搜索引擎的短文本分類(lèi)方法，分類(lèi)結(jié)果比較依賴(lài)搜索引擎;基于大規(guī)模語(yǔ)料庫(kù)的分類(lèi)方法，比較依賴(lài)外部語(yǔ)料庫(kù)。本文在分析短文本特點(diǎn)的基礎(chǔ)上，根據(jù)目前短文本分類(lèi)方法存在的缺陷，從短文本的建模矩陣特征稀疏、短文本上下文依賴(lài)性強(qiáng)等問(wèn)題進(jìn)行切入，探索根據(jù)主題判斷短文本的相似度從而實(shí)現(xiàn)分類(lèi)。
　　首先，研究文獻(xiàn)資料，分析中文文本分類(lèi)的理論和方法，著重分析短文本分類(lèi)方法。在分析基于VSM的傳統(tǒng)短文本分類(lèi)

3、方法時(shí)，發(fā)現(xiàn)短文本建模的特征矩陣稀疏、維度高不利于準(zhǔn)確分類(lèi)，因此設(shè)計(jì)一種基于主題相似度的分類(lèi)算法。應(yīng)用主題挖掘的理論和方法，采用LDA概率模型來(lái)估算短文本的主題概率分布向量。
　　其次，針對(duì)傳統(tǒng)KNN算法在分類(lèi)過(guò)程中，計(jì)算量特別大，處理文本集龐大的短文本集時(shí)，計(jì)算量會(huì)更大。本文根據(jù)局部敏感哈希解決ANN問(wèn)題的優(yōu)點(diǎn)，構(gòu)建改進(jìn)LSH的KNN分類(lèi)器，實(shí)現(xiàn)從主題層面上對(duì)短文本的快速分類(lèi)。
　　最后，本文從理論上敘述了構(gòu)建改進(jìn)LSH的