多語言微博Hashtag生成及其應(yīng)用研究.pdf

1、Hashtag是用戶標(biāo)注在微博中的主題標(biāo)簽，利用Hashtag能夠提高微博中信息組織和信息檢索的效率，因此研究Hashtag的基礎(chǔ)特性、生成技術(shù)、聚類和分類等技術(shù)具有重要意義。然而大多數(shù)的用戶很少給自己所發(fā)的微博標(biāo)注Hashtag，導(dǎo)致包含Hashtag的微博數(shù)量較少，這影響了Hashtag的實際應(yīng)用效果。目前關(guān)于Hashtag抽取、推薦與組織等方面的問題，逐漸受到學(xué)術(shù)界關(guān)注，本文重點研究多語言微博的Hashtag生成及其在熱點事件發(fā)現(xiàn)

2、中的應(yīng)用。
　　本文通過研究多語言Hashtag的生成及聚類技術(shù)，提高微博中信息組織的效率和效果，并將生成的結(jié)果應(yīng)用在H7N9熱點事件的分析中。在Hashtag生成技術(shù)中利用K近鄰思想，分別使用新浪微博和Twitter微博語料進(jìn)行實驗，從語料中選取與目標(biāo)微博文本最相似的K條微博，從中選取合適的Hashtag。分別比較了向量空間模型(Vector SpaceModel)、潛在語義分析(Latent Semantic Analysis

3、)、隱含狄利克雷分布(Latent DirichletAllocation)文本表示方法對中英文微博Hashtag抽取結(jié)果的影響。
　　目前，Hashtag聚類技術(shù)的研究比較少，在Hashtag聚類研究中，本文主要對比了基于標(biāo)簽文檔矩陣和基于文檔合并的Hashtag聚類策略，在這兩種聚類策略中使用了K-Means聚類算法、AP聚類算法和層次聚類算法，并對各種聚類策略與方法進(jìn)行評估。在基于文檔合并的Hashtag聚類策略中分別對比了

4、潛在語義分析(Latent SemanticAnalysis)、隱含狄利克雷分布(Latent Dirichlet Allocation)文本表示方法對聚類效果的影響。在研究聚類策略、聚類算法以及文本表示方法對Hashtag聚類結(jié)果影響的基礎(chǔ)上，找出Hashtag聚類的最佳聚類策略，聚類算法和文本表示方法。
　　多語言微博Hashtag聚類結(jié)果描述的目的是從Hashtag類簇中抽取關(guān)鍵詞，對不同的類簇進(jìn)行關(guān)鍵性描述。目前的文本聚類

5、結(jié)果描述方法主要有自動標(biāo)引、自動摘要等，本文使用的關(guān)鍵詞抽取技術(shù)屬于自動標(biāo)引技術(shù)中的一種。目前，關(guān)鍵詞的特征主要為統(tǒng)計特征，對語法特征的研究較少。因此本文針對關(guān)鍵詞的特點提出關(guān)鍵詞的依存關(guān)系特征和句法特征，分別在中文和英文數(shù)據(jù)集中使用支持向量機(jī)(SVM)和邏輯回歸(LR)分類器對這兩種特征進(jìn)行驗證，加入這兩種特征后提高了關(guān)鍵詞抽取結(jié)果的F值。
　　在Hashtag應(yīng)用部分，從上述Hashtag生成研究、Hashtag聚類研究和聚類