中文微博話題發(fā)現(xiàn)技術(shù)研究.pdf

1、伴隨著Web2.0技術(shù)與移動(dòng)通信技術(shù)的快速發(fā)展，微博開始興起，并發(fā)展成為用戶發(fā)布、分享個(gè)人信息，以及獲取他人信息的主要平臺(tái)。微博平臺(tái)簡單、便捷的使用功能，引吸了越來越多的網(wǎng)民成為微博用戶；而且微博信息裂變式的傳播特點(diǎn)也導(dǎo)致眾多文本信息出現(xiàn)在微博平臺(tái)中，以致人們陷入了信息過載的困境。研究針對(duì)中文微博文本（本文提到的微博均指中文微博）的話題發(fā)現(xiàn)技術(shù)，對(duì)微博文本數(shù)據(jù)進(jìn)行組織、歸類，有助于應(yīng)對(duì)信息過載，使用戶快速了解整個(gè)微博空間中所存在的話題信

2、息；對(duì)微博熱點(diǎn)話題發(fā)現(xiàn)與跟蹤等奠定堅(jiān)實(shí)的基礎(chǔ)，也為用戶制定合理的決策提供依據(jù)，可及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)謠言并采取措施遏制其迅速傳播、擴(kuò)散，以正確引導(dǎo)網(wǎng)絡(luò)輿論、凈化網(wǎng)絡(luò)環(huán)境，促進(jìn)微博平臺(tái)健康地發(fā)展。
　　微博話題發(fā)現(xiàn)主要涉及到微博數(shù)據(jù)獲取、文本預(yù)處理、文本特征詞選擇、文本相似性度量及文本聚類等方面的技術(shù)，本文主要研究了其中的特征詞選擇與文本相似性度量這兩個(gè)關(guān)鍵技術(shù)，針對(duì)其所存在的問題，提出了相應(yīng)的改進(jìn)算法。
　　其一，在特征詞選擇方面，

3、針對(duì)微博文本內(nèi)容長度短、信息量少，以致有效特征稀疏、難以提取的問題，提出一種基于統(tǒng)計(jì)與語義信息相結(jié)合的微博文本特征詞選擇算法。該算法依次根據(jù)詞性組合匹配規(guī)則、基于詞項(xiàng)多因子（TF-IDF、詞性與詞長）構(gòu)造的綜合評(píng)估函數(shù)以及詞項(xiàng)與文本內(nèi)容語義相關(guān)度對(duì)微博文本進(jìn)行特征詞選取，并與樸素貝葉斯分類算法結(jié)合以對(duì)微博分類語料集進(jìn)行實(shí)驗(yàn)，結(jié)果表明，相較于傳統(tǒng)的特征詞選擇算法，該算法提取出來的特征詞，能夠更準(zhǔn)確地表示微博文本內(nèi)容主題。
　　其二，

4、在文本相似性度量方面，針對(duì)微博文本的特征稀疏性阻礙了文本相似性的精確度量，且傳統(tǒng)的文本相似性度量算法未能很好地考慮詞與詞之間的語義關(guān)聯(lián)性、微博文本的結(jié)構(gòu)化信息的問題，提出了基于語義、時(shí)間與社會(huì)化關(guān)系的微博文本相似性度量算法。該算法先擴(kuò)展了公共塊的定義，并構(gòu)建基于公共塊序列的語義相似度；然后利用微博文本發(fā)布時(shí)間、轉(zhuǎn)發(fā)與評(píng)論信息修正該語義相似度，以此來度量微博文本之間的相似性；最后將該算法融入Single-pass聚類算法中以實(shí)現(xiàn)微博話題發(fā)