中文微博新詞與熱點(diǎn)話題發(fā)現(xiàn)技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展帶動(dòng)了以微博為代表的新媒體的廣泛應(yīng)用，在海量的微博文本中會(huì)產(chǎn)生大量的新詞，給微博領(lǐng)域的相關(guān)研究帶來(lái)困難；此外，信息會(huì)在用戶數(shù)龐大的微博平臺(tái)中不斷發(fā)酵，形成熱點(diǎn)話題，但是用戶很難準(zhǔn)確的掌握微博平臺(tái)上發(fā)酵的熱點(diǎn)話題。需要使用計(jì)算機(jī)的方法發(fā)現(xiàn)熱點(diǎn)話題。主要研究工作如下：
　　微博新詞發(fā)現(xiàn)研究方面，本文提出規(guī)則與N-gr am算法相結(jié)合的方法提取候選新詞。首先研究新詞的構(gòu)成模式，確定本文新詞研究的范圍。然后根據(jù)新詞的構(gòu)成模式，

2、制定相關(guān)的規(guī)則提取分詞后的碎片，針對(duì)提取的碎片，使用N-gra m算法進(jìn)行候選字串的提取，通過(guò)訓(xùn)練垃圾詞典和詞頻過(guò)濾候選字串，得到實(shí)驗(yàn)所需的候選新詞列表。最后以C RF為框架，不斷的加入新詞的語(yǔ)言與統(tǒng)計(jì)特征研究特征組合對(duì)新詞發(fā)現(xiàn)的影響。實(shí)驗(yàn)表明，本文的候選新詞提取算法較為明顯地提升了新詞發(fā)現(xiàn)的性能。
　　微博熱點(diǎn)話題發(fā)現(xiàn)研究方面，包括文本相似度計(jì)算與文本聚類。文本相似度計(jì)算方面，提出了基于余弦法則與A值矩陣相結(jié)合的相似度算法，首先

3、選擇LDA模型進(jìn)行特征選擇，計(jì)算特征項(xiàng)的A值；然后以經(jīng)典的T F-IDF算法計(jì)算特征項(xiàng)的權(quán)重，同時(shí)構(gòu)建微博文本的VS M模型，根據(jù)余弦法則計(jì)算文本向量間的余弦值；最后通過(guò)參數(shù)調(diào)節(jié)特征項(xiàng)權(quán)值與語(yǔ)義間的聯(lián)系，使聚類更準(zhǔn)確，提高微博話題發(fā)現(xiàn)算法的性能。微博文本聚類方面，根據(jù)用戶關(guān)注關(guān)系和轉(zhuǎn)發(fā)評(píng)論關(guān)系改進(jìn)S ing le-Pas s聚類算法，通過(guò)設(shè)置雙相似度閾值，判斷用戶關(guān)注與轉(zhuǎn)發(fā)評(píng)論關(guān)系進(jìn)行聚類，得到初始話題類，最后采用C UR E聚類算法合