科技新聞熱點發(fā)現(xiàn)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡上的信息量變得極其龐大,而作為 Web1.0時代就已經(jīng)出現(xiàn)的傳統(tǒng)應用,網(wǎng)絡新聞仍然有著很高的使用率。為了方便用戶有效地發(fā)現(xiàn)自己想要的信息,需要對新聞報道按事件進行組織。話題發(fā)現(xiàn)的目標是將討論同一事件的文檔劃分到一起。相對其它領域,科技新聞有以下兩個特點:話題的范圍相對較窄,事件之間相關(guān)性更強。在科技新聞中進行話題發(fā)現(xiàn)時需要充分考慮這些特點。此外,為了方便用戶對當前的熱點話題獲得一個全面的了解,進而更加準確地獲取

2、自己感興趣的信息,需要對事件產(chǎn)生一個直觀的描述。針對以上分析,本文主要研究內(nèi)容包括以下三個方面:
　　第一,對新聞文檔進行建模。首先為了以關(guān)鍵詞組合的形式對當前的熱點話題進行描述,需要進行關(guān)鍵詞抽取;其次在接下來的處理過程中,需要計算文本之間的相似度。根據(jù)以上需要,本文采用主題模型PAM(Pachinko Allocation Model)對對文檔進行建模,完成關(guān)鍵詞的抽取并將得到的文檔主題分布向量用于相似度計算。接下來通過與TF

3、IDF和HHMM的對比實驗對關(guān)鍵詞抽取的有效性進行了驗證并對主題模型的優(yōu)越性進行了分析。
　　第二,對新聞文檔進行聚類。首先需要將文檔按相關(guān)性進行劃分,便于接下來的進一步處理;其次產(chǎn)生以關(guān)鍵詞組合表示的事件描述復雜度較高,需要減少計算量。本文通過對典型聚類算法 K-means、K-means++和 Affinity Propagation的對比分析,選擇了更適合本文具體應用的Affinity Propagation聚類算法;并進一

4、步比較了不同相似度度量對聚類結(jié)果的影響,從另一個角度驗證了主題模型的有效性。
　　第三,產(chǎn)生以關(guān)鍵詞組合表示的事件描述。因為聚類結(jié)果召回率較高而準確率和純度較低,所以需要對聚類結(jié)果進行進一步的加工處理;而聚類產(chǎn)生的簇中關(guān)鍵詞數(shù)目相對整個文檔集合有了明顯地減少,因此可以采用頻繁項集挖掘算法。本文通過一個時間段的新聞文檔上的實驗對算法的有效性進行了驗證。接下來通過對不同時間點的關(guān)鍵詞組合進行比較以發(fā)現(xiàn)報道側(cè)重點的變化,給出了在演變趨勢