科技新聞熱點(diǎn)發(fā)現(xiàn)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)上的信息量變得極其龐大,而作為 Web1.0時(shí)代就已經(jīng)出現(xiàn)的傳統(tǒng)應(yīng)用,網(wǎng)絡(luò)新聞仍然有著很高的使用率。為了方便用戶有效地發(fā)現(xiàn)自己想要的信息,需要對(duì)新聞報(bào)道按事件進(jìn)行組織。話題發(fā)現(xiàn)的目標(biāo)是將討論同一事件的文檔劃分到一起。相對(duì)其它領(lǐng)域,科技新聞?dòng)幸韵聝蓚€(gè)特點(diǎn):話題的范圍相對(duì)較窄,事件之間相關(guān)性更強(qiáng)。在科技新聞中進(jìn)行話題發(fā)現(xiàn)時(shí)需要充分考慮這些特點(diǎn)。此外,為了方便用戶對(duì)當(dāng)前的熱點(diǎn)話題獲得一個(gè)全面的了解,進(jìn)而更加準(zhǔn)確地獲取

2、自己感興趣的信息,需要對(duì)事件產(chǎn)生一個(gè)直觀的描述。針對(duì)以上分析,本文主要研究內(nèi)容包括以下三個(gè)方面:
　　第一,對(duì)新聞文檔進(jìn)行建模。首先為了以關(guān)鍵詞組合的形式對(duì)當(dāng)前的熱點(diǎn)話題進(jìn)行描述,需要進(jìn)行關(guān)鍵詞抽取;其次在接下來的處理過程中,需要計(jì)算文本之間的相似度。根據(jù)以上需要,本文采用主題模型PAM(Pachinko Allocation Model)對(duì)對(duì)文檔進(jìn)行建模,完成關(guān)鍵詞的抽取并將得到的文檔主題分布向量用于相似度計(jì)算。接下來通過與TF

3、IDF和HHMM的對(duì)比實(shí)驗(yàn)對(duì)關(guān)鍵詞抽取的有效性進(jìn)行了驗(yàn)證并對(duì)主題模型的優(yōu)越性進(jìn)行了分析。
　　第二,對(duì)新聞文檔進(jìn)行聚類。首先需要將文檔按相關(guān)性進(jìn)行劃分,便于接下來的進(jìn)一步處理;其次產(chǎn)生以關(guān)鍵詞組合表示的事件描述復(fù)雜度較高,需要減少計(jì)算量。本文通過對(duì)典型聚類算法 K-means、K-means++和 Affinity Propagation的對(duì)比分析,選擇了更適合本文具體應(yīng)用的Affinity Propagation聚類算法;并進(jìn)一

4、步比較了不同相似度度量對(duì)聚類結(jié)果的影響,從另一個(gè)角度驗(yàn)證了主題模型的有效性。
　　第三,產(chǎn)生以關(guān)鍵詞組合表示的事件描述。因?yàn)榫垲惤Y(jié)果召回率較高而準(zhǔn)確率和純度較低,所以需要對(duì)聚類結(jié)果進(jìn)行進(jìn)一步的加工處理;而聚類產(chǎn)生的簇中關(guān)鍵詞數(shù)目相對(duì)整個(gè)文檔集合有了明顯地減少,因此可以采用頻繁項(xiàng)集挖掘算法。本文通過一個(gè)時(shí)間段的新聞文檔上的實(shí)驗(yàn)對(duì)算法的有效性進(jìn)行了驗(yàn)證。接下來通過對(duì)不同時(shí)間點(diǎn)的關(guān)鍵詞組合進(jìn)行比較以發(fā)現(xiàn)報(bào)道側(cè)重點(diǎn)的變化,給出了在演變趨勢(shì)