網(wǎng)絡(luò)輿情熱點主題詞提取研究.pdf

1、熱點主題詞提取技術(shù)是網(wǎng)絡(luò)輿情熱點話題發(fā)現(xiàn)的基礎(chǔ),即利用計算機對海量的網(wǎng)絡(luò)信息進行處理并提取熱點主題詞,能給進一步進行與網(wǎng)絡(luò)輿情相關(guān)的熱點話題挖掘提供很好的利用結(jié)果；另外,它也是用來研究提高信息檢索速度,或作為準(zhǔn)確抽取自動摘要的有效方法。本文針對傳統(tǒng)熱點主題詞提取技術(shù)中的噪音詞庫的建立和熱點主題詞的判定展開了研究,提出了相應(yīng)的改進算法,并對熱點
　　 關(guān)鍵詞的提取問題進行了有效的探討。
　　 首先,本文對網(wǎng)絡(luò)輿情熱點主題詞

2、提取技術(shù)的現(xiàn)狀和發(fā)展進行了簡要的回顧。文中分別對網(wǎng)絡(luò)輿情信息挖掘的相關(guān)技術(shù)和主題詞提取算法作了分析。網(wǎng)絡(luò)輿情信息挖掘主要包括信息來源和信息采集等部分,輿情信息分析關(guān)鍵技術(shù)包括話題檢測與跟蹤和文本傾向性分析等。主題詞提取算法中介紹了常用的幾種主題詞提取算法并對其進行比較分析,包括基于語義的主題詞提取等。
　　 然后,本文著重研究了基于多級過濾的主題詞提取算法,詳細(xì)描述了其整體流程圖,通過分析其相關(guān)技術(shù)和整體邏輯結(jié)構(gòu),針對傳統(tǒng)的基于

3、詞頻的噪音詞提取方法和主題詞提取方法的缺點,做了進一步的改進,主要分為改進的噪音詞提取模塊和熱點主題詞提取模塊,把概率論與數(shù)理統(tǒng)計中方差的概念引入到對噪音詞提取的方法中,以此提出了基于聯(lián)合方差的噪音詞提取方法,并詳細(xì)描述了改進后噪音詞提取算法的步驟和流程圖。同時為了進一步提高熱點主題詞的可信度,改進傳統(tǒng)的對熱點主題詞的判定方法,提出了基于關(guān)注度的熱點主題詞提取方法,并把熱點主題詞提取的實驗結(jié)果與新浪網(wǎng)中的熱點新聞標(biāo)題進行驗證比較。實驗證

4、明,本文改進的算法具有穩(wěn)定性和高效性,并具有一定的可信度。
　　 此外,分別使用大規(guī)模數(shù)據(jù)語料和真實新聞?wù)Z料對本文提出的基于聯(lián)合方差的噪音詞提取方法和基于主題詞關(guān)注度的提取方法進行了實驗,并對測試結(jié)果進行了比較和分析。實驗結(jié)果表明,本文改進的基于多級過濾的主題詞提取方法對于處理新聞?wù)Z料熱點主題詞發(fā)現(xiàn)的問題具有一定的優(yōu)勢。
　　 本文最后對論文所做的工作進行了總結(jié)與評述,并提煉了熱點主題詞提取中值得繼續(xù)研究的若干問題,為以