基于時間信息的輿情話題發(fā)現技術研究.pdf

1、隨著互聯(lián)網信息的繼續(xù)指數級增長,以及互聯(lián)網在全球范圍內的日益普及,互聯(lián)網已經成為全球最大最具潛力的社會輿論集中地。在這樣的形勢下,對輿情信息的監(jiān)控和分析就顯得越來越重要。互聯(lián)網每天都會產生大量的信息,如何高效準確的挖掘出每天的熱點話題和突發(fā)事件成為輿情監(jiān)控的研究重點。
　　中文時間表達式識別是近年來研究的熱點,中文時間表達式識別多使用機器學習方法識別范圍,使用規(guī)則的方法規(guī)范化,但是特征的選擇和規(guī)則的制定都很不健全,本文提出一種特征

2、選擇算法,并人工制定了規(guī)范化規(guī)則。傳統(tǒng)熱點話題發(fā)現的研究對時間信息的考慮過于單一,本文針對這種情況,將時間粒度精確到分鐘,并通過新聞的文本表示和聚類的相似度計算兩方面將時間信息融入到了話題發(fā)現算法中。在突發(fā)事件識別方面,加入時間信息,考慮時間相近因素。本文以規(guī)范化的時間表達式為基礎,研究輿情熱點話題和突發(fā)事件識別技術,主要工作如下:
　　1.提出一種中文時間表達式范圍識別的特征選擇算法。針對傳統(tǒng)的特征選擇算法難免會丟失最佳特征組合

3、的缺陷,本文提出一種增減特征交集的特征選擇方法,對這些特征進行了進一步的篩選,并用窮舉實驗結果對這種特征選擇方法進行了驗證。分別利用條件隨機場、SVM、最大熵模型在TempEval-2中文語料上的實驗結果進行了比較分析,并分析了標注錯誤的可能原因。利用本文的方法,最后識別的結果F1值比其他研究者的結果都要高。
　　2.加入規(guī)則方法對中文時間表達式類型識別。本文在SVM方法的基礎上,加入了規(guī)則的方法對中文時間表達式的類型進行了識別,

4、通過在TempEval-2中文語料上的實驗證明了方法的有效性,其正確率達到了96.88％,明顯高于其他研究者的方法。
　　3.提出中文時間表達式規(guī)范化格式和算法。本文以UTC時間為標準時間,將不同來源的新聞文本按照時區(qū)進行統(tǒng)一的映射。在參考時間概念里,為了對大規(guī)模的數據進行實時分析,加入了新聞獲取時間的概念。人工定義了一些模糊時間詞的范圍,設計了中文時間DATE和TIME類型的規(guī)范化格式。在上述基礎上設計了中文時間表達式的規(guī)范化算

5、法。
　　4.在輿情熱點話題發(fā)現技術中融入時間信息。本文將時間信息以新聞表示模型和聚類相似度計算因子兩種形式加入到Single-Pass算法中。本文用tfidf作為向量空間模型的權重表示新聞文本,并對其中的人名、地名、機構名、時間詞、標題詞、正文第一段詞提高其權重,來更加準確全面有重點的表示新聞文本。這里的時間詞是規(guī)范化后的時間表達式。在計算相似度的時候,本文除了利用傳統(tǒng)的余弦相似度計算公式,還加入了時間距離的因素,并定義了時間距