面向證券應用的WEB主題觀點挖掘若干關(guān)鍵問題研究.pdf

1、受有效市場假說的影響，證券行業(yè)不斷重視對互聯(lián)網(wǎng)文本數(shù)據(jù)的研究。但隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，尤其是近年來涌現(xiàn)出各種社交網(wǎng)絡平臺，互聯(lián)網(wǎng)上的文本數(shù)據(jù)發(fā)生很大變化，開始出現(xiàn)大量帶有感情色彩的主觀性信息。這些主觀性信息的內(nèi)容涉及社會生活中的各種熱點話題，因此在證券行業(yè)擁有巨大的應用空間。然而，主觀性信息在文本中的表現(xiàn)形式與客觀性信息不同，一般比客觀性信息更加復雜，因此利用傳統(tǒng)的文本挖掘方法已經(jīng)無法解決這類信息的挖掘問題。在這種背景下，以挖掘文本中主

2、觀性情感信息為研究目標的觀點挖掘技術(shù)應運而生。
　　互聯(lián)網(wǎng)觀點挖掘研究不僅具有巨大的學術(shù)價值，其挖掘結(jié)果還能幫助解決許多行業(yè)的應用需求，因此該領域的研究不僅受到學術(shù)界的廣泛關(guān)注，還吸引了眾多行業(yè)的注意。其中，在證券行業(yè)就出現(xiàn)利用社交網(wǎng)絡情感信息預測股市波動的應用案例。相對之前的方法，這些基于觀點挖掘的應用取得了一定的成效，但總體來看，其應用效果仍無法令人滿意。這是因為目前的觀點挖掘研究僅注重對觀點信息的挖掘，忽視了觀點與主題內(nèi)容的

3、聯(lián)系，然而證券行業(yè)對信息的需求，不僅包括互聯(lián)網(wǎng)上的觀點信息，還同時希望把握其中蘊含的主題。因此，現(xiàn)有的觀點挖掘方法也難以很好的滿足證券行業(yè)對信息的需求。
　　針對這一問題，本文提出了一種面向Web文本主題的觀點挖掘研究，簡稱主題觀點挖掘研究。圍繞這一研究，我們分別對主題觀點挖掘、主題觀點量化、主題觀點集成，以及主題觀點分類等若干關(guān)鍵問題展開深入分析，并提出相應的解決的方法。此外，為了驗證本文方法的有效性，我們不僅在實驗中驗證了本文

4、方法解決現(xiàn)有觀點挖掘任務的能力，還專門將挖掘模型應用到的股市波動預測應用中。實驗結(jié)果不僅證明了本文方法的有效性，還發(fā)現(xiàn)了許多有意思的結(jié)論?？傮w來看，本文研究工作有如下幾個方面的創(chuàng)新:
　　1.針對現(xiàn)有方法在挖掘觀點信息時忽略了主題信息這一不足，本文首先提出一種文檔主題觀點挖掘模型（Document-Topic-Opinion，簡稱DTO模型）。該模型在標準LDA模型關(guān)于文檔(Document)、主題(Topic)和詞匯（Word）

5、的三層結(jié)構(gòu)基礎上，進一步引入觀點(Opinion)的概念，是一種四層貝葉斯概率生成模型。從機器學習的角度看，DTO模型是一種非監(jiān)督的學習模型。由于DTO模型中未知參數(shù)間存在耦合關(guān)系，無法通過形式化推理求解模型的未知參數(shù)，本文提出采用MCMC Gibbs抽樣的方法實現(xiàn)對未知參數(shù)的近似估計。實驗結(jié)果表明，DTO模型具有較強的主題和觀點挖掘能力，利用該模型不僅可以取得較高的文檔觀點分類準確率，還能挖掘出帶有情感傾向性的主題內(nèi)容。
　　2

6、.針對現(xiàn)有觀點量化方法的不足，本文在DTO模型基礎上，首先提出主題觀點分布的假設，假設文本的觀點信息是在多個隱含主題上的多項分布。依據(jù)這一概率假設，本文進一步提出了主題觀點的量化表達模型，即文檔主題觀點向量模型（Document-Topic-Opinion Vector，簡稱DTOV模型）。利用DTO模型，可以將文檔觀點(Article Opinion)與文檔主題觀點關(guān)聯(lián)起來，最終實現(xiàn)對DTOV模型的量化計算。以DTOV為分類特征的情感

7、分類實驗結(jié)果表明，DTOV具有較好的主題觀點量化能力。
　　3.針對現(xiàn)有觀點集成方法的不足，本文首次提出一種基于文檔權(quán)重(Article-Weight)和主題權(quán)重(Topic-Weight)的主題觀點集成模型(Topic-Opinion Vector Aggregation Model，簡稱TOVA模型)。該模型通過集成文檔集合中所有文檔的主題觀點，為整個文檔集生成一個主題觀點集成向量（Aggregative Topic-Opin

8、ion Vector，簡稱ATOV）。利用TOVA模型，可以同時挖掘出互聯(lián)網(wǎng)上多個熱點話題的輿情信息，具有較高的應用價值。為了驗證觀點集成模型的有效性，本文利用DTO模型對中國最大的互聯(lián)網(wǎng)門戶網(wǎng)站新浪財經(jīng)每日發(fā)布的股票相關(guān)文本信息進行主題觀點挖掘，為每篇互聯(lián)網(wǎng)財經(jīng)文檔生成一個對應的DTOV，然后再利用TOVA模型整合每天所有的DTOV，最終得到每天的主題觀點集成向量ATOV。ATOV可以看作是每日互聯(lián)網(wǎng)上圍繞熱點主題的觀點信息，為了迸一

9、步驗證其對股市波動的預測能力，我們將每日生成的ATOV作為特征數(shù)據(jù)，利用文本分類方法對上證綜指隔日波動方向進行預測。實驗結(jié)果驗證了ATOV對股市波動的預測能力，同時也反映出TOVA模型較強的觀點整合能力。
　　4.針對現(xiàn)有方法對文本多分類模型研究的不足，本文在正則化理論和模糊集理論的基礎上，首次提出了一種多數(shù)據(jù)域描述(Multiple Data Domain DescriptionModel，簡稱MDDD模型)的文本多分類方法。M