面向金融信息檢索的體裁分類與情感分析技術研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)絡信息變得越來越豐富，但對用戶來說，海量信息反而使得高效的信息獲取變得困難。目前，基于主題的網(wǎng)頁分類和聚類技術常被用來管理和組織海量網(wǎng)頁數(shù)據(jù)，從而幫助用戶定位相關和有用信息。本文的研究則是面向金融領域垂直檢索應用，在傳統(tǒng)的主題分析基礎上，從文本體裁和情感兩個新的非主題維度入手，對金融文本進行體裁、情感和相關性分析，通過結(jié)合網(wǎng)頁文本分析和學習排序等信息檢索技術，改進搜索性能。協(xié)助用戶更準確定位所需信息，從而提高搜索效

2、率和信息的相關性。
　　在信息檢索系統(tǒng)中，體裁可以作為一個顯著特征，幫助用戶快速定位所需信息。本文在金融網(wǎng)頁的檢索結(jié)果上，研究了體裁分類特征選擇、提取以及自動體裁分類方法。基于似然比檢驗，本文提出了兩種新的特征選擇算法，用于優(yōu)選具有較好體裁區(qū)分能力的特征，同時，設計了三種用于金融網(wǎng)頁文本體裁自動分類的結(jié)構(gòu)化特征：上下文特征、頻繁特征和模式特征。本文采用機器學習方法結(jié)合上述特征集合實現(xiàn)了金融文本體裁自動分類。實驗結(jié)果證明了本文提出的

3、特征選擇算法和結(jié)構(gòu)化特征選取是有效的。
　　金融文本中包含的情感傾向有助于金融信息檢索結(jié)果的相關性排序，幫助確定信息的重要程度。因此，本文研究了金融新聞文本的情感分析方法，分別設計和實現(xiàn)了基于貝葉斯語言模型和相似度語言模型的中文金融新聞文本自動情感分類方法。實驗結(jié)果顯示，與傳統(tǒng)機器學習方法相比，語言建模方法更為簡單、直接和有效。本文提出了利用股評文本進行自動構(gòu)建可靠的訓練語料集，此外，在本文的研究中，還利用股票價格作為指示器，半自

4、動構(gòu)建金融新聞情感分類的測試語料集。這些資源可為本領域情感分析研究的深入提供支持。
　　缺少可靠的標注資源是情感分析研究瓶頸之一。如何將其它語言(源語言)情感資源用于目標語言的情感分析研究，即跨語言情感分析是本文另一個研究內(nèi)容。本文創(chuàng)新性地提出將實例級別遷移學習方法用于跨語言的情感分析，評估和選擇高質(zhì)量翻譯樣本用于目標語言情感分類器的輔助訓練，解決跨語言情感分析中遇到的不同語言訓練和測試數(shù)據(jù)特征/類別概率分布不一致、翻譯錯誤傳遞等

5、難題。本文提出了三種用于跨語言情感分析的遷移學習算法。第一種算法基于TrAdaBoost(Transfer AdaBoost)，通過對源和目標樣本采用不同權重迭代更新策略，進而減少低質(zhì)量翻譯樣本對分類性能的負面影響?？紤]到TrAdaBoost存在過度丟棄源語言訓練樣本的風險，我們提出了第二種遷移學習算法TrBB(Transfer Boosting with Bagging)，利用Bagging對TrAdaBoost進行平滑。與Boost

6、ing遷移策略減少低質(zhì)量翻譯樣本被選中參與訓練概率不同，第三種方法是遷移自學習(Transfer Self-training)，算法通過結(jié)合預測標簽和原標簽進行自學習，直接從翻譯語料中選擇更多的高質(zhì)量樣本用于目標語言情感分類器的訓練。本文分別在文檔和語句級的跨語言情感分析任務上對本文提出的方法進行實驗驗證，實驗結(jié)果顯示遷移學習方法可以有效地利用其它語言標注語料，改善目標語言情感分類器的性能。
　　專業(yè)金融信息檢索系統(tǒng)需要對行業(yè)和股

7、票等金融產(chǎn)品提供對象級別的信息服務，而傳統(tǒng)的信息檢索模型不能直接用于計算對象和網(wǎng)頁的相關性。本文結(jié)合用戶的搜索意圖，從對象主題、金融領域、情感趨勢和行業(yè)四個方面度量金融產(chǎn)品與網(wǎng)頁的相關性，分別設計了對應的四類特征，并結(jié)合網(wǎng)頁文檔和查詢對象給出了特征的量化表示，最后通過訓練判別式模型SVM來計算查詢對象和網(wǎng)頁的相關性。實驗結(jié)果顯示，相對于語言模型方法，學習排序方法能夠通過訓練，有效結(jié)合領域內(nèi)多方面特征，大幅度提高搜索結(jié)果質(zhì)量。針對行業(yè)訓練

8、語料缺少不相關訓練語料集問題，本文提出了一個用于行業(yè)信息檢索和推薦的單類檢索模型，研究比較了三種不同的單類分類方法在行業(yè)信息檢索和推薦任務上的性能。實驗表明，單類信息行業(yè)檢索模型結(jié)合單類SVM方法，能夠為用戶提供高召回率和高精度行業(yè)信息檢索服務。
　　本文的研究顯示，在傳統(tǒng)主題分析之外，對網(wǎng)頁文本進行有效的體裁分類和情感分析，能夠幫助用戶迅速定位所需信息，提高搜索引擎的搜索效率。本文的研究內(nèi)容在金融信息檢索領域尚屬首次，研究的成果