面向金融信息檢索的體裁分類與情感分析技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)絡(luò)信息變得越來越豐富，但對(duì)用戶來說，海量信息反而使得高效的信息獲取變得困難。目前，基于主題的網(wǎng)頁(yè)分類和聚類技術(shù)常被用來管理和組織海量網(wǎng)頁(yè)數(shù)據(jù)，從而幫助用戶定位相關(guān)和有用信息。本文的研究則是面向金融領(lǐng)域垂直檢索應(yīng)用，在傳統(tǒng)的主題分析基礎(chǔ)上，從文本體裁和情感兩個(gè)新的非主題維度入手，對(duì)金融文本進(jìn)行體裁、情感和相關(guān)性分析，通過結(jié)合網(wǎng)頁(yè)文本分析和學(xué)習(xí)排序等信息檢索技術(shù)，改進(jìn)搜索性能。協(xié)助用戶更準(zhǔn)確定位所需信息，從而提高搜索效

2、率和信息的相關(guān)性。
　　在信息檢索系統(tǒng)中，體裁可以作為一個(gè)顯著特征，幫助用戶快速定位所需信息。本文在金融網(wǎng)頁(yè)的檢索結(jié)果上，研究了體裁分類特征選擇、提取以及自動(dòng)體裁分類方法?；谒迫槐葯z驗(yàn)，本文提出了兩種新的特征選擇算法，用于優(yōu)選具有較好體裁區(qū)分能力的特征，同時(shí)，設(shè)計(jì)了三種用于金融網(wǎng)頁(yè)文本體裁自動(dòng)分類的結(jié)構(gòu)化特征：上下文特征、頻繁特征和模式特征。本文采用機(jī)器學(xué)習(xí)方法結(jié)合上述特征集合實(shí)現(xiàn)了金融文本體裁自動(dòng)分類。實(shí)驗(yàn)結(jié)果證明了本文提出的

3、特征選擇算法和結(jié)構(gòu)化特征選取是有效的。
　　金融文本中包含的情感傾向有助于金融信息檢索結(jié)果的相關(guān)性排序，幫助確定信息的重要程度。因此，本文研究了金融新聞文本的情感分析方法，分別設(shè)計(jì)和實(shí)現(xiàn)了基于貝葉斯語(yǔ)言模型和相似度語(yǔ)言模型的中文金融新聞文本自動(dòng)情感分類方法。實(shí)驗(yàn)結(jié)果顯示，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，語(yǔ)言建模方法更為簡(jiǎn)單、直接和有效。本文提出了利用股評(píng)文本進(jìn)行自動(dòng)構(gòu)建可靠的訓(xùn)練語(yǔ)料集，此外，在本文的研究中，還利用股票價(jià)格作為指示器，半自

4、動(dòng)構(gòu)建金融新聞情感分類的測(cè)試語(yǔ)料集。這些資源可為本領(lǐng)域情感分析研究的深入提供支持。
　　缺少可靠的標(biāo)注資源是情感分析研究瓶頸之一。如何將其它語(yǔ)言(源語(yǔ)言)情感資源用于目標(biāo)語(yǔ)言的情感分析研究，即跨語(yǔ)言情感分析是本文另一個(gè)研究?jī)?nèi)容。本文創(chuàng)新性地提出將實(shí)例級(jí)別遷移學(xué)習(xí)方法用于跨語(yǔ)言的情感分析，評(píng)估和選擇高質(zhì)量翻譯樣本用于目標(biāo)語(yǔ)言情感分類器的輔助訓(xùn)練，解決跨語(yǔ)言情感分析中遇到的不同語(yǔ)言訓(xùn)練和測(cè)試數(shù)據(jù)特征/類別概率分布不一致、翻譯錯(cuò)誤傳遞等

5、難題。本文提出了三種用于跨語(yǔ)言情感分析的遷移學(xué)習(xí)算法。第一種算法基于TrAdaBoost(Transfer AdaBoost)，通過對(duì)源和目標(biāo)樣本采用不同權(quán)重迭代更新策略，進(jìn)而減少低質(zhì)量翻譯樣本對(duì)分類性能的負(fù)面影響。考慮到TrAdaBoost存在過度丟棄源語(yǔ)言訓(xùn)練樣本的風(fēng)險(xiǎn)，我們提出了第二種遷移學(xué)習(xí)算法TrBB(Transfer Boosting with Bagging)，利用Bagging對(duì)TrAdaBoost進(jìn)行平滑。與Boost

6、ing遷移策略減少低質(zhì)量翻譯樣本被選中參與訓(xùn)練概率不同，第三種方法是遷移自學(xué)習(xí)(Transfer Self-training)，算法通過結(jié)合預(yù)測(cè)標(biāo)簽和原標(biāo)簽進(jìn)行自學(xué)習(xí)，直接從翻譯語(yǔ)料中選擇更多的高質(zhì)量樣本用于目標(biāo)語(yǔ)言情感分類器的訓(xùn)練。本文分別在文檔和語(yǔ)句級(jí)的跨語(yǔ)言情感分析任務(wù)上對(duì)本文提出的方法進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果顯示遷移學(xué)習(xí)方法可以有效地利用其它語(yǔ)言標(biāo)注語(yǔ)料，改善目標(biāo)語(yǔ)言情感分類器的性能。
　　專業(yè)金融信息檢索系統(tǒng)需要對(duì)行業(yè)和股

7、票等金融產(chǎn)品提供對(duì)象級(jí)別的信息服務(wù)，而傳統(tǒng)的信息檢索模型不能直接用于計(jì)算對(duì)象和網(wǎng)頁(yè)的相關(guān)性。本文結(jié)合用戶的搜索意圖，從對(duì)象主題、金融領(lǐng)域、情感趨勢(shì)和行業(yè)四個(gè)方面度量金融產(chǎn)品與網(wǎng)頁(yè)的相關(guān)性，分別設(shè)計(jì)了對(duì)應(yīng)的四類特征，并結(jié)合網(wǎng)頁(yè)文檔和查詢對(duì)象給出了特征的量化表示，最后通過訓(xùn)練判別式模型SVM來計(jì)算查詢對(duì)象和網(wǎng)頁(yè)的相關(guān)性。實(shí)驗(yàn)結(jié)果顯示，相對(duì)于語(yǔ)言模型方法，學(xué)習(xí)排序方法能夠通過訓(xùn)練，有效結(jié)合領(lǐng)域內(nèi)多方面特征，大幅度提高搜索結(jié)果質(zhì)量。針對(duì)行業(yè)訓(xùn)練

8、語(yǔ)料缺少不相關(guān)訓(xùn)練語(yǔ)料集問題，本文提出了一個(gè)用于行業(yè)信息檢索和推薦的單類檢索模型，研究比較了三種不同的單類分類方法在行業(yè)信息檢索和推薦任務(wù)上的性能。實(shí)驗(yàn)表明，單類信息行業(yè)檢索模型結(jié)合單類SVM方法，能夠?yàn)橛脩籼峁└哒倩芈屎透呔刃袠I(yè)信息檢索服務(wù)。
　　本文的研究顯示，在傳統(tǒng)主題分析之外，對(duì)網(wǎng)頁(yè)文本進(jìn)行有效的體裁分類和情感分析，能夠幫助用戶迅速定位所需信息，提高搜索引擎的搜索效率。本文的研究?jī)?nèi)容在金融信息檢索領(lǐng)域尚屬首次，研究的成果