面向金融問答的論壇觀點(diǎn)挖掘.pdf

1、近年來，隨著在線服務(wù)的飛速發(fā)展，互聯(lián)網(wǎng)形成了一個(gè)巨大、內(nèi)容豐富的信息庫(kù)，在線服務(wù)主要包括：百科知識(shí)、個(gè)人博客、在線論壇等等。其中，在線論壇作為一個(gè)特殊的網(wǎng)絡(luò)虛擬空間，在這里用戶可以提出問題、討論問題、并愿意與其他用戶一起分享知識(shí)及觀點(diǎn)，并在一定的獎(jiǎng)懲機(jī)制下激發(fā)用戶空前的興趣。
　　在這樣的背景下，用戶如果對(duì)某一個(gè)產(chǎn)品或者信息感興趣的話，就需要去各個(gè)網(wǎng)站、論壇瀏覽或者搜索相關(guān)的信息，不僅費(fèi)時(shí)費(fèi)力，而且獲取的信息往往凌亂不全面。而我們

2、的金融觀點(diǎn)問答系統(tǒng)，正是滿足了用戶這樣的需要，系統(tǒng)將金融信息作為主題和切入點(diǎn)，針對(duì)用戶的提問檢索相關(guān)金融觀點(diǎn)后，主動(dòng)為用戶進(jìn)行分類整理和統(tǒng)計(jì)，信息量大且友好。
　　本課題構(gòu)建了面向金融觀點(diǎn)的自動(dòng)問答系統(tǒng)，主要解決以下三方面的問題：
　　1．論壇中金融觀點(diǎn)挖掘：
　　論壇中數(shù)據(jù)的組織形式通常為一個(gè)主貼、若干個(gè)跟帖，整個(gè)帖子中可能包含多個(gè)討論對(duì)象以及觀點(diǎn)評(píng)論，但也充斥著這種噪音，導(dǎo)致觀點(diǎn)所占的比例較少，為了有效識(shí)別這些觀點(diǎn)

3、評(píng)論，本課題采用了兩個(gè)步驟進(jìn)行過濾和分類。
　　第一步采用規(guī)則匹配的方法對(duì)明顯不是觀點(diǎn)的內(nèi)容進(jìn)行過濾，有效減少進(jìn)入分類器的句子數(shù)量，這樣不但能降低分類的代價(jià)，而且能提高正確率；第二步構(gòu)造觀點(diǎn)分類器，對(duì)句子提取了各種類型的布爾特征，使用信息增益進(jìn)行特征選擇，通過支持向量機(jī)方法進(jìn)行分類性能測(cè)試。對(duì)新測(cè)試數(shù)據(jù)的分類精度達(dá)到83.11％。
　　2．觀點(diǎn)傾向判別：
　　對(duì)于已經(jīng)識(shí)別為觀點(diǎn)的句子，需要進(jìn)一步判別其傾向，觀點(diǎn)傾向總共

4、分為四類，包括積極、消極、中立以及比較。考慮到傾向性標(biāo)注語料數(shù)量有限，并且特征分布稀疏，本課題采用基于圖的半監(jiān)督學(xué)習(xí)方法對(duì)分類為觀點(diǎn)的未標(biāo)注傾向語料進(jìn)行擴(kuò)展：學(xué)習(xí)方法采用句子相似度建立圖模型，相似度計(jì)算包括兩個(gè)句子中詞的相似度、詞的語義相似度、句子間語義相似度、比較類模板相似度以及正負(fù)情感詞相似度等；采用改進(jìn)后的迭代標(biāo)注傳播算法對(duì)語料傾向進(jìn)行相似性傳遞，并且極大減少圖傳遞的時(shí)間復(fù)雜度；之后在擴(kuò)展語料的基礎(chǔ)上進(jìn)行訓(xùn)練，十種類型的特征，包括

5、詞、擴(kuò)展詞、二元詞、語義、正負(fù)情感詞、正負(fù)模板、比較類模板以及句子結(jié)構(gòu)特征等，使用信息增益進(jìn)行特征選擇，通過支持向量機(jī)方法進(jìn)行分類性能測(cè)試，同等條件下，取得了比全監(jiān)督分類方法更高的準(zhǔn)確率。
　　此外，還需識(shí)別句子的評(píng)論對(duì)象，若句子不存在承前省略的情況，可直接匹配一個(gè)或多個(gè)對(duì)象；若存在承前省略，則需要通過規(guī)則匹配的方法向前回溯找到一個(gè)或多個(gè)對(duì)象，采用規(guī)則在人工標(biāo)注的語料中測(cè)試，正確率達(dá)到86%。
　　3．實(shí)時(shí)觀點(diǎn)庫(kù)：