金融領(lǐng)域論壇搜索及觀點判別.pdf

1、近年來,隨著web2.0的迅猛發(fā)展,互聯(lián)網(wǎng)不斷擴展成一個擁有海量數(shù)據(jù)并且內(nèi)容豐富的信息載體。并且涌現(xiàn)出一些新型的,與用戶交互性強的知識服務(wù)形式,其中典型的服務(wù)包括百科知識、個人博客、論壇等等。其中,論壇在網(wǎng)絡(luò)上營造了一個虛擬空間,用戶可以在這里提出并討論問題,共享信息。由于其發(fā)表帖子隨意形式簡單,有很高的時效性,深受廣大用戶的喜愛。如何能充分利用金融領(lǐng)域論壇中的數(shù)據(jù),整理并挖掘海量論壇數(shù)據(jù)中有用的信息,提供給用戶查詢訪問是本課題的主要內(nèi)

2、容。
　　本文主要構(gòu)建了面向金融領(lǐng)域論壇搜索以及觀點判別系統(tǒng),主要包括以下兩個部分:
　　首先搭建一個面向金融領(lǐng)域論壇的垂直搜索引擎,按照搜索引擎的流程,依次實現(xiàn)了爬蟲模塊,網(wǎng)頁數(shù)據(jù)提取并索引模塊,查詢排序模塊。針對金融領(lǐng)域論壇垂直搜索,每一部分的實現(xiàn)都有其自身的特點。在爬蟲模塊的設(shè)計中,抓取策略是對于每天的熱點股票給與更高的抓取頻率,以提高系統(tǒng)整體數(shù)據(jù)的時新性。在查詢排序模塊中,不僅提供了通用搜索中的相關(guān)性排序,針對論壇這

3、一結(jié)構(gòu),用戶還可以選擇根據(jù)點擊量,回復數(shù),發(fā)表時間等排序結(jié)果。
　　接下來,又對論壇中的帖子數(shù)據(jù)做了進一步的挖掘,為用戶提供更加人性化,智能化的服務(wù),主要工作就是通過文本分類判別論壇帖子的觀點。在將文本數(shù)據(jù)分詞,文本特征提取之后,使用樸素貝葉斯算法完成分類的工作。并改進了貝葉斯算法,提出了基于知網(wǎng)HowNet詞語相似性的樸素貝葉斯算法,有效提高了文本分類的性能和準確性。
　　本課題金融領(lǐng)域論壇搜索及觀點判別中的所有模塊都已經(jīng)