股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)上數(shù)據(jù)量的與日俱增，海量數(shù)據(jù)時(shí)代即將到來，計(jì)算機(jī)領(lǐng)域也將從傳統(tǒng)的信息技術(shù)（IT）時(shí)代向數(shù)據(jù)技術(shù)（DT）時(shí)代發(fā)生轉(zhuǎn)變。人們運(yùn)用大數(shù)據(jù)分析技術(shù)來解決、改善生活中實(shí)際問題的例子越來越多，大數(shù)據(jù)分析正在不斷的改變著、優(yōu)化著人們的日常生活，使人們的生活變得更加方便、智能。
　　傳統(tǒng)的熱門話題發(fā)現(xiàn)方法通常是首先通過規(guī)則對(duì)數(shù)據(jù)進(jìn)行過濾，然后再讓編輯人員對(duì)過濾后的數(shù)據(jù)進(jìn)行閱讀，最終提煉出其中涵蓋的熱門話題。傳統(tǒng)方法存在耗費(fèi)人力巨大、信息

2、更新緩慢等問題，隨著數(shù)據(jù)量越來越大，傳統(tǒng)方法遭受的挑戰(zhàn)也越來越大。針對(duì)傳統(tǒng)方法存在的上述問題，本文通過結(jié)合大數(shù)據(jù)分析技術(shù)提出了一種自動(dòng)化的話題發(fā)現(xiàn)方案。
　　論文首先通過構(gòu)建網(wǎng)絡(luò)爬蟲程序?qū)ヂ?lián)網(wǎng)上的金融類新聞頁面數(shù)據(jù)進(jìn)行收集，然后運(yùn)用網(wǎng)頁抽取技術(shù)對(duì)爬取到的頁面進(jìn)行預(yù)處理，之后再對(duì)處理后的數(shù)據(jù)進(jìn)行話題聚類，將涵蓋同一話題的數(shù)據(jù)文檔聚集在同一個(gè)簇中，最終分析出當(dāng)前文檔集合中的熱點(diǎn)話題。在整個(gè)分析過程中運(yùn)用到了網(wǎng)絡(luò)爬蟲、網(wǎng)頁抽取、分布式