網(wǎng)上專家經(jīng)濟觀點自動挖掘研究.pdf

1、前互聯(lián)網(wǎng)時代，數(shù)據(jù)的獲取受制于時間、空間等因素的影響，由于當時網(wǎng)絡不發(fā)達，數(shù)據(jù)獲取的難度大、速度慢、來源少，導致人們對于數(shù)據(jù)的獲取感到非常困難。并且在數(shù)據(jù)處理上，所能處理的數(shù)據(jù)類型大多是結(jié)構(gòu)化數(shù)據(jù)，對于非結(jié)構(gòu)化數(shù)據(jù)還未能從容應對?，F(xiàn)在，隨著互聯(lián)網(wǎng)的快速發(fā)展，信息獲取的廣度增加、速度加快，其也不再受制于時間和空間，再加上非結(jié)構(gòu)化數(shù)據(jù)占比越來越多，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)等早已不能滿足人們的分析需要。這時，數(shù)據(jù)的獲取開始受限于信息的整合。因為面對現(xiàn)

2、如今海量的數(shù)據(jù)，尤其是諸如文本、聲音、圖像等非結(jié)構(gòu)化數(shù)據(jù)，如何將其中有用的信息進行整合，已經(jīng)成為了一個重要的問題。目前，信息整合大多依賴于人力，那么如何實現(xiàn)自動化信息整合就成為了一項挑戰(zhàn)。
　　本文研究的目的是以經(jīng)濟形勢數(shù)據(jù)為例，通過python urllib爬蟲技術(shù)實現(xiàn)數(shù)據(jù)的獲?。焕脤＜矣^點篩選公式實現(xiàn)數(shù)據(jù)的篩選；使用描述統(tǒng)計相關(guān)方法實現(xiàn)數(shù)據(jù)的整體把握；運用自然語言處理技術(shù)實現(xiàn)文本數(shù)據(jù)的處理；結(jié)合空間向量模型實現(xiàn)文本的聚類；自