基于云計(jì)算的海量數(shù)據(jù)挖掘分類算法研究.pdf

1、隨著數(shù)據(jù)存儲(chǔ)量的急劇增加，海量數(shù)據(jù)處理和海量數(shù)據(jù)計(jì)算成為了數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的問(wèn)題。傳統(tǒng)的串行數(shù)據(jù)挖掘算法往往只能夠處理一些小規(guī)模的數(shù)據(jù)，當(dāng)面對(duì)海量數(shù)據(jù)時(shí)，它們的執(zhí)行速度會(huì)降低甚至無(wú)法運(yùn)行，因此這對(duì)目前的數(shù)據(jù)挖掘提出了嚴(yán)峻的挑戰(zhàn)和考驗(yàn)。而分類算法作為數(shù)據(jù)挖掘中極其重要的一個(gè)部分，在信息檢索、網(wǎng)絡(luò)搜索以及CRM等方面扮演著重要的角色。目前絕大多數(shù)的分類算法都是串行的，在處理大數(shù)據(jù)集時(shí)可行性差、效率低、分類準(zhǔn)確率低的問(wèn)題日益突出，導(dǎo)致了

2、計(jì)算資源的不可估量以及執(zhí)行時(shí)間的無(wú)限延長(zhǎng)。
　　現(xiàn)代社會(huì)所處理的數(shù)據(jù)是海量的，在云計(jì)算出現(xiàn)以前，在做數(shù)據(jù)挖掘時(shí)以往都期望用高性能機(jī)或者是更大規(guī)模的計(jì)算設(shè)備來(lái)進(jìn)行處理；另外在海量數(shù)據(jù)的背景下，挖掘過(guò)程當(dāng)中需要有很好的開(kāi)發(fā)環(huán)境和應(yīng)用環(huán)境，在這樣的情況下，采用基于云計(jì)算的方式來(lái)進(jìn)行數(shù)據(jù)挖掘是比較合適的。而且由于目前并行分類算法的缺少，大規(guī)模數(shù)據(jù)集日益龐大，傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)已經(jīng)不能對(duì)這些海量數(shù)據(jù)進(jìn)行高效挖掘和利用，如何提高算法的并行性和

3、效率是目前亟需解決的問(wèn)題。
　　本論文以實(shí)驗(yàn)室粵港關(guān)鍵領(lǐng)域重點(diǎn)突破項(xiàng)目為基礎(chǔ)，分析和研究了輿情分析系統(tǒng)項(xiàng)目中應(yīng)用到的海量數(shù)據(jù)挖掘的相關(guān)技術(shù)。由于輿情分析系統(tǒng)處理的數(shù)據(jù)都來(lái)自因特網(wǎng)，每天需要處理的數(shù)據(jù)量非常龐大，要對(duì)這些海量數(shù)據(jù)集進(jìn)行訓(xùn)練和分類，就必須保證輿情分析系統(tǒng)能維持在一個(gè)穩(wěn)定、高效的環(huán)境。如何提高輿情分析系統(tǒng)分類的效率和性能，是本論文要解決的問(wèn)題。
　　本論文的先進(jìn)性在于，分類算法在輿情分析系統(tǒng)中是非常重要的一部分，根