基于云計(jì)算的文本自動(dòng)分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的到來(lái),信息量呈現(xiàn)爆炸式增長(zhǎng),尤其是非結(jié)構(gòu)化數(shù)據(jù)充斥著人們的生活。如何從海量的非結(jié)構(gòu)化文本中快速定位信息以及高效的獲取信息成為人們目前急需解決的問(wèn)題。文本自動(dòng)分類能夠?qū)π畔⑦M(jìn)行有效的整理和分門別類,從而幫助人們更有效的檢索,查詢,過(guò)濾和利用信息。因此,如何實(shí)現(xiàn)對(duì)海量的非結(jié)構(gòu)化文本數(shù)據(jù)的自動(dòng)化分類成為當(dāng)前研究熱點(diǎn)。然而,非結(jié)構(gòu)化文本數(shù)據(jù)結(jié)構(gòu)復(fù)雜,分類規(guī)則不統(tǒng)一,數(shù)據(jù)更新速度快,數(shù)據(jù)規(guī)模巨大,使得傳統(tǒng)的文本分類方法已無(wú)法滿足當(dāng)今

2、非結(jié)構(gòu)化數(shù)據(jù)的處理需求。
　　針對(duì)分類方法自動(dòng)分類問(wèn)題,論文嘗試引入了云計(jì)算平臺(tái)和分布式計(jì)算架構(gòu),完成對(duì)大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的分類處理及對(duì)各種分類后的信息的相關(guān)處理,為當(dāng)今海量非結(jié)構(gòu)化文本數(shù)據(jù)處理對(duì)于存儲(chǔ)和計(jì)算的巨大需求提供了可靠保障。本文設(shè)計(jì)并實(shí)現(xiàn)了基于云計(jì)算的海量非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)分類系統(tǒng),系統(tǒng)實(shí)現(xiàn)了一個(gè)文本分類算法,并成功的運(yùn)行在Hadoop分布式平臺(tái)上,對(duì)網(wǎng)絡(luò)爬蟲(chóng)爬取到的文本數(shù)據(jù),完成自動(dòng)分類處理操作。此外,本系統(tǒng)還提供便捷的