數(shù)據(jù)分類系統(tǒng)的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)最近幾年的爆發(fā)式發(fā)展，給很多公司和企業(yè)帶來了新的機遇與挑戰(zhàn)，用戶越來越多，內(nèi)容越來越豐富，每天都會產(chǎn)生大量的數(shù)據(jù)，如何對日益暴增的數(shù)據(jù)進行高效的分類，將是很多公司必將面臨的議題。從這一點出發(fā)，利用日益完善的機器學習技術幫助處理大數(shù)據(jù)的分類，并且利用分布式處理的低成本優(yōu)勢，將大量減少以往投入的資源和人力，有效的解決大數(shù)據(jù)的處理效率和投入。
　　系統(tǒng)為使用分布式架構系統(tǒng)，選擇了Apache公司的Zookeeper分布式管理框架和

2、Ubuntu系統(tǒng)以及在線機器學習框架Jubatus搭建，通過對系統(tǒng)的需求分析，繪制了系統(tǒng)的架構圖和各個模塊的功能圖、用例圖和部分活動圖，制圖都是嚴格遵循UML標準。然后對數(shù)據(jù)預處理模塊，數(shù)據(jù)分析分配模塊，數(shù)據(jù)轉(zhuǎn)換模塊，數(shù)據(jù)處理模塊，數(shù)據(jù)整合模塊等五個主要模塊進行詳細的需求分析和設計，包括數(shù)據(jù)的處理方法設計和數(shù)據(jù)處理的算法選擇等重要功能。并通過對數(shù)據(jù)類型和結(jié)構特點選擇最優(yōu)化的適配算法來處理數(shù)據(jù)，以及最終數(shù)據(jù)結(jié)果整合結(jié)果選取的取舍的標準和對

3、應方法。在數(shù)據(jù)的精度上面利用分布式中處理模塊的相對對立特性來提高最終分類的精度。
　　基于機器學習與分布式處理系統(tǒng)技術，利用概率分析技術和反復多次處理統(tǒng)計整合結(jié)果數(shù)據(jù)，在分類算法的選擇上通過對待分類數(shù)據(jù)進行分別多次不同條件控制進行測試，獲取需要的最優(yōu)條件信息，從而減少了數(shù)據(jù)內(nèi)對分類有較大影響的噪音因素問題并且根據(jù)結(jié)果確定關鍵屬性數(shù)目問題。在并行多次分類結(jié)束后對數(shù)據(jù)結(jié)果進行統(tǒng)計，利用概率分布情況來判定最后的最終結(jié)果，在理論上為分類結(jié)