一種基于云計算的數據挖掘平臺架構設計與實現.pdf

1、網絡技術在帶給人們大量信息的同時，也極大地增加了人們從海量數據中發(fā)現有用知識的難度，而解決這一問題的努力促進了數據挖掘技術的出現和快速發(fā)展。目前，數據挖掘技術已在金融、醫(yī)療、軍事、管理等諸多領域的決策分析方面被廣泛應用。 云計算是能提供動態(tài)資源池、虛擬化和高可用性的計算平臺。云計算開發(fā)平臺可被用來開發(fā)高性能應用程序，但數據本身具有噪聲、異構等問題，而現有的云計算開發(fā)平臺當前還沒有數據規(guī)約功能，利用云計算進行數據挖掘的解決方案尚未

2、被提出。針對上述問題，首先，擴展Google App Engine開發(fā)平臺，設計與實現其數據規(guī)約功能，主要解決異構數據訪問問題與未存在數據類型訪問問題；然后，在擴展的Google App Engine開發(fā)平臺基礎上設計與實現一數據挖掘系統(tǒng)，通過實驗驗證數據規(guī)約功能的有效性及云計算平臺執(zhí)行數據挖掘操作的高效性。 在數據規(guī)約模塊設計過程中，通過采用可被擴展的元數據定義、數據集模板定義及數據集定義逐層抽象數據集的數據類型、數據結構、訪

3、問地址等信息，實現對異構數據集的抽象以及對未有數據類型的訪問。在基于云計算的數據挖掘系統(tǒng)設計過程中，基于分層設計的思想，將該平臺的層次自底向上劃分為：算法層、任務層和用戶層，其中，底層透明的為其上層提供服務，上層通過層間開放接口調用下層服務，使得層與層之間的功能相對獨立，易于系統(tǒng)的二次開發(fā)。同時各層接口均以REST接口方式對外開放，可被開發(fā)者嵌入到其應用程序中。在算法層設計過程中設計了多層插件框架結構，增加了算法實現與維護的靈活性。