MPP架構(gòu)下的分布式SQL執(zhí)行計劃生成系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、當(dāng)今社會是一個信息急速膨脹的時代，隨著企業(yè)對數(shù)據(jù)量分析要求的急劇擴大，簡單的添加硬件資源不僅提高了成本而且還不能滿足海量數(shù)據(jù)的大規(guī)模處理，原有的集群規(guī)模和處理數(shù)據(jù)能力已遠遠達不到人們的需求。因此本文提出了一種新的處理解決方案，論文中所描述的系統(tǒng)“Whale”使用MPP(Massively Parallel Processing)無共享架構(gòu)通過分布式SQL執(zhí)行實現(xiàn)了海量數(shù)據(jù)對有效信息的提取，后端使用MySQL作為分析引擎，通過上層節(jié)點并行

2、控制引擎的執(zhí)行，并且應(yīng)用分布式文件結(jié)構(gòu)使系統(tǒng)存儲具有可靠性。
　　首先，為了解決現(xiàn)有海量數(shù)據(jù)分析商業(yè)產(chǎn)品的瓶頸和不足，本課題認(rèn)真研究了國內(nèi)外有關(guān)數(shù)據(jù)倉庫、并行計算、分布式架構(gòu)的情況，對行業(yè)發(fā)展現(xiàn)狀有了一定了解，提出了就容錯性、復(fù)雜性分析、可擴展性相關(guān)的需求分析和主要涉及技術(shù)。
　　其次，本文以Windows作為開發(fā)平臺，Eclipse作為開發(fā)工具，并部署在Linux集群上運行。通過對需求分析的滿足提出了主從式架構(gòu)和工作流程，

3、系統(tǒng)被分為客戶端和服務(wù)端，通過遠程過程調(diào)用實現(xiàn)端到端的通信，客戶端其主要任務(wù)是和用戶進行交互獲取請求返回結(jié)果，這一系列的過程中，生成SQL用戶類型的查詢計劃是處理分配數(shù)據(jù)的核心步驟，所以其中對SQL語法解析、執(zhí)行計劃生成的完成是解決問題的關(guān)鍵。服務(wù)端有主守護進程和從屬守護進程，主守護進程部署在中心節(jié)點上，從屬進程部署在從屬節(jié)點上。主節(jié)點從客戶端接受執(zhí)行計劃并在從屬節(jié)點指揮一系列數(shù)據(jù)分片并行處理，從屬節(jié)點則通過存儲引擎做實際的數(shù)據(jù)分析。M

4、eta-Data模塊集成于主節(jié)點上為整個系統(tǒng)提供服務(wù)，其中包括表模式及表中數(shù)據(jù)分片位置信息等。這是一種設(shè)計合理且輕量級架構(gòu)，使用MySQL的不同存儲引擎，使得在不同場景下對海量數(shù)據(jù)的處理都能得到滿足，上層架構(gòu)使得系統(tǒng)易于向外進行擴展并且通過添加新節(jié)點來適應(yīng)不斷增長的大數(shù)據(jù)。通過上述設(shè)計系統(tǒng)解決了復(fù)雜分析、可擴展及并行執(zhí)行能力，滿足用戶對海量數(shù)據(jù)處理的需求。
　　最后，論文從單元、功能、性能等方面對系統(tǒng)進行測試，并通過對系統(tǒng)相關(guān)成果