基于大規(guī)模并行處理的R語言運行時技術研究.pdf

1、大數據背景下，行業(yè)應用數據呈爆炸性增長，統(tǒng)計分析的數據規(guī)模和處理復雜度不斷增加，傳統(tǒng)意義上的計算技術和信息系統(tǒng)的處理能力遠遠不能滿足用戶要求。隨著高性能計算平臺的不斷發(fā)展，其在統(tǒng)計分析領域的應用開始廣泛受到相關領域研究人員的關注，眾多結合大數據平臺的統(tǒng)計分析方法、從編譯層面對編程語言進行優(yōu)化的方法逐漸成為熱門項目。
　　作為深受統(tǒng)計學家追捧的編程工具 R語言，和所有的解釋型語言一樣，存在著嚴重的性能弊端，需要利用并行方法提高代碼執(zhí)

2、行性能。然而并行化程序設計的過程遠比傳統(tǒng)的串行化算法復雜的多，不僅需要數據分析程序員進行功能性的代碼實現，還需要掌握很多分布式系統(tǒng)背景知識和并行程序設計技巧。上層數據分析和算法設計工作與底層復雜的并行化和分布式編程調試存在一個難以逾越的鴻溝，急需一種能夠縮短普通程序員和常規(guī)程序設計方法距離的架構。
　　首先，文章分析了R語言的特性。由于R語言是一門新興的解釋型統(tǒng)計學語言，沒有系統(tǒng)的同類文獻可供參考，因此本文先從源代碼層面對 R語言

3、目前的實現方式進行了剖析，并著重從 R語言的類型系統(tǒng)、向量化特性、函數式語言特性及與 C語言結合等方面進行了系統(tǒng)性整理。然后對其運行時特性進行探討，對比解釋型語言和編譯型語言在運行時的顯著區(qū)別，并以目前的GNU R作為研究對象，構建了其運行時的執(zhí)行框架，明確運行時階段要處理的事務，如內存分配、數據通信等，為接下來的分布式并行系統(tǒng)運行時設計及優(yōu)化奠定理論基礎。
　　其次，本文提出了基于R語言的分布式并行編程系統(tǒng)Rdp的設計思路。以提

4、供一系列的支持 R語言中常規(guī)向量化操作的并行編程接口作為系統(tǒng)的編程模型，采用消息傳遞接口（MPI）編程規(guī)范作為并行系統(tǒng)架構的主要實現方式，自頂向下分并行應用、并行接口、運行時環(huán)境（RTE）、操作系統(tǒng)及底層硬件幾部分設計了基于R語言的并行運行時架構，并以RTE中的任務調度和資源分配任務為對象，對系統(tǒng)功能及API功能進行了設計。
　　接下來，文章對系統(tǒng)的設計思路分層進行了實現與優(yōu)化。按照底層系統(tǒng)環(huán)境交互、中間層調度工作節(jié)點及高層提供簡

5、易應用編程接口這三層抽象出并行編程的API，并使用R中的C語言接口以高效的編程語言實現MPI的任務調度和分配。不同層次編程接口功能的劃分，有利于用戶或者開發(fā)人員根據使用需求自由選擇編程粒度實現并行，同時以R語言中使用最為廣泛的泛函apply函數家族作為主要優(yōu)化對象，能夠在盡量不改變用戶編程習慣的前提下提供一套可以在高性能計算平臺上的通用接口。
　　最后是文章的實驗測試部分。首先，將Rdp中主要函數接口的性能與snow包和paral