賽博-物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究.pdf

1、賽博-物理空間作為信息空間和物理空間的融合，可以使得具有信息感知、信息交換以及計算能力的實體根據(jù)應(yīng)用需求互相關(guān)聯(lián)。這種實體間的關(guān)聯(lián)關(guān)系涵蓋了從物理域、信息域到社會域多維度的信息，具有大規(guī)模、分布、動態(tài)等多種特性。在這樣一種融合空間中開展、開發(fā)應(yīng)用越來越成為科學工作者關(guān)注的話題。
　　在賽博-物理空間中，從信息感知的角度來講，需要面對大規(guī)模實體信息及實體間關(guān)系的分布式發(fā)現(xiàn)及聚合的挑戰(zhàn)。這里實體間關(guān)系包括了根據(jù)應(yīng)用需求從不同維度進行描

2、述的信息，例如實體在物理空間中的相對位置關(guān)系、由和用戶相關(guān)的社會屬性所表達的邏輯關(guān)系等。而從信息聚合的角度來講，需要面對實體及實體間關(guān)系動態(tài)性所帶來的挑戰(zhàn)。這里動態(tài)性包括實體狀態(tài)變化、實體位置變化等引起的實體屬性值的動態(tài)性，以及由此引起的實體間關(guān)聯(lián)關(guān)系的動態(tài)性等。而從信息處理的角度來講，需要面對大規(guī)模異構(gòu)數(shù)據(jù)高效處理帶來的挑戰(zhàn)，包括特定類型大規(guī)模數(shù)據(jù)處理的設(shè)計，以及多樣化業(yè)務(wù)模式對大規(guī)模數(shù)據(jù)處理平臺需求方面的設(shè)計等。
　　本文從賽

3、博-物理空間應(yīng)用中如何進行有效的信息聚合和高效的大規(guī)模數(shù)據(jù)處理兩個角度展開，研究如何高效地以分布式方式對實體間關(guān)系的發(fā)現(xiàn)，面向賽博-物理空間中實體及實體間的動態(tài)性，研究如何滿足應(yīng)用對實體穩(wěn)定關(guān)系發(fā)現(xiàn)的需求，即如何有效構(gòu)建穩(wěn)定子網(wǎng)絡(luò)，針對數(shù)據(jù)處理需求如何進行特定類型數(shù)據(jù)處理模型的設(shè)計，以及面向多樣化業(yè)務(wù)模式如何進行數(shù)據(jù)處理平臺融合和任務(wù)調(diào)度優(yōu)化。
　　本文工作主要分為以下四個方面：
　　1.基于分布式聚合模型的低負載實體關(guān)系發(fā)

4、現(xiàn)機制：通過建立賽博-物理空間中分布式的關(guān)系發(fā)現(xiàn)模型，考慮到多重關(guān)系同時發(fā)現(xiàn)的需求，設(shè)計了基于生成樹的分布式關(guān)系發(fā)現(xiàn)算法MSTRD，使得賽博-物理空間中實體間關(guān)系從傳統(tǒng)的集中式發(fā)現(xiàn)轉(zhuǎn)變?yōu)榉植际桨l(fā)現(xiàn)，同時保證關(guān)系發(fā)現(xiàn)過程的高效性，即降低關(guān)系發(fā)現(xiàn)過程的數(shù)據(jù)傳輸量和時間耗費。實驗結(jié)果表明MSTRD方法不管是從關(guān)系發(fā)現(xiàn)過程中數(shù)據(jù)傳輸總量還是時間耗費上來講都比集中式的處理方式性能更優(yōu)，最大數(shù)據(jù)傳輸量可節(jié)省1/3左右，同時在極端情況下可節(jié)省近一半的

5、時間耗費。
　　2.面向分布式動態(tài)聚合網(wǎng)絡(luò)的穩(wěn)定子網(wǎng)構(gòu)建機制：通過建立面向賽博-物理空間中應(yīng)用的分布式實體模型，設(shè)計了分布式的實體集合選擇算法MRMC，通過該分布式實體集合選擇算法，可以在實體集合規(guī)模增長有限的情況下提高實體間關(guān)系保持不變的時間RU T，即穩(wěn)定子網(wǎng)絡(luò)。大量的模擬實驗對MRMC算法進行了正確性和有效性驗證，結(jié)果表明，MRMC算法可以對實體間關(guān)系保持不變時間RU T的提升最大達一倍左右。
　　3.基于矩陣抽象的賽

6、博-物理空間大規(guī)模數(shù)據(jù)處理框架：本文設(shè)計了面向矩陣運算的通用計算框架MatrixMap，構(gòu)造了橫跨內(nèi)存和外存的可擴展的數(shù)據(jù)結(jié)構(gòu)塊式鍵值矩陣BKM，設(shè)計了針對算法并行性的數(shù)據(jù)重組和異步計算的優(yōu)化策略，以及針對通用矩陣運算的一元、二元操作符。實驗結(jié)果表明，針對一些常見的圖處理算法，MatrixMap比Spark等流行系統(tǒng)在處理速度上最多可以快10倍左右。
　　4.面向賽博-物理空間應(yīng)用多樣化業(yè)務(wù)模式的大數(shù)據(jù)平臺融合技術(shù)：針對大數(shù)據(jù)處理

7、平臺的多樣性和繁雜性，通過分析當前主流大數(shù)據(jù)處理平臺的優(yōu)劣，提出了對不同大數(shù)據(jù)處理平臺進行融合的方案，設(shè)計了針對不同數(shù)據(jù)處理任務(wù)在融合系統(tǒng)內(nèi)的調(diào)度框架，設(shè)計了基于遺傳算法的任務(wù)分簇和調(diào)度優(yōu)化策略MMRC，進而提高數(shù)據(jù)處理效率、降低資源耗費。模擬實驗結(jié)果表明，和單一系統(tǒng)處理相比，MMRC方法可以對任務(wù)的處理時間減少10％左右，資源耗費僅占所有節(jié)點資源30%左右。
　　通過上述四個方面的研究,我們可以在很大程度上對賽博-物理空間中應(yīng)用