面向數(shù)據(jù)處理的流計算關鍵技術研究.pdf

1、日益發(fā)展的新一代無線網(wǎng)絡對于實時數(shù)據(jù)流處理也提出了新的要求。射頻標簽(RFID)使得每個物品都可以接入網(wǎng)絡，微傳感器無時無刻不在檢測著環(huán)境信息并傳送給主控節(jié)點，這對主控節(jié)點的處理能力提出了嚴峻挑戰(zhàn)。這就需要一種數(shù)據(jù)處理機制實時而精確的對數(shù)據(jù)流進行分類和計算，使其在實用價值消失之前盡可能轉變成收益，因此流計算技術應運而生。
　　流計算的主要目的是從實時的原始數(shù)據(jù)流中提取出各應用感興趣的信息，完成一系列操作后輸出給用戶。該技術最大的特

2、點是自數(shù)據(jù)流出現(xiàn)，就在其不斷變化的過程中進行分析并從中獲取有用信息傳遞給用戶。
　　本文通過分析數(shù)據(jù)流，建立復雜事件的處理模板，從而對復雜事件進行數(shù)據(jù)驅動的計算和推理，并對數(shù)據(jù)流進行動態(tài)的分布式控制，實時調度各種任務，正確、高效地將不同類型的任務分配給不同的任務處理器，提升系統(tǒng)性能。最后設計Socket通信接口，提升其應對大量連接請求的能力。
　　本文的主要貢獻包括：
　　(1)針對數(shù)據(jù)元組以亂序的形式到達時可能會造成

3、匹配錯誤的問題，提出了實時模板匹配(Real-time Query Matching, RQM)算法，把新事件組成的有序集合與模板進行對比，根據(jù)有序集中缺失事件的類型和個數(shù)判斷該集合能否在未來成功匹配，丟棄匹配概率較小的子集節(jié)省空間，提高匹配速度。
　　(2)針對數(shù)據(jù)流量較大時傳統(tǒng)調度算法效率較低的問題，提出一種面向流計算的動態(tài)分配調度(Dynamic Assignment Scheduling, DAS)算法,設立多個邏輯主機，

4、每個邏輯主機又設立多個操作器，并行處理數(shù)據(jù)流。通過將總的調度問題轉化為每個操作器的公共子問題，減少了調度開銷。同時縮減了調度算法的執(zhí)行間隔，提升了調度精度。
　　(3)為使得流計算服務器通信層在大量數(shù)據(jù)流來臨時仍然保持穩(wěn)定的效率，使用線程池技術構建了流計算服務器，設計了系統(tǒng)運行支撐方案，并計算了動態(tài)線程池在面臨超過其容量的請求時的開銷，提出使用緩沖池存儲超量連接請求而不是動態(tài)生成額外線程的方案，然后對總體設計進行優(yōu)化，應對常見的突