基于WCF的通信數(shù)據ETL服務的設計與實現(xiàn).pdf

1、網絡優(yōu)化是在對移動通信數(shù)據處理分析的基礎上，對現(xiàn)有的網絡設備進行調整，使之能夠更好的服務廣大手機用戶的重要工作。各大網絡設備與服務的提供商都需要一個數(shù)據分析平臺對基站所產生的日志文件進行分析，找到網絡中需要調整的方向或者目前網絡中存在的問題。
　　通過對網絡優(yōu)化中常用的移動通信數(shù)據的研究和對網絡優(yōu)化工作人員需求的調查，發(fā)現(xiàn)現(xiàn)有的網絡優(yōu)化工作仍然采用手動的方式，網絡優(yōu)化人員日常工作有相當一部分時間在處理各種各樣的日志文件。數(shù)據處理程

2、序不完善，很多的常用分析功能都需要人工完成，費時費力，而且重復性工作很多。根據網絡優(yōu)化工作人員的具體需求，總結在移動通信領域的數(shù)據處理需求，最終設計了基于WCF的通信數(shù)據ETL服務。系統(tǒng)使用WCF寄宿Windows服務的方式向外開放調用接口，方便外界引用數(shù)據服務，調用系統(tǒng)功能。系統(tǒng)使用基于表結構描述的數(shù)據存儲方式，并對數(shù)據進行橫向切分，使用SQLServer數(shù)據庫很好的對大量不同格式的移動通信數(shù)據進行了表示和存儲。在細致分析需求的基礎上

3、，將數(shù)據導入過程細化，分為文件列取、下載、解析、保存四個步驟，細致檢測數(shù)據導入過程，檢測任務異常。系統(tǒng)允許開發(fā)人員通過編寫插件的方式進行二次開發(fā)，在不修改系統(tǒng)的情況下對系統(tǒng)進行直接擴展，增加數(shù)據處理功能。為了方便數(shù)據讀取，滿足數(shù)據透明性，在查詢條件的限制和功能靈活性的平衡上做了一定的嘗試，在考慮系統(tǒng)擴展性，預留計算擴展接口的情況下，提供兩種不同的數(shù)據讀取方式，并基于這兩種數(shù)據讀取方式，提供了面向移動通信領域的常用網絡數(shù)據計算。系統(tǒng)設計和