基于超級計算機的并行FDTD關鍵技術與應用.pdf

1、電磁場與電磁波在生產生活中發(fā)揮著越來越重要的作用。數(shù)值計算具有精確高效、靈活方便等顯著優(yōu)勢，因此成為電磁特性分析與設計的現(xiàn)代化手段，也日益發(fā)揮著越來越重要的作用。時域有限差分(FDTD)法作為電磁場三大經典數(shù)值方法之一，具有自己獨特的優(yōu)勢。對于電大尺寸及具有復雜（細?。┙Y構的電磁目標仿真，巨大的內存資源和計算時間消耗成為了該算法的限制因素。隨著當今計算機軟硬件的飛速發(fā)展，大型計算機集群為大規(guī)模復雜電磁問題的解決提供了可能。利用計算能力更

2、強的平臺來求解大規(guī)模電磁場問題成為計算電磁學領域中的熱點和挑戰(zhàn)之一。作為大型計算機集群中新興的純國產計算機而言，由于其編譯器等環(huán)境都是針對國產CPU的架構自主開發(fā)的，與通用計算機平臺的環(huán)境存在著較大的差異，且在純國產超級計算平臺中對電磁應用領域進行相關的研究工作具有更高的安全性，因此在國產計算機中對自主開發(fā)的并行FDTD算法程序進行移植和測試顯得尤為重要。作為提升求解效率的重要手段，采用新型的硬件資源國產眾核處理器，可進一步加速求解速度

3、，縮短數(shù)值計算的時間。
　　基于上述原因，本文基于國內超級計算機硬件平臺，對并行FDTD算法的性能優(yōu)化及其大規(guī)模應用進行了深入研究。本文的主要工作可以概括為:
　　(1).基于FDTD方法的運算特性，采用笛卡爾(Cartesian)拓撲結構來描述整個計算空間子區(qū)域間的邏輯關系，實現(xiàn)了基于MPI的并行FDTD方法，并建立影響并行FDTD并行效率性能的數(shù)學模型。通過理論分析，提出可獲得較高并行性能的虛擬拓撲選取理論準則。同時給出

4、一種采用并行策略實現(xiàn)基三角面片模型來提取FDTD立方體模型的方法，使得核心程序與模型無關，相比于串行建模法，極大的提高了建模速度。當問題規(guī)模較大時，效率可提升60％以上;
　　(2).基于上述理論準則，在國家超級計算天津中心和國家超級計算深圳中心兩個通用平臺上對并行FDTD虛擬拓撲優(yōu)化進行了大量測試驗證工作。通過對天津中心測試結果的分析，得出跨節(jié)點通信少的虛擬拓撲可獲得較好的并行性能。而通過對深圳中心測試結果的分析，得出在整個通信

5、任務中，占主要通信任務的通信量小時，算法可獲得較好的并行性能。綜合兩個通用平臺上的結果以及數(shù)學模型得出的理論準則，給出通用平臺上并行FDTD最優(yōu)化虛擬拓撲的一般性準則，即:a、基本準則是選擇拓撲使得總通信量最小;b、通信總量相當?shù)那闆r下，跨節(jié)點通信少的拓撲結構性能一般較好;c、跨節(jié)點通信量相當時，選擇通信負載較為均衡的拓撲?；谠摐蕜t，計算時可獲得較高的并行性能;
　　(3).考慮到純國產CPU的計算機與通用計算機平臺的區(qū)別，研究

6、了純國產平臺上并行FDTD方法獲得高效率的虛擬拓撲準則。受限于國產CPU的內存，整個測試采用分段測試的方式進行。通過對測試結果的分析，得出了與通用平臺上基本一致的最優(yōu)化虛擬拓撲選取準則;
　　(4).基于國產眾核平臺的特點，對并行FDTD方法進行了算法上的移植。并針對國產眾核平臺上獨有的編程方式，對并行FDTD方法的并行策略進行了優(yōu)化。通過對多個算例模型的測試，得出了在國產眾核平臺上算法的加速性能;
　　(5).在不同的測試

7、平臺上，對FDTD的并行性能進行了測試。在純國產CPU計算機平臺上突破了10萬核，以128 CPU核為基準，算法在10240 CPU核時的并行效率仍可達67％以上。在通用平臺上突破了30萬核，以6萬CPU核為基準，算法在30萬CPU核時的并行效率可達80％以上。在國產眾核平臺上突破了400萬核，最大計算Yee網格量約為1萬億;值得指出，根據(jù)2015年5月的查新報告顯示，這是目前國際上最大并行規(guī)模的國產電磁仿真應用。
　　(6).在