基于超級計算機(jī)的并行FDTD關(guān)鍵技術(shù)與應(yīng)用.pdf

1、電磁場與電磁波在生產(chǎn)生活中發(fā)揮著越來越重要的作用。數(shù)值計算具有精確高效、靈活方便等顯著優(yōu)勢，因此成為電磁特性分析與設(shè)計的現(xiàn)代化手段，也日益發(fā)揮著越來越重要的作用。時域有限差分(FDTD)法作為電磁場三大經(jīng)典數(shù)值方法之一，具有自己獨特的優(yōu)勢。對于電大尺寸及具有復(fù)雜（細(xì)?。┙Y(jié)構(gòu)的電磁目標(biāo)仿真，巨大的內(nèi)存資源和計算時間消耗成為了該算法的限制因素。隨著當(dāng)今計算機(jī)軟硬件的飛速發(fā)展，大型計算機(jī)集群為大規(guī)模復(fù)雜電磁問題的解決提供了可能。利用計算能力更

2、強(qiáng)的平臺來求解大規(guī)模電磁場問題成為計算電磁學(xué)領(lǐng)域中的熱點和挑戰(zhàn)之一。作為大型計算機(jī)集群中新興的純國產(chǎn)計算機(jī)而言，由于其編譯器等環(huán)境都是針對國產(chǎn)CPU的架構(gòu)自主開發(fā)的，與通用計算機(jī)平臺的環(huán)境存在著較大的差異，且在純國產(chǎn)超級計算平臺中對電磁應(yīng)用領(lǐng)域進(jìn)行相關(guān)的研究工作具有更高的安全性，因此在國產(chǎn)計算機(jī)中對自主開發(fā)的并行FDTD算法程序進(jìn)行移植和測試顯得尤為重要。作為提升求解效率的重要手段，采用新型的硬件資源國產(chǎn)眾核處理器，可進(jìn)一步加速求解速度

3、，縮短數(shù)值計算的時間。
　　基于上述原因，本文基于國內(nèi)超級計算機(jī)硬件平臺，對并行FDTD算法的性能優(yōu)化及其大規(guī)模應(yīng)用進(jìn)行了深入研究。本文的主要工作可以概括為:
　　(1).基于FDTD方法的運算特性，采用笛卡爾(Cartesian)拓?fù)浣Y(jié)構(gòu)來描述整個計算空間子區(qū)域間的邏輯關(guān)系，實現(xiàn)了基于MPI的并行FDTD方法，并建立影響并行FDTD并行效率性能的數(shù)學(xué)模型。通過理論分析，提出可獲得較高并行性能的虛擬拓?fù)溥x取理論準(zhǔn)則。同時給出

4、一種采用并行策略實現(xiàn)基三角面片模型來提取FDTD立方體模型的方法，使得核心程序與模型無關(guān)，相比于串行建模法，極大的提高了建模速度。當(dāng)問題規(guī)模較大時，效率可提升60％以上;
　　(2).基于上述理論準(zhǔn)則，在國家超級計算天津中心和國家超級計算深圳中心兩個通用平臺上對并行FDTD虛擬拓?fù)鋬?yōu)化進(jìn)行了大量測試驗證工作。通過對天津中心測試結(jié)果的分析，得出跨節(jié)點通信少的虛擬拓?fù)淇色@得較好的并行性能。而通過對深圳中心測試結(jié)果的分析，得出在整個通信

5、任務(wù)中，占主要通信任務(wù)的通信量小時，算法可獲得較好的并行性能。綜合兩個通用平臺上的結(jié)果以及數(shù)學(xué)模型得出的理論準(zhǔn)則，給出通用平臺上并行FDTD最優(yōu)化虛擬拓?fù)涞囊话阈詼?zhǔn)則，即:a、基本準(zhǔn)則是選擇拓?fù)涫沟每偼ㄐ帕孔钚?b、通信總量相當(dāng)?shù)那闆r下，跨節(jié)點通信少的拓?fù)浣Y(jié)構(gòu)性能一般較好;c、跨節(jié)點通信量相當(dāng)時，選擇通信負(fù)載較為均衡的拓?fù)??；谠摐?zhǔn)則，計算時可獲得較高的并行性能;
　　(3).考慮到純國產(chǎn)CPU的計算機(jī)與通用計算機(jī)平臺的區(qū)別，研究

6、了純國產(chǎn)平臺上并行FDTD方法獲得高效率的虛擬拓?fù)錅?zhǔn)則。受限于國產(chǎn)CPU的內(nèi)存，整個測試采用分段測試的方式進(jìn)行。通過對測試結(jié)果的分析，得出了與通用平臺上基本一致的最優(yōu)化虛擬拓?fù)溥x取準(zhǔn)則;
　　(4).基于國產(chǎn)眾核平臺的特點，對并行FDTD方法進(jìn)行了算法上的移植。并針對國產(chǎn)眾核平臺上獨有的編程方式，對并行FDTD方法的并行策略進(jìn)行了優(yōu)化。通過對多個算例模型的測試，得出了在國產(chǎn)眾核平臺上算法的加速性能;
　　(5).在不同的測試

7、平臺上，對FDTD的并行性能進(jìn)行了測試。在純國產(chǎn)CPU計算機(jī)平臺上突破了10萬核，以128 CPU核為基準(zhǔn)，算法在10240 CPU核時的并行效率仍可達(dá)67％以上。在通用平臺上突破了30萬核，以6萬CPU核為基準(zhǔn)，算法在30萬CPU核時的并行效率可達(dá)80％以上。在國產(chǎn)眾核平臺上突破了400萬核，最大計算Yee網(wǎng)格量約為1萬億;值得指出，根據(jù)2015年5月的查新報告顯示，這是目前國際上最大并行規(guī)模的國產(chǎn)電磁仿真應(yīng)用。
　　(6).在