基于飛騰平臺(tái)的TOE優(yōu)化技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著諸如云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)等趨勢(shì)的廣泛興起，數(shù)據(jù)流量爆炸式增長(zhǎng)，網(wǎng)絡(luò)帶寬也隨之快速增長(zhǎng)，目前10G以太網(wǎng)已經(jīng)廣泛普及。怎樣能夠讓處理器能夠快速地捕獲和處理網(wǎng)絡(luò)數(shù)據(jù)包，仍是目前研究的一個(gè)熱點(diǎn)。在飛騰（FT）平臺(tái)，傳統(tǒng)TCP/IP協(xié)議棧要占用大量計(jì)算和訪存資源，主要表現(xiàn)在中斷上下文切換、協(xié)議處理和數(shù)據(jù)拷貝三方面。雖然國(guó)產(chǎn)飛騰處理器頻率雖然已經(jīng)從800HZ到1000HZ，但由于網(wǎng)絡(luò)帶寬的增長(zhǎng)速度遠(yuǎn)高于CPU處理能力的提高，國(guó)產(chǎn)飛騰CPU在

2、處理頻繁的網(wǎng)絡(luò)事務(wù)時(shí)會(huì)存在以下問(wèn)題：1）在接收大流量的數(shù)據(jù)時(shí)，網(wǎng)卡會(huì)產(chǎn)生大量的中斷，會(huì)造成大量的中斷上下文切換開(kāi)銷(xiāo)2）頻繁的數(shù)據(jù)拷貝(先將接收的數(shù)據(jù)包拷貝到內(nèi)核空間，然后應(yīng)用程序通過(guò)系統(tǒng)調(diào)用將數(shù)據(jù)再次拷貝到用戶空間進(jìn)行處理）過(guò)程也增加系統(tǒng)總線負(fù)載和CPU處理周期；3）傳統(tǒng)的TCP/IP協(xié)議數(shù)據(jù)的處理過(guò)程比較繁瑣，這需要消耗大量CPU處理能力，在網(wǎng)絡(luò)負(fù)載較重導(dǎo)致CPU嚴(yán)重過(guò)載，容易成為系統(tǒng)IO瓶頸。
　　針對(duì)目前國(guó)產(chǎn)飛騰處理器主頻較

3、低，為了在處理大數(shù)據(jù)應(yīng)用的高速網(wǎng)絡(luò)環(huán)境中為了避免繁重的TCP/IP協(xié)議處理開(kāi)銷(xiāo)造成系統(tǒng)端瓶頸的問(wèn)題，本文引入了TCP/IP協(xié)議卸載引擎(TOE)技術(shù),把TCP/IP協(xié)議處理卸載到網(wǎng)卡中的協(xié)議卸載引擎上執(zhí)行，來(lái)減輕CPU處理網(wǎng)絡(luò)IO時(shí)的負(fù)載，CPU能夠及時(shí)處理一些關(guān)鍵實(shí)時(shí)程序，從而減少應(yīng)用程序延時(shí)并提高網(wǎng)絡(luò)處理效率。
　　首先，本文研究了TOE技術(shù)相關(guān)原理，并介紹了TOE技術(shù)的實(shí)現(xiàn)策略：部分卸載和全卸載。接著介紹了TOE硬件的幾種實(shí)

4、現(xiàn)方式：網(wǎng)絡(luò)處理器加固件的方式、專(zhuān)用集成電路(ASIC)芯片方式和可編程器件方式，并分析了其優(yōu)缺點(diǎn)，從成本和實(shí)現(xiàn)難易程度上來(lái)決策，本文采用了部分卸載的TOE網(wǎng)卡硬件。
　　其次，介紹了國(guó)產(chǎn)飛騰處理器和實(shí)現(xiàn)數(shù)據(jù)路徑卸載策略的TOE網(wǎng)卡硬件功能邏輯，鑒于其他平臺(tái)現(xiàn)有的實(shí)現(xiàn)方式復(fù)雜，應(yīng)用程序可移植性差等問(wèn)題，對(duì)于部分卸載的TOE網(wǎng)卡，本文采用的是嵌入式的TOE軟件架構(gòu)方案，即在原始軟件協(xié)議棧的基礎(chǔ)上進(jìn)行修改和功能拓展，并基于飛騰平臺(tái)設(shè)計(jì)

5、了FT-TOE系統(tǒng)軟件，本文在國(guó)產(chǎn)飛騰平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)的FT-TOE系統(tǒng)軟件結(jié)構(gòu)比較簡(jiǎn)單，實(shí)現(xiàn)較方便，主要包括TOE卸載模塊和TOE設(shè)備驅(qū)動(dòng)模塊，并將于設(shè)備相關(guān)性較強(qiáng)的協(xié)議處理的功能代碼大部分轉(zhuǎn)移到 TOE網(wǎng)卡的驅(qū)動(dòng)程序中來(lái)實(shí)現(xiàn)，而且對(duì)Kyoin-OS網(wǎng)絡(luò)協(xié)議棧的改動(dòng)較小。
　　然后，分析了FT-TOE的連接卸載技術(shù)、報(bào)文高效傳輸機(jī)制、中斷加輪詢接收數(shù)據(jù)包(NAPI)等關(guān)鍵技術(shù)，接著對(duì)進(jìn)行協(xié)議處理過(guò)程中涉及到的另外兩個(gè)重要開(kāi)銷(xiāo)：中

6、斷處理與切換開(kāi)銷(xiāo)和數(shù)據(jù)拷貝進(jìn)行了分析與優(yōu)化。先是從從系統(tǒng)中斷處理的角度出發(fā)，結(jié)合國(guó)產(chǎn)FT多核處理器的硬件特性，提出了靜態(tài)中斷負(fù)載平衡方法，用來(lái)提高系統(tǒng)的中斷負(fù)載性能，這種靜態(tài)中斷負(fù)載均衡調(diào)度能夠顯著的均衡網(wǎng)卡的中斷負(fù)載。然后在數(shù)據(jù)進(jìn)行處理的過(guò)程中對(duì)內(nèi)核緩沖區(qū)到用戶緩緩沖區(qū)的一次拷貝做進(jìn)一步優(yōu)化，在FT-TOE軟件中實(shí)現(xiàn)了零拷貝數(shù)據(jù)傳輸技術(shù)。
　　最后，對(duì)FT-TOE系統(tǒng)進(jìn)行原型實(shí)現(xiàn)及性能測(cè)試，然后分別對(duì)基于國(guó)產(chǎn)飛騰多核處理器的中斷