證券行情發(fā)布及程序交易系統(tǒng)之減少時(shí)延技術(shù)

1、上證所Level-2行情接口開發(fā),高昀,主要內(nèi)容,Level-2產(chǎn)品介紹Level-2系統(tǒng)接入Level-2數(shù)據(jù)解碼,一、Level-2 產(chǎn)品介紹,,Level-1行情的不足,Level-1行情Show2003.dbf不足之處 內(nèi)容信息量少，市場(chǎng)深度反映不夠－－Show2003只有29個(gè)有效字段實(shí)時(shí)信息產(chǎn)品單一 －－Show2003 為僅有的實(shí)時(shí)行情產(chǎn)品按同一模式顯示不同的交易品種－－顯示債券、基金信息時(shí)出現(xiàn)“市盈率”字段

2、名 技術(shù)5秒鐘一次的快照，文件交換方式，發(fā)布延時(shí)明顯信息內(nèi)容可擴(kuò)展性差－－dbf文件是固定字段，只能通過增加數(shù)據(jù)庫字段方式來增加信息內(nèi)容,從Level-1到Level-2,商業(yè)模式：“免費(fèi)”->收費(fèi)發(fā)布路徑：券商->信息商行情深度：五檔->十擋，新增委托明細(xì)和全部成交信息行情頻率：5秒->3秒數(shù)據(jù)格式：dbf->FIX/STEP->FAST交換方式：文件->文本數(shù)據(jù)流-&g

3、t;二進(jìn)制數(shù)據(jù)流行情延時(shí)：3秒->28毫秒->20毫秒,Level-2內(nèi)容,Reference Data (UA101)Transaction(UA3101)Market Data(UA3102,UA3113)Order Queue(UA3111),行情展示,Order Queue(UA3111),Market Data(UA3102),Transaction(UA3111),二、 Level-2系統(tǒng)接入,,SSE

4、to Vendor Connection,VDE(Vendor Data Engine)VSS(Vendor Supplies System),VDE to VSS Connection,,Daily Procedure,,三、 Level-2 FAST數(shù)據(jù)解碼,,Level-2 FAST的介紹,FIX Adapted for Streaming (FAST)為解決FIX協(xié)議傳輸市場(chǎng)數(shù)據(jù)存在冗余度高，帶寬需求大的問題,芝加哥商品交

5、易所于2003年11月17日向FPL提交了一個(gè)隱示標(biāo)記(Implicit tags)方案 FPL于2004年12月27日宣布成立市場(chǎng)數(shù)據(jù)優(yōu)化工作組(MDOWG,Market Data Optimization Working Group). 2005年5月開始MDOWG根據(jù)一系列POC的結(jié)果，開始進(jìn)行協(xié)議標(biāo)準(zhǔn)制定2006年初完成FAST（FIX Adapted for STreaming）V1.02006年12月完成FAST

6、V1.1,Level-2 FAST的介紹,中國證券市場(chǎng)的特點(diǎn)1.2億交易帳戶較高的換手率，上海證券交易所日交易金額峰值超過3000億，成交筆數(shù)超過4000萬市場(chǎng)數(shù)據(jù)的發(fā)展趨勢(shì)和挑戰(zhàn)產(chǎn)品越來越多、掛牌證券數(shù)量越來越大更多的價(jià)格檔位、更多的市場(chǎng)深度更少的延時(shí),Level-2 FAST的介紹,STEP協(xié)議的優(yōu)缺點(diǎn)基于FIX ，已成為事實(shí)上的證券數(shù)據(jù)標(biāo)準(zhǔn)語法簡(jiǎn)單，定義靈活，易擴(kuò)展數(shù)據(jù)相對(duì)冗余８＝STEP.1.0.0＜ＳＯＨ＞

7、9＝１１２＜ＳＯＨ＞３５＝Ｄ＜ＳＯＨ＞４９＝Ｓｅｎｄｅｒ＜ＳＯＨ＞５６＝Ｔａrｇｅｔ＜ＳＯＨ＞３４＝２３５＜ＳＯＨ＞１＝Ａ１２３４５６７８９＜ＳＯＨ＞５５＝青島啤酒＜ＳＯＨ＞48＝600600＜ＳＯＨ＞５４＝Ｂ＜ＳＯＨ＞44＝8.520 ＜ＳＯＨ＞ 38＝1000 ＜ＳＯＨ＞６０＝20030703-09：35：28 ＜ＳＯＨ＞11＝825＜ＳＯＨ＞10＝157 ＜ＳＯＨ＞,STEP 的冗余,平均每條消息長(zhǎng)度為467字節(jié),FAST編碼后為

8、127字節(jié),平均每條消息長(zhǎng)度為160字節(jié), FAST編碼后為25字節(jié),Level-2 FAST的介紹,FAST的技術(shù)優(yōu)勢(shì)高壓縮比(70-80%)低資源消耗算法簡(jiǎn)單,效率高,每秒百萬級(jí)別消息的處理能力,FAST系統(tǒng)測(cè)試結(jié)果,,帶寬利用率與STEP系統(tǒng)對(duì)比測(cè)試結(jié)果比較,測(cè)試結(jié)果：FAST版本最大值為0.679Mbps；平均值為0.162MbpsSTEP版本最大值為2.23Mbps；平均值為0.668MbpsFAST

9、版本平均值為STEP版本的24.2%,FAST關(guān)鍵技術(shù),Field Encoding隱式標(biāo)簽（Implicit Tag）(模版 Template)提供消息層面的優(yōu)化操作符（Operator）消息層面和tag層面的優(yōu)化Transfer Encoding二進(jìn)制數(shù)據(jù)流Presence Map(PMAP)Stop Bit Encoded Entities,Field Encoding—Implicit Tag,Implicit

10、tag將FIX的tag=value格式進(jìn)行分離，變成消息模板和消息內(nèi)容。消息模板在雙方通信之前就確定，實(shí)際只需要傳輸消息內(nèi)容,Field Encoding,常用數(shù)據(jù)類型,,Field Encoding,Field Encoding Operator,Field Encoding Operator,Constant Value用途：主要用于表示模板中的固定數(shù)據(jù),Field Encoding Operator,Default Valu

11、e用途：主要用于表示默認(rèn)值,Field Encoding Operator,Copy Value用途：主要用于表達(dá)相鄰數(shù)據(jù)相同的情況,Field Encoding Operator,Increment Value 用途：主要用于表示前后數(shù)據(jù)有規(guī)律的遞增的情況,Field Encoding,Field Encoding-Template,定義和語法，包括：Field（Message Structure）Field Enco

12、ding OperatorData Type如何表示：XML語言,Field Encoding-Template,XML格式的模板示例,                        

13、                ,Transfer Encoding,對(duì)FIX數(shù)據(jù)實(shí)現(xiàn)二進(jìn)制Byte/Bit Level優(yōu)化根據(jù)模板生成數(shù)據(jù)流，并且同步進(jìn)行壓縮的協(xié)議本身具有通用性，是一個(gè)與具體的應(yīng)用無關(guān)的協(xié)議。,Transfer Encoding,stream ::=

14、 message* | block*block ::= BlockSize message+message ::= segmentsegment ::= PresenceMap TemplateIdentifier? (field | segment)*field ::= integer | string | delta | ScaledNumber | ByteVectorinteger ::= UnsignedIntege

15、r | SignedIntegerstring ::= ASCIIString | UnicodeStringdelta ::= IntegerDelta | ScaledNumberDelta | ASCIIStringDelta | ByteVectorDelta,Transfer Encoding-Stop Bit,最高比特位0：下一個(gè)字節(jié)屬于同一個(gè)實(shí)體1：下一個(gè)字節(jié)不屬于同一個(gè)實(shí)體編碼舉例：,Transfer Enco

16、ding-Presence Map,在每一條消息的開頭處增加標(biāo)志串(BYTE 數(shù)組)每一個(gè)Bit標(biāo)示后面的各個(gè)field存在與否，1存在，0不存在不用傳送的field不用進(jìn)行編碼，減少了數(shù)據(jù)量,Transfer Encoding-Presence Map,Presence Map and NULL,NULL一般用來指示這一field沒有出現(xiàn)（absent）,Data Type Example,uInt32 Example—Optio

17、nal Number,如何解析Level-2 FAST 的消息,VSS 1 Initial2 ReadTemplates3 Connect VDE4 Logon5 Receive Data6 Decode7 業(yè)務(wù)處理8 數(shù)據(jù)存儲(chǔ)和轉(zhuǎn)發(fā),FAST的實(shí)現(xiàn)過程,UA3101的解碼實(shí)例,,,PMAP 5F E0 1011111 1110000010111111100000TID占位=118 9d 11000

18、 100111011100000111013101 不占位UA3101 占位=0 占位=1 8110000001 000000011 10115 占位=1 8610000110 000001106,UA3101的解碼實(shí)例,, 占位=1 36 30 31 37 36 B6 601766 占位=1 04 34 4A 83 100 0110100 1

19、001010 0000011 9250051 9250050 占位=129 83 101001 0000011525152505.250 占位=11E 42 A1 11110 1000010 0100001 500001 500000 500.000 10016 占位=1 00 7D 15 5D A1 1111101 0010101 1011101 0100001 262500001 262500