微軟處理海量非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)和解決方案

1、微軟處理海量非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)和解決方案,DAT315,朱海峰高級(jí)技術(shù)方案顧問(wèn)微軟（中國(guó)）有限公司,孫巍技術(shù)總監(jiān)北京中達(dá)金橋技術(shù)服務(wù)有限公司,,點(diǎn)擊此處修改二級(jí)標(biāo)題將幻燈片標(biāo)題設(shè)置為 “Title Case”標(biāo)題字號(hào)為 40分或類似尺寸，并盡可能不換行將二級(jí)標(biāo)題設(shè)置為 “sentence case”二級(jí)標(biāo)題的字體顏色已經(jīng)在PPT模板中定義,議題,SQL Server 能力及案例文檔存儲(chǔ)技術(shù)發(fā)展趨勢(shì)案例討論,文檔存儲(chǔ)技

2、術(shù)發(fā)展趨勢(shì),,新時(shí)代非結(jié)構(gòu)型數(shù)據(jù)的挑戰(zhàn),,,,,,,,,未來(lái)的發(fā)展方向,統(tǒng)一標(biāo)準(zhǔn)的存儲(chǔ)平臺(tái)支持所有數(shù)據(jù)類型、各式,新數(shù)據(jù)形態(tài)成為標(biāo)準(zhǔn)實(shí)體,,單一數(shù)據(jù)平臺(tái)的應(yīng)用，需要協(xié)調(diào)的數(shù)據(jù)存取,簡(jiǎn)約、可擴(kuò)展的管理模式,結(jié)構(gòu)型、非結(jié)構(gòu)型數(shù)據(jù)的集成,支持BLOB的抽象編程接口提供更多的‘服務(wù)’圍繞非結(jié)構(gòu)化數(shù)據(jù)，例如：搜索，分析提供集成多種空間數(shù)據(jù)源的能力提供結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)、集成屬性的提取/推廣靈活的架構(gòu)適用于非關(guān)系型數(shù)據(jù)的關(guān)系型操

3、作,實(shí)體匯總,實(shí)體數(shù)據(jù)訪問(wèn),企業(yè)級(jí)數(shù)據(jù)查詢,通過(guò)實(shí)體架構(gòu)實(shí)現(xiàn)對(duì)實(shí)體的直接搜索查詢針對(duì)多數(shù)據(jù)源的聯(lián)合并發(fā)搜索查詢與 Microsoft Office SharePoint Server 和 FAST 的集成,其他數(shù)據(jù)源,數(shù)據(jù)源1,數(shù)據(jù)源2,數(shù)據(jù)源3,FAST,企業(yè)查詢門戶,應(yīng)用特定查詢,,,,,,SQL Server,SharePoint,SQLServer存儲(chǔ),數(shù)據(jù)／文件流,可適用于不同網(wǎng)域的數(shù)據(jù)流服務(wù)，例如：金融、制造

4、，監(jiān)測(cè)數(shù)據(jù)基于歷史數(shù)據(jù)實(shí)現(xiàn)決策支持的和業(yè)務(wù)分析與現(xiàn)有SQL Server 部件集成，充分利用現(xiàn)有能力，例如：報(bào)表、數(shù)據(jù)分析,報(bào)警，報(bào)表,報(bào)表及數(shù)據(jù)分析,數(shù)據(jù)流服務(wù)引擎,數(shù)據(jù)流服務(wù)應(yīng)用接口,,金融數(shù)據(jù)，例如：股票交易記錄,點(diǎn)將流量數(shù)據(jù)，例如;Web 日志,歷史數(shù)據(jù)流,SQL Server文檔存儲(chǔ)新技術(shù),,文檔、多媒體文件的存儲(chǔ),傳統(tǒng)的三種存儲(chǔ)模式,SQL Server 非結(jié)構(gòu)型數(shù)據(jù)存儲(chǔ)技術(shù),RBS - Remote B

5、lob Storage,FILESTREAM BLOB Storage,SQL BLOB,文件流(FILESTREAM)簡(jiǎn)介,,非結(jié)構(gòu)數(shù)據(jù)直接儲(chǔ)存于文件系統(tǒng)(使用NTFS文件系統(tǒng))VARBINARY(MAX) 數(shù)據(jù)類型上注明存儲(chǔ)屬性即可開(kāi)啟文件流存儲(chǔ)功能豐富的雙重編程模式T-SQL語(yǔ)句(數(shù)據(jù)庫(kù)語(yǔ)法)編程Win32文件系統(tǒng)I/O編程接口支持?jǐn)?shù)據(jù)庫(kù)事務(wù)屬性BLOBs 大小上限= 文件系統(tǒng)大小與SQL Server集成數(shù)據(jù)庫(kù)管理

6、，例如：備份、恢復(fù)...與SQL Server數(shù)據(jù)庫(kù)安全管理集成,RBS 技術(shù)簡(jiǎn)介,,遠(yuǎn)程BLOB存儲(chǔ)標(biāo)準(zhǔn)的存儲(chǔ)接口可使用不同存儲(chǔ)體系后端存儲(chǔ)無(wú)技術(shù)限制：文件系統(tǒng)、數(shù)據(jù)庫(kù)、文件流、專用文檔存儲(chǔ)等等后端存儲(chǔ)改變不影響應(yīng)用(不需要改變)寬松（鏈路級(jí)）一致性保證SQL Server管理鏈路級(jí)一致性和垃圾收集，例如：刪除、更改等等市場(chǎng)趨勢(shì)RBS優(yōu)勢(shì)降低BLOB存儲(chǔ)成本降低數(shù)據(jù)庫(kù)工作負(fù)載，提高系統(tǒng)擴(kuò)展性標(biāo)準(zhǔn)應(yīng)用端借口可使用不

7、同存儲(chǔ)使用經(jīng)濟(jì)的普通服務(wù)器完成復(fù)雜的存儲(chǔ)和工作流要求,非結(jié)構(gòu)型數(shù)據(jù)存儲(chǔ)技術(shù)一覽,,,演 示,使用不同方式訪問(wèn)SQL Blob數(shù)據(jù),孫巍技術(shù)總監(jiān)北京中達(dá)金橋技術(shù)服務(wù)有限公司,SQL Server Blob數(shù)據(jù)訪問(wèn),SQL Server Blob訪問(wèn)方式Filestream存儲(chǔ)T-SQL訪問(wèn)Win32 API訪問(wèn)Varbinary存儲(chǔ)訪問(wèn)性能與Blob數(shù)據(jù)塊大小有關(guān)系統(tǒng)設(shè)計(jì)時(shí)需要對(duì)存儲(chǔ)數(shù)據(jù)的平均大小及使用模式進(jìn)行評(píng)估,示例

8、代碼-TSQL,FilestreamSelect file from documents where docId=1Varbinary(max)Select file from documents where docId=1,示例代碼-Win32 API,[DllImport("sqlncli10.dll", SetLastError = true, CharSet = CharSet.Unicode)]s

9、tatic extern SafeFileHandle OpenSqlFilestream(string FilestreamPath,UInt32 DesiredAccess,UInt32 OpenOptions,byte[] FilestreamTransactionContext,UInt32 FilestreamTransactionContextLength,Int64 AllocationSize);,示例代碼-

10、Win32 API,SqlTransaction transaction = sqlConnection.BeginTransactio("mainTranaction");sqlCommand.Transaction = transactio;sqlCommand.CommandText ="SELECT GET_FILESTREAM_TRANSACTION_CONTEXT()";Obje

11、ct obj = sqlCommand.ExecuteScalar();byte[] txContext = (byte[])obj;SafeFileHandle handle = OpenSqlFilestream(filePath,DESIRED_ACCESS_READWRITE,SQL_FILESTREAM_OPEN_NO_FLAGS,txContext,(UInt32)txContext.Length,0);byte [

12、]buffer = new byte[512];FileStream fileStream = new FileStream(handle,FileAccess.ReadWrite,buffer.Length,false);,遠(yuǎn)程讀取性能,遠(yuǎn)程寫入性能,遠(yuǎn)程更新性能,FILESTREAM最佳實(shí)踐,盡可能避免對(duì)多個(gè)小文件的附加操作，每個(gè)附加操作都將創(chuàng)建新的Filestream文件。如果必須建議使用varbinary(max)在高負(fù)載

13、的多線程系統(tǒng)中，可以考慮通過(guò)OpenSqlFilestream或SqlFilestream API設(shè)置AllocationSize,減少碎片如果文件很大，避免使用T-SQL進(jìn)行更新或附加，這樣會(huì)對(duì)tempdb有很大開(kāi)銷,FILESTREAM最佳實(shí)踐,當(dāng)讀取FILESTREAM數(shù)據(jù)時(shí)考慮如下因素如果僅需要讀取初始的部分?jǐn)?shù)據(jù)，可以使用substring函數(shù)如果讀取整個(gè)文件，考慮使用Win32 API當(dāng)讀取整個(gè)文件時(shí)，指定FILE_S

14、EQUENTIAL_ONLY標(biāo)志程序中的緩存盡量設(shè)置為60KB的整數(shù)倍,FILESTREAM最佳實(shí)踐,使用文件組及分區(qū)進(jìn)行負(fù)載均衡NTFS優(yōu)化fsutil behavior set disable8dot3 1Fsutil behavior set disablelastaccess 1Format F:/FS:NTFS /A:64KRAID級(jí)別磁盤接口,Remote Blob Storage 技術(shù)框架及實(shí)現(xiàn),,RBS

15、架構(gòu),SQL FS lib,IBM lib,Centera lib,SQL RBS API,SQL Server,IBM,Centera,,,,SQL DB,,,供應(yīng)商接口,客戶應(yīng)用程序可以支持多種不同的Blob存儲(chǔ)機(jī)制或設(shè)備供應(yīng)商將提供相應(yīng)的接口類庫(kù),RBS 服務(wù)創(chuàng)建讀取垃圾收集刪除,Net App lib,NetApp,,,,RBS 示例,文檔或多媒體數(shù)據(jù),應(yīng)用程序,RBS 客戶端類庫(kù),存儲(chǔ)供應(yīng)商類庫(kù),存儲(chǔ),SQL Ser

16、ver,,,1,2,3,1,寫入 BLOB數(shù)據(jù)(圖片),返回BlobID,將BlobID 寫入PhotoRef 字段,2,3,機(jī)器邊界,RBS文檔寫流程,寫B(tài)lob 地址Reference,寫B(tài)lob,寫B(tài)lob,寫B(tài)lob,返回地址Reference,取得Collection 信息,清理,,App Machine應(yīng)用服務(wù)機(jī),SQL Server,終端用戶例如：瀏覽器,應(yīng)用,觸發(fā)、存儲(chǔ)過(guò)程,服務(wù),存儲(chǔ)接口,應(yīng)用端接口,存儲(chǔ)接口,

17、Database Machine 數(shù)據(jù)庫(kù)服務(wù)機(jī),用戶請(qǐng)求,RBS文檔讀流程,1 用戶請(qǐng)求,4 請(qǐng)求BLOB (標(biāo)識(shí)),9 應(yīng)用讀取BLOB,8 讀取BLOB,7 讀取BLOB,,App Machine應(yīng)用服務(wù)機(jī),SQL Server,終端用戶例如：瀏覽器,應(yīng)用,觸發(fā)、存儲(chǔ)過(guò)程,應(yīng)用端接口,存儲(chǔ)接口,Database Machine 數(shù)據(jù)庫(kù)服務(wù)機(jī),10 用戶讀取BLOB,2 請(qǐng)求BLOB標(biāo)識(shí),３ 應(yīng)用讀取BLOB標(biāo)識(shí),5 請(qǐng)求

18、BLOB (標(biāo)識(shí)),6 請(qǐng)求BLOB(標(biāo)識(shí)),演 示,使用RBS實(shí)現(xiàn)對(duì)于FILESTREAM的負(fù)載均衡,孫巍技術(shù)總監(jiān)北京中達(dá)金橋技術(shù)服務(wù)有限公司,,,,遠(yuǎn)程文檔與文件流結(jié)合的文檔存儲(chǔ)解決方案,,解決方案特點(diǎn),遠(yuǎn)程BLOB存儲(chǔ)技術(shù)與FILESTREM文件流技術(shù)的集成由FILESTREM文件流存儲(chǔ)節(jié)點(diǎn)組成的存儲(chǔ)池可以迅速擴(kuò)展（使用經(jīng)濟(jì)實(shí)惠的PC服務(wù)器）RBS后端的FILESTREM文件流接口提供多線程、多通道的負(fù)載均衡邏輯進(jìn)行文檔的

19、讀寫負(fù)載分配可以用戶可以根據(jù)需要靈活調(diào)整存儲(chǔ)節(jié)點(diǎn)可轉(zhuǎn)變?yōu)椤爸蛔x”屬性（存儲(chǔ)歷史數(shù)據(jù)，不接受新檔案）可以迅速添加節(jié)點(diǎn)并重新設(shè)置負(fù)載均衡模式智能備份／恢復(fù)功能可以避免歷史性“只讀”數(shù)據(jù)的重復(fù)備份，顯著降低備份需要的時(shí)間和空間客戶生產(chǎn)環(huán)境顯示單線程文檔寫入可達(dá)到48M+/秒性能（限于存儲(chǔ)設(shè)備性能）,解決方案優(yōu)勢(shì),按用戶需要擴(kuò)展存儲(chǔ)池更合理的資源投入避免大規(guī)模初期投入造成空置設(shè)備、存儲(chǔ)空間的浪費(fèi)后續(xù)投入經(jīng)濟(jì)上可得益于硬件價(jià)格的快

20、速跌落后續(xù)投入可取的更現(xiàn)代的技術(shù)，自然升級(jí)系統(tǒng)，且不需要更改應(yīng)用服務(wù)器性能提升快，降價(jià)快存儲(chǔ)成本降低快，讀寫性能提高快分期擴(kuò)展自然形成不同層次的存儲(chǔ)池，幫助信息生命周期的管理老舊數(shù)據(jù)在老一代存儲(chǔ)池，新數(shù)據(jù)、常用數(shù)據(jù)在新一代系統(tǒng)上，有更好性能可嵌入各種服務(wù)、應(yīng)用對(duì)文檔數(shù)據(jù)進(jìn)行整個(gè)生命周期的管理。例如：審計(jì)、備份、歸檔、刪除等等可集成各種不同存儲(chǔ)媒介進(jìn)一步支持各種服務(wù)，例如NAS、磁帶或其他現(xiàn)有或未來(lái)存儲(chǔ)技術(shù)可嵌入智能緩沖區(qū)

21、，將當(dāng)前文檔、歷史文檔、歸檔數(shù)據(jù)、備份集合在一起,RBS+文件流解決方案架構(gòu)一中小型系統(tǒng)應(yīng)用場(chǎng)景,FILESTREM文件流接口提供負(fù)載均衡、多線程、多通道文檔讀寫RBS+FILESTREM文件流存儲(chǔ)池可根據(jù)用戶需要使用經(jīng)濟(jì)實(shí)惠的PC服務(wù)機(jī)擴(kuò)展,RBS+文件流解決方案架構(gòu)二大型企業(yè)級(jí)應(yīng)用場(chǎng)景,RBS+文件流存儲(chǔ)池,企業(yè)核心BLOB存儲(chǔ)系統(tǒng),,SQL RBS后端存儲(chǔ)接口Provider API,SQL DBRBS數(shù)據(jù)庫(kù),,,,

22、,,,,Filestream 文件流存儲(chǔ)接口,橫向擴(kuò)展,,,,,,,,,,SQL RBS 應(yīng)用端接口Client API,客戶訂制應(yīng)用,,,,,RBS接口,檔案管理使用場(chǎng)景,核心檔案存儲(chǔ)可通過(guò)服務(wù)層安全的提供各種應(yīng)用借口檔案導(dǎo)入可嵌入智能保留期限識(shí)別模塊防火墻提供基礎(chǔ)保護(hù)如需要應(yīng)用層可通過(guò)防火墻PORT FORWARDING功能延伸到外網(wǎng),企業(yè)核心檔案存儲(chǔ)使用RBS+文件流可擴(kuò)展解決方案,調(diào)閱,其他,收集,查詢,管理,導(dǎo)入,安

23、全,服務(wù)接口,防火墻,建議使用硬件配置,市場(chǎng)性價(jià)比較好的PC服務(wù)機(jī)標(biāo)準(zhǔn)：4芯4核16G存儲(chǔ)標(biāo)準(zhǔn)光纖技術(shù)SAN或其他存儲(chǔ)設(shè)備估算方式至少2臺(tái)每臺(tái)承擔(dān)10-20T（當(dāng)前數(shù)據(jù)使用）每臺(tái)承擔(dān)20-40T（歷史數(shù)據(jù)使用）設(shè)計(jì)應(yīng)可達(dá)到單通道讀寫每秒40M以上（實(shí)際情況根據(jù)存儲(chǔ)設(shè)備吞吐量）,代碼字體或字號(hào),請(qǐng)用此版面展示軟件代碼aaa請(qǐng)用展示字體為Courier New這一單一空間字體,模板顏色,字體，字號(hào)和顏色模式已經(jīng)在PPT模

24、板中定義請(qǐng)使用下面展示的顏色模式更多指示請(qǐng)參見(jiàn)下頁(yè)超文本銜接顏色: www.microsoft.com,SampleFill,SampleFill,SampleFill,SampleFill,SampleFill,視 頻,視頻名稱,姓名職務(wù)公司,演 示,演示名稱,姓名職務(wù)公司,客 戶,客戶名稱,姓名職務(wù)公司,合作伙伴,合作伙伴名稱,姓名職務(wù)公司,宣布,宣布題目,姓名職務(wù)公司,表格格式,圖標(biāo)格式,餅圖格