calis規(guī)范 - 北京交通大學圖書館

1、CALIS學位論文子項目相關標準規(guī)范,王 燕2007.09.27,提 綱,CALIS數(shù)字對象唯一標識符命名規(guī)范CALIS元數(shù)據(jù)倉儲唯一標識符命名規(guī)范CALIS元數(shù)據(jù)唯一標識符命名規(guī)范OAICALIS OAI與METS記錄格式與發(fā)布規(guī)范CALIS OAI與METS數(shù)據(jù)導出規(guī)范參建館本地系統(tǒng)配置信息示例,CALIS數(shù)字對象唯一標識符命名規(guī)范,簡稱：CALIS-OID符合URN的標準，是URN的一個子集

2、兩個概念簡單數(shù)字對象：指具體的物理文件復雜數(shù)字對象：邏輯概念，是若干簡單數(shù)字對象的集合,語法,復雜數(shù)字對象的CALIS-OID語法：urn:CALIS:館數(shù)字代碼-CollectionName[.CollectionName]/ObjID簡單數(shù)字對象的CALIS-OID語法：urn:CALIS:館數(shù)字代碼-CollectionName[.CollectionName]/ObjID.type.format說明命名方式“urn

3、”應全部采用小寫字母CALIS-OID的長度最長不應超過255個字符復雜數(shù)字對象與其所含的簡單數(shù)字對象的CollectionName 、ObjID無繼承關系,CALIS-OID中的元素,館數(shù)字代碼CollectionNameObjIDTypeformat,館數(shù)字代碼,采用由中華人民共和國教育部高等學校圖書情報工作指導委員會編寫的《高校圖書館數(shù)字代碼表》以北京大學為例，其代碼為211011，第一位數(shù)字“2”代表高等院校；第二

4、位數(shù)字“1”代表地區(qū)；第三位數(shù)字“1”代表省市；第四到六位代表“011”代表學校。《高校圖書館數(shù)字代碼表》請查看CALIS主頁：http://www.calis.edu.cn/allacademe.asp?fid=6&class=5對于學校分校區(qū)的情況，可在6位數(shù)字代碼后加上一位字母以示區(qū)別，如211010A、211010B等對于沒有館數(shù)字代碼的成員館，請向高教司條件處李曉明老師（lixiaom@moe.edu.cn）申

5、請，獲得館數(shù)字代碼方可加入CALIS各項目,集合名稱（CollectionName）,必備，可嵌套采用《信息資源名稱規(guī)范列表》中資源的英文簡稱對學位論文項目來說，該名稱為“ETD”,ObjID,要求ObjID符合網(wǎng)絡資源的命名規(guī)則：使用ASCII code 命名；文件名稱大小寫不敏感；不使用 “%”、“/”、“?”、“#”、“*”、“-”、“.”、“:”字符。如在鏡像、備份等情況下，發(fā)生數(shù)字對象的拷貝情況，原則上使用相同的O

6、bjID,Type,對于簡單數(shù)字對象，類型type是必備的，表明該對象的用途,Format,對于簡單數(shù)字對象，文件格式（format）也屬必備項目，指明該數(shù)字對象的文件類型文本TXT、PDF、HTML、XML、SGML、DJVU、DOC、RTF、CEB、PPT、PDG、KDH、NH、CAJ；圖像TIF、GIF、JPG、PNG、PCD、MrSID、EPS、FLA、SWF、SVG、VML、VRML；音頻WAV、MID、RMI、M

7、P3、WMA、RA；視頻MPG、AVI、MOV、WMV、RM；如不在列舉中的，請向CALIS技術中心報告，獲準后推行,CALIS-OID示例,北京大學的某一篇學位論文：學位論文作為一個復雜對象urn:CALIS:211011-ETD/S02024前16頁urn:CALIS: 211011-ETD/S02025.P.PDF對應論文全文urn:CALIS: 211011-ETD/S02025.T.DOC,CALIS-OID

8、示例,北大名師庫中的某位名師：假設北大為了建設名師庫，另外建了一些資源庫，如書目庫、圖片庫、視頻庫、音頻庫等這些數(shù)字資源名師這個復雜對象urn:CALIS:211011-teacher/Teacher0452該名師的照片（網(wǎng)上瀏覽，中精度）urn:CALIS:211011-picture/pic219.M.JPG該名師的照片（網(wǎng)上瀏覽，縮略圖）urn:CALIS:211011-picture/pic219.S.JPG該名

9、師的著作（電子書）urn:CALIS:211011-ebook/book156.REB.CEB該名師的一段錄像（流式播放）urn:CALIS:211011-video/video67.VM2.RM該名師的一段音頻（本地播放）urn:CALIS:211011-audio/audio23.L.MP3從這個例子可以看出，為了建設名師庫，其數(shù)字資源可以來自不同的庫，為了避免出現(xiàn)一個數(shù)字資源有多個CALIS-OID，仍舊采用該數(shù)字資源

10、原來的CALIS-OID,已有資源標識符的處理辦法,對新建資源，要求強制采用CALIS唯一標識符方案對已數(shù)字化并已有ObjID的資源，可按集合、type、format成批注冊，形成一個ID對照表。要求所有系統(tǒng)對新建資源支持CALIS數(shù)字對象唯一標識符，對原有資源只要通過ID對照表可解析即可,CALIS元數(shù)據(jù)倉儲唯一標識符命名規(guī)范,對于高校圖書館中的資源倉庫的唯一標識符，其命名規(guī)范如下：oai:lib.高校域名.edu.cn:倉庫簡名

11、 （推薦）oai:館代碼.calis.cn:倉庫簡名 （推薦）倉儲的命名應具有全國乃至全球范圍內的唯一性，為多個倉庫的聯(lián)合奠定基礎說明：要求以”oai:”開頭倉庫簡名前加冒號其它內容由參建館自行定義但要保證整個元數(shù)據(jù)倉儲的唯一標識符是全球唯一的例：北大學位論文倉儲的唯一標識符：oai:lib.pku.edu.cn:etdoai:211010.calis.cn:etd,CALIS元數(shù)據(jù)唯一標識符命名規(guī)范,簡稱“

12、MetaID”MetaID的語法為：倉儲唯一標識符 ＋ “-” ＋ LocalPrefix ＋ “/” ＋ 應用系統(tǒng)內部元數(shù)據(jù)標識其中LocalPrefix為應用系統(tǒng)本地前綴，可自行定義示例北大學位論文倉儲唯一標識符：oai:pku.edu.cn:etd某條學位論文記錄：oai:lib.pku.edu.cn:etd-ETD/innerMetaId其中innerMetaId可以是學號,OAI,OAI（Open Archive

13、s Initiative）是一種檢索協(xié)議，國際標準兩個概念DP（Data Providers） 支持OAI-PMH并以此方式提供元數(shù)據(jù)的管理系統(tǒng)SP（Service Providers） 通過OAI-PMH收割元數(shù)據(jù)，并在此基礎上提供增值服務。SP中包含一個基于OAI-PMH的元數(shù)據(jù)收割器（Harvester），也稱HP,DP與SP的關系,OAI記錄,OAI記錄有三個部分HeaderUniqueindentifer 唯一標識

14、符，即MetaIDDatestamp 倉儲中某一個條目的創(chuàng)建、刪除或最后修改時間Metadata  元數(shù)據(jù)，規(guī)定都必須支持DC，是否支持其他元數(shù)據(jù)格式由倉儲自行決定About可選部分，內容一般是關于元數(shù)據(jù)部分的數(shù)據(jù)，例如使用權限等，可自行定義。這部分的結構協(xié)議中不做規(guī)定，但CALIS給出了其具體定義,OAI請求,OAI-DP提供兩種數(shù)據(jù)發(fā)布方法GetRecordListRecords,CALIS OAI與METS

15、記錄格式與發(fā)布規(guī)范,CALIS OAI Record V1.0記錄格式V1.0發(fā)布方式及其特點CALIS OAI Record V2.0 記錄格式V2.0發(fā)布方式及其特點,CALIS OAI RecordV1.0記錄格式,元數(shù)據(jù)（metadata）通過“CALIS_OBJ:objInfo”來建立與相應數(shù)字對象的對應關系,,CALIS OAI Record的應用方式,作為OAI數(shù)據(jù)導出文件的數(shù)據(jù)記錄格式導出的XML記錄文件中含有一

16、條Record記錄 作為OAI-DP發(fā)布的數(shù)據(jù)記錄格式OAI-DP提供兩種數(shù)據(jù)發(fā)布方法采用OAI-DP中的GetRecord方法進行單條元數(shù)據(jù)發(fā)布 采用OAI-DP中的ListRecords方法進行多條元數(shù)據(jù)發(fā)布,GetRecord方法進行單條元數(shù)據(jù)發(fā)布,GetRecord的響應結果中含有一條Record記錄,,ListRecords方法進行多條元數(shù)據(jù)發(fā)布,ListRecords的響應結果中含有一至多條Record記錄,,Abo

17、ut元素,about元素可重復，about具有一個子元素，即objInfo objInfo有四個子元素calisOidtype約定為root、middle、leaf和single之一datestamp是數(shù)字對象在資源系統(tǒng)里維護的數(shù)字對象創(chuàng)建或修改的時間，注意格式為”YYYY-MM-DDThh:mm:ssZ”如2004-02-19T03:09:23Z，時間要換算到格林尼治時間，即零時區(qū)時間。deleted是字符串類型，true表

18、示對象已經被刪除，false表示對象仍然存在,About元素,只有元數(shù)據(jù)，無數(shù)字對象時about/objInfo中的子元素calisOid、type、datestamp和deleted可以不含任何值，留空即可否則calisOid和type是必然存在的datestamp和deleted可以沒有值，無值時留空即可,,,,,Mets包XML片斷,V1.0的發(fā)布方式,基于OAI +METS+ MQ（Message Queue）的發(fā)布方式

19、 自動發(fā)布本地系統(tǒng)的元數(shù)據(jù)通過OAI-DP發(fā)布。OAI-DP所發(fā)布出來的OAI Record采用CALIS Record V1.0格式本地系統(tǒng)的數(shù)字對象通過METS-DP+MQ發(fā)布。METS-DP負責將數(shù)字對象封裝成METS數(shù)據(jù)包，然后通過MQ服務器發(fā)布出去元數(shù)據(jù)和數(shù)字對象之間的關系通過OAI Record中的CALIS_OBJ:objInfo 子元素所包含的MetaID進行關聯(lián),V1.0的發(fā)布方式,手動發(fā)布本地系統(tǒng)管理員用O

20、AI數(shù)據(jù)導出工具將OAI-DP中的元數(shù)據(jù)導出成為包含OAI Record數(shù)據(jù)的XML文件。該文件中的數(shù)據(jù)格式為“CALIS OAI Record V1.0”本地系統(tǒng)管理員用METS數(shù)據(jù)導出工具將METS-DP中的數(shù)字對象數(shù)據(jù)導出成為包含METS Record數(shù)據(jù)的XML文件管理員手工將上述兩類文件通過FTP上傳至CALIS子項目中心，由CALIS子項目中心完成數(shù)據(jù)匯總工作,OAI harvester與METS harvester的聯(lián)

21、動,OAI harvester把從DP新收割的元數(shù)據(jù)的identifier（即MetaId）和CALIS-OID（元數(shù)據(jù)所對應的復雜對象的CALIS-OID）傳給METS harvesterMETS harvester根據(jù)元數(shù)據(jù)的時間戳和數(shù)字對象的時間戳以及刪除狀態(tài)與已經收割的數(shù)字對象比較，判斷數(shù)字對象有無更新，以決定是否收割對應的數(shù)字對象同時，METS harvester應該從OAI harvester獲得相應數(shù)字對象的類型，以決

22、定采取何種策略對該數(shù)字對象進行收割,,V1.0發(fā)布方式的特點,需要對OAI記錄和METS記錄進行檢查和校驗 必備性正確性一致性等OAI記錄與METS記錄需要分別收割,CALIS OAI Record V2.0 記錄格式,CALIS OAI Record V1.0格式 CALIS OAI Record V2.0格式（含METS包 ）,,若當前元數(shù)據(jù)存在對應的METS包，則在ab

23、out段中直接添加METS包。METS包本身的格式不變（仍遵循“CALIS METS Record V1.0格式”）,CALIS OAI Record V2.0樣板數(shù)據(jù)片斷,CALIS OAI Record V2.0 記錄格式,若當前元數(shù)據(jù)不存在對應的METS包，則將about段去掉,,CALIS Record V2.0格式（不含METS包）,V2.0的發(fā)布方式,基于純OAI 的發(fā)布方式 自動發(fā)布本地系統(tǒng)將相關的元數(shù)據(jù)和數(shù)字對象按

24、CALIS Record V2.0格式封裝為一條OAI記錄，通過OAI-DP對外發(fā)布手動發(fā)布本地系統(tǒng)管理員采用新的OAI數(shù)據(jù)導出工具將本地系統(tǒng)中的元數(shù)據(jù)和數(shù)字對象合并為一條OAI記錄導出為OAI記錄文件。該文件中的數(shù)據(jù)格式為“CALIS OAI Record V2.0”METS-DP中的數(shù)字對象數(shù)據(jù)無需再單獨導出管理員手工將上述類型的文件通過FTP上傳至CALIS子項目中心，由CALIS子項目中心完成數(shù)據(jù)匯總工作,V2.0發(fā)布方

25、式的特點,OAI-DP用于對外發(fā)布數(shù)據(jù)METS-DP只需為OAI-DP提供數(shù)字對象的封裝功能OAI-DP所發(fā)布的OAI Record數(shù)據(jù)遵循CALIS OAI Record V2.0格式在OAI Record數(shù)據(jù)內，metadata和METS存在同一個中，能夠自動保證元數(shù)據(jù)和數(shù)字對象的對應關系但OAI Record仍需要保證數(shù)據(jù)的必備性、內容正確性以及數(shù)據(jù)內部的一致性當數(shù)字對象文件太大時，收割可能出現(xiàn)錯誤，建議如提供數(shù)字對象文

26、件給CALIS的，文件不要超過80M,harvester身份驗證,倉儲應該具有對harvester進行身份合法性驗證的功能。有兩種方案：IP驗證 判斷請求的harvester是否在合法的IP范圍內。合法的IP范圍應該可以由管理員設定。（必須提供）帳號驗證 harvester管理員先到倉儲注冊一個帳號，填寫harvester信息。然后harvester憑帳號登錄并進行收割。（可選）可以使用必備的一種，也可以同時使用兩種,CALIS

27、OAI與METS數(shù)據(jù)導出規(guī)范,為了防止網(wǎng)絡傳輸?shù)葐栴}導致的OAI、METS不能收割等情況，制定OAI、METS數(shù)據(jù)導出規(guī)范要求本地系統(tǒng)能夠導出OAI、METS數(shù)據(jù)成文件，通過FTP手工上傳作為OAI、METS數(shù)據(jù)收割方式的補充,OAI數(shù)據(jù)的導出要求,每條元數(shù)據(jù)記錄導出成一個xml格式文件（*.xml），每個xml文件符合schema ：http://www.calis.edu.cn/metadata_ns/oai/record/r

28、ecord.xsd文件名采用以下格式：先拼接字符串：完整MetaID@20位零時區(qū)文件導出時間.oai.xml再對此字符串進行application/x-www-form-urlencoded MIME格式轉換——即不合法字符“:”轉換成%3A ；不合法字符“/”轉換成%2F示例：元數(shù)據(jù)MetaID：oai:211011.edu.cn:etd-dr/A1002拼接字符串：oai:211011.edu.cn:etd-dr/A1

29、002@2005-10-02T10:25:30Z.oai.xml最終導出文件名：oai%3A211011.edu.cn%3Aetd-dr%2FA1002@2005-10-02T10%3A25%3A30Z.oai.xml,METS數(shù)據(jù)的導出要求,每個METS包導出成一個xml格式文件（*.xml），每個xml文件符合schema ：http://www.loc.gov/standards/mets/version13/mets.xs

30、d符合《CALIS METS包結構規(guī)范》文件名采用以下格式：先拼接字符串：完整MetaID@20位零時區(qū)文件導出時間.mets.xml再對此字符串進行application/x-www-form-urlencoded MIME格式轉換——即不合法字符“:”轉換成%3A ；不合法字符“/”轉換成%2F示例：元數(shù)據(jù)MetaID：oai:211011.edu.cn:etd-dr/A1002拼接字符串：oai:211011.edu

31、.cn:etd-dr/A1002@2005-10-02T10:25:30Z.mets.xml最終導出文件名：oai%3A211011.edu.cn%3Aetd-dr%2FA1002@2005-10-02T10%3A25%3A30Z.mets.xml,,V2.0模式只需遵循OAI數(shù)據(jù)的導出要求,參建館本地系統(tǒng)配置信息,參建館本地系統(tǒng)配置信息,以上配置全部必備,示例,CALIS OAI RecordV1.0記錄僅有元數(shù)據(jù)有元數(shù)據(jù)，M