aleph系統(tǒng)備份、恢復(fù)與同步

1、Aleph系統(tǒng)備份、恢復(fù)與同步,周磊艾利貝斯北京代表處2014 年6月,提綱,操作系統(tǒng)文件的備份與同步oracle數(shù)據(jù)表及數(shù)據(jù)庫(kù)文件的備份與恢復(fù)服務(wù)器移植與同步,,2,,3,操作系統(tǒng)文件的備份與同步,常用命令本地文件系統(tǒng)mvcptar遠(yuǎn)程文件系統(tǒng)ftpwgetscprsync,本地文件系統(tǒng)- mv,mv - move (rename) files - 移動(dòng)或重命名文件樣例mv sou

2、rce_file target_filemv source_file target_dir/mv source_file target_dir/target_file特點(diǎn)：保持文件屬性,,4,本地文件系統(tǒng)- cp,cp - copy files and directories - 拷貝文件或目錄參數(shù)-r copy directories recursively 拷貝目錄-p preserve file a

3、ttribute 保持屬性,,5,本地文件系統(tǒng)- tar,tar - create tape archives and add or extract files - 打包、解包FUNCTION LETTERS 功能參數(shù):-c create a new archive 打包-x extract files from an archive 解包-t list the contents of an archive 查看文件列表

4、-A append tar files to an archive-d find differences between archive and file system-r append files to the end of an archive-u only append newer--delete delete from the archive,,6,本地文件系統(tǒng)- tar,參數(shù):-f file 對(duì)象是文件

5、而不是磁帶-v verbosely list files processed 顯示文件列表-z gzip 壓縮-h dump the files the link point to 獲取連接原文件--exclude PATTERN exclude files 排除--keep-newer-files do not overwrite files which are newer than the archive-

6、k, --keep-old-files keep existing files; don't overwrite them from archive,,7,本地文件系統(tǒng)- tar,樣例：tar -czf u20_1.tar.gz ./u20_1 打包tar -xzf u20_1.tar.gz 解包tar -tzvf u20_1.tar.gz 查看文件列表tar -xzf whu01.exportSEQ.tar.

7、gz z13.seqaatar -czf --exclude “*/scratch/*” u20_1.tar.gzcat file_list |xargs tar –rf backup.tar //可以在file_list 文件中列出需要打包的文件或目錄,,8,遠(yuǎn)程文件系統(tǒng)- ftp,ftp - Internet file transfer program命令 open, user, byeget, mget,put,

8、mputls, pwd, cd, lcd, mkdirascii, binpassiveprompt,,9,遠(yuǎn)程文件系統(tǒng)- ftp,自動(dòng) ftp – 免登錄cd 到HOME 目錄 創(chuàng)建或編輯文件 .netrc machine 192.168.0.1 login test password test// 注意: 在命令后面請(qǐng)留一個(gè)空行。chmod 600 .netrc編輯一個(gè)腳本文件，比如 ftp_list bin

9、put ./u20_1/whu01/files/whu01.exportSEQ.tar.gzput ./u20_1/whu09/files/whu09.exportSEQ.tar.gzbye運(yùn)行ftp 192.168.0.1 < ftp_list,,10,遠(yuǎn)程文件系統(tǒng)- ftp,自動(dòng) ftp – 通過腳本 ftp -ni 192.168.0.1 ftp.log &cat ftp_listuser $f

10、tp_user $ftp_passwdbincd $ftp_backup_data/$backup_datelcd $backup_data/$backup_datemput *.tar.gzbye,,11,遠(yuǎn)程文件系統(tǒng)- ftp,lftp – mirror 鏡像 mirror [OPTS] [source [target]] Mirror specified source directory to local

11、 target directory,,12,遠(yuǎn)程文件系統(tǒng)- wget,wget - The non-interactive network downloader.參數(shù)-b background 在后臺(tái)運(yùn)行-o logfile-c Continue getting a partially-downloaded file-q --quiet turn off Wget's output.-r turn on r

12、ecursive retrieving.-m mirrorExamples/usr/bin/wget -o ftp_apss.log -c -b "ftp://bbsftp:xxxx@202.198.141.98/apss/apss.3.3.a20_1.20100226.tar.gz",,13,遠(yuǎn)程文件系統(tǒng)- scp,scp - secure copy (遠(yuǎn)程文件系統(tǒng)拷貝程序)scp -pr [[user@

13、]host1:]file1 [...] [[user@]host2:]file2-r copy directories recursively-p preserve file attribute樣例:scp -p 192.168.0.1:./u20_1/alephe/tab/tab_full_z39 ./scp -p ./*.log aleph@cceu:./other/logs/scp -pr ./* cceu:`pw

14、d` // 用反引號(hào)··括起pwd，是指將pwd（當(dāng)前目錄）命令的結(jié)果放在該位置，達(dá)到的效果是將當(dāng)前文件拷貝到另外一臺(tái)服務(wù)器的相同目錄下.,,14,遠(yuǎn)程文件系統(tǒng)- scp,通過ssh實(shí)現(xiàn)免登錄創(chuàng)建 SSH-key： ssh-keygen。 會(huì)在 ~/.ssh/下產(chǎn)生兩個(gè)文件: id_rsa.pub (公鑰)id_rsa (密鑰 )scp 公鑰文件id_rsa.pub 到遠(yuǎn)程服務(wù)器 cat id_

15、rsa.pub >> ~/.ssh/authorized_keys (在遠(yuǎn)程服務(wù)器),,15,遠(yuǎn)程文件系統(tǒng)- rsync,Rsync – Remote synchronization可以鏡像保存整個(gè)目錄樹和文件系統(tǒng)?？梢院苋菀鬃龅奖３衷瓉?lái)文件的權(quán)限、時(shí)間、軟硬鏈接等等。無(wú)須特殊權(quán)限即可安裝。優(yōu)化的流程，文件傳輸效率高?？梢允褂胷cp、ssh等方式來(lái)傳輸文件，當(dāng)然也可以通過直接的socket連接。支持匿名傳輸，以方

16、便進(jìn)行網(wǎng)站鏡象。 http://rsync.samba.org/,,16,遠(yuǎn)程文件系統(tǒng)- rsync,安裝rsynclinux 缺省安裝了solaris 請(qǐng)到公司ftp: soft/rsync/下載以守護(hù)進(jìn)程方式啟動(dòng) rsync rsync --daemon,,17,遠(yuǎn)程文件系統(tǒng)- rsync,Setting /etc/rsyncd.conf use chroot = yesmax connections = 1sys

17、log facility = local5pid file = /var/run/rsyncd.pidlog file = /tmp/rsync.loghosts allow = 202.198.141.98[utree]path=/exlibris/aleph/u20_1exclude=*/scratch */files */print */apache/logs uid = alephgid = exlibris

18、read only=yeslist = yescomment=Utree for ALEPH500.[atree]……,,18,遠(yuǎn)程文件系統(tǒng)- rsync,語(yǔ)法Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST Options-a, --archive 保持文件屬性-b

19、, --backup 文件被覆蓋前先做備份，缺省在原文件名后面加~。--delete 慎用！-z, --compress --exclude=PATTERN --exclude-from=FILE,,19,遠(yuǎn)程文件系統(tǒng)- rsync,同步腳本$lcl_proc/exec_rsync.csh$lcl_proc/rsync_auto.cshcsh -f $lcl_proc/exec_rsync.csh主要同步語(yǔ)句：r

20、sync -avb --suffix=-bak20101115 --exclude-from=/exlibris/aleph/exclude_file_rsync aleph94:/exlibris/aleph/u18_1/cnu50/ /exlibris/aleph/u18_1/cnu50/不參與同步的文件列表 /exlibris/aleph/exclude_file_rsync,,20,alephe/aleph_start

21、# alephe/www_server.conf# alephe/apache/conf/httpd.conf# alephe/apache/htdocs/.index.html# alephe/jboss_conf/main.properties# *local_define*# *job_list*# *settings.jsp*scratch/*# *print/**report/**files/**Sta

22、ndalone**loan_top_ten**cache/**access_log**error_log**tmp/**log/**logs/**xml_logs/**bor_pics*,,21,cat /exlibris/aleph/exclude_file_rsync,遠(yuǎn)程文件系統(tǒng)- rsync,host2-a18(1) >>csh -f $lcl_proc/exec_rsync.cshPlease

23、input the remote server's name aleph94Please input the directory to do rsync /exlibris/aleph/u18_1/cnu50 The remote server is aleph94The dir is /exlibris/aleph/u18_1/cnu50/Right? Y/[N]Y The files have the

24、same file name in two servers will be backup with -bak20101115 as suffix.rsync -avb --suffix=-bak20101115 --exclude-from=/exlibris/aleph/exclude_file_rsync aleph94:/exlibris/aleph/u18_1/cnu50/ /exlibris/aleph/u18_1/cnu5

25、0/ > /exlibris/aleph/a18_1/tmp/rsync_20101115.log.20183,,22,遠(yuǎn)程文件系統(tǒng)- rsync,rsync completed. Would you view the log? [Y]/N YThe files have the same file name in two servers will be backup with -bak20101115 as suffix.

26、Would you check these files? [Y]/N YCheck completed.1. Files different in two servers : 4032. Files older in local servers : 03. Files newer in local servers :

27、 24. Files which contents are the same in two servers : 4015. Edit the delete file list using vi6. Delete backup files for the same files and old files0. Exit Please select [0]:,,23,遠(yuǎn)程文件系統(tǒng)- rs

28、ync,自動(dòng)完成csh -f /exlibris/aleph/a18_1/aleph/lclproc/rsync_auto.csh需設(shè)置腳本中的set remote_server = "aleph94"set target_dir = "/exlibris/aleph/a18_1/"set target_dir = "/exlibris/aleph/u18_1/",,

29、24,提綱,操作系統(tǒng)文件的備份與同步oracle數(shù)據(jù)表及數(shù)據(jù)庫(kù)文件的備份與恢復(fù)服務(wù)器移植與同步,,25,Oracle 數(shù)據(jù)表及數(shù)據(jù)庫(kù)的備份與恢復(fù),單表備份與恢復(fù)整個(gè)庫(kù)的備份與恢復(fù)oracle數(shù)據(jù)庫(kù)的備份與恢復(fù),,26,p_file_03/p_file_04方式導(dǎo)出純文本文件導(dǎo)入使用sqlldr可以對(duì)文件進(jìn)行修改再導(dǎo)入數(shù)據(jù)中存在控制符可能會(huì)有問題oracle_exp_table/oracle_imp_table

30、基于oracle 的exp/imp機(jī)制oracle_expdp_table/oracle_impdp_table基于oracle 的expdp/impdp機(jī)制快！,單表的備份與恢復(fù),,27,,單表導(dǎo)出 p_file_03,,28,單表導(dǎo)出 p_file_03,導(dǎo)出結(jié)果文件在$data_files 目錄下文件名為 Znn.seqaa, Znn.seqab ……導(dǎo)出文件格式：定長(zhǎng) (FIX) 每個(gè)字段固定長(zhǎng)度 (缺省)定義

31、(DLM) 每個(gè)字段用 tab 分割從命令行直接提交csh -f $aleph_proc/p_file_03 CNU50,z31,,,DLMcsh -f $aleph_proc/p_file_03 CNU50,z31,,,FIX,,29,單表導(dǎo)入 p_file_04,,30,單表導(dǎo)入 p-file-04,要導(dǎo)入的文件需放在庫(kù)的files目錄下導(dǎo)入方式替換 (replace) (缺省)追加(append)導(dǎo)入文件格式：定

32、長(zhǎng) (FIX) 每個(gè)字段固定長(zhǎng)度 (缺省)定義 (DLM) 每個(gè)字段用 tab 分割從命令行直接提交csh -f $aleph_proc/p_file_04 CNU50,z31,replace,DLMcsh -f $aleph_proc/p_file_04 CNU50,z31,append,FIX,,31,單表導(dǎo)出/導(dǎo)入,導(dǎo)出/導(dǎo)入整個(gè)庫(kù)，在表名位置填 all導(dǎo)出/導(dǎo)入部分表 csh -f $data_root/source

33、/backup_znn csh -f $data_root/source/restore_znn 注意修改其中的set tables = 'z82 z83 z70 z72 z76 z66 z67 z601 z602 z62 z61 ',,32,單表導(dǎo)入的日志,庫(kù)的scratch目錄下create_ora_context_z31create_ora_tables_z31z31.bad.1 導(dǎo)入不成功的文件，確

34、認(rèn)文件大小為0z31.lengthz31_dmp_ora.ctlz31_dmp_ora.log.1 導(dǎo)入日志z31_ora_dlm.sql數(shù)據(jù)中含回車符之類的控制符，導(dǎo)入前需處理，方法見論壇。,,33,整庫(kù)導(dǎo)出/導(dǎo)入,exp_current_library imp_current_library機(jī)制同p_file_03/p_file_04oracle_exp_current_lib oracle_imp_c

35、urrent_lib使用oracle 的exp/imp 工具oracle_expdp_current_lib oracle_impdp_current_lib使用oracle的 expdp/impdp,,34,整庫(kù)導(dǎo)出/導(dǎo)入,導(dǎo)出dlib cnu01$aleph_proc/exp_current_library >& $TMPDIR/exp_cnu01.log &結(jié)果文件在庫(kù)的 files 目錄下

36、cnu01.exportSEQ.tar.gz結(jié)果文件是一系列的znn.seq* 文件打包而成結(jié)果文件壓縮之后一個(gè)庫(kù)大約0.5-3G導(dǎo)出時(shí)間1-4小時(shí),,35,整庫(kù)導(dǎo)出/導(dǎo)入,導(dǎo)入dlib cnu01cnu01.exportSEQ.tar.gz文件需放在 files目錄下 $aleph_proc/imp_current_library TAR YES >& $TMPDIR/imp_cnu01.log &

37、注意導(dǎo)入時(shí)會(huì)清了整個(gè)庫(kù)的數(shù)據(jù)再裝入。純粹數(shù)據(jù)的導(dǎo)入，不能保留表的視圖、權(quán)限等時(shí)間2-6小時(shí),,36,備份與恢復(fù) - exp_current_library,正式機(jī)job_list 中的定義,,37,備份與恢復(fù) - exp_current_library,備用機(jī)的job_list,,38,備份與恢復(fù) - exp_current_library,$lcl_proc目錄下腳本備份目錄在$backup_data/$week 目錄下bac

38、kup_data ：將每個(gè)庫(kù)的files目錄下 $lib.exportSEQ.tar.gz的文件移到備份目錄下backup_ftp 將每天的備份文件ftp到備份機(jī)restore_data：將備份目錄下的備出文件拷貝到每個(gè)庫(kù)的files目錄下imp_local_libraries 導(dǎo)入每個(gè)庫(kù)的數(shù)據(jù),,39,整庫(kù)備份 expdp/impdp,導(dǎo)出/導(dǎo)入 導(dǎo)出 csh -f $aleph_proc/oracle_expdp_curre

39、nt_lib導(dǎo)入 csh -f $aleph_proc/oracle_impdp_current_lib結(jié)果文件在 files/dpdir目錄下CNU0101.dmp CNU0102.dmp CNU0103.dmp CNU0104.dmp CNU0105.dmp expCNU01.log不壓縮一個(gè)庫(kù)備份文件大約2-10G優(yōu)點(diǎn)快速 5-30分鐘保留表的視圖、權(quán)限等,,40,Oracle 數(shù)據(jù)庫(kù)的備份與恢復(fù)

40、,直接備份移植oracle數(shù)據(jù)文件文件很大 60-150G通過RMAN備份與恢復(fù),,41,移植oracle數(shù)據(jù)文件,停oracle拷貝以下目錄到備份服務(wù)器/exlibris/oradata/$sid/exlibris/app/oracle/admin/$sid/exlibris/app/oracle/product/11/dbs/exlibris/app/oracle/product/11/network/admin/

41、exlibris/app/oracle/diag (oracle 11 才需要）注意保持文件屬性,,42,移植oracle 數(shù)據(jù)文件,備份機(jī)的oracle數(shù)據(jù)文件路徑、sid名最好與正式機(jī)一致修改$ORACLE_HOME/network/admin下的文件，涉及到主機(jī)名、ip等,,43,移植oracle 數(shù)據(jù)文件,修改oracle 參數(shù)表sqlplus /nologidle> conn / as sysdba;idle

42、> show parameters service_namesidle> show parameters db_domainidle> alter system set service_names='aleph2' scope=spfile;idle> alter system set db_domain='test' scope=spfile;idle> shutd

43、own immediateidle> startup,,44,Oracle 數(shù)據(jù)庫(kù)備份與恢復(fù) - RMAN,RMAN是Oracle自帶的一個(gè)備份與恢復(fù)工具可以對(duì)數(shù)據(jù)庫(kù)實(shí)現(xiàn)完整備份和恢復(fù)支持熱備支持增量備份備份、恢復(fù)速度快，文件小支持完全恢復(fù)、不完全恢復(fù)通過腳本實(shí)現(xiàn)備份需啟動(dòng)archive模式需設(shè)置備份策略,,45,Oracle 數(shù)據(jù)庫(kù)備份與恢復(fù) - RMAN,Exlibris backup package公司提

44、供的一個(gè)備份恢復(fù)包可以實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)、數(shù)據(jù)、應(yīng)用程序、參數(shù)表等的備份與恢復(fù)其中對(duì)數(shù)據(jù)庫(kù)的備份基于RMAN改造 backup_package.2.6.lcl.tar.gz,,46,backup package,安裝下載 backup_package.2.6.lcl.tar.gz 解壓到 /exlibris/backup 目錄下conflogsscripts配置 /exlibris/backup/conf/bkp_init

45、.dat bkp_param.conf創(chuàng)建backup_files 目錄(存放備份結(jié)果)mkdir /exlibris/backup_fileschmod 777 /exlibris/backup_files,,47,backup package,bkp_param.confsetenv BKP_ROOT /exlibris/backupsetenv BKP_DIR /exlibris/backup_files/se

46、tenv SUCCESS_BKPS 3setenv BKP_MAIL "email1@somebody.com email2@somebody.com",,48,backup package,bkp_init.dat#Alepha1:aleph:aleph:/exlibris/aleph/a20_1:ora_colda2:aleph:aleph:/exlibris/aleph/a20_1:ora_hota3

47、:aleph:aleph:/exlibris/aleph/a20_1:ora_archivea4:aleph:aleph:/exlibris/aleph/a20_1:prd_softwarea5:aleph:aleph:/exlibris/aleph/a20_1:user_dataa6:aleph:aleph:/exlibris/aleph/a20_1:exp_user_data,,49,backup package,執(zhí)行RMAN

48、備份cd /exlibris/backup/scripts冷備 ./exec_backup_main a1 &熱備 ./exec_backup_main a2 &備份歸檔 ./exec_backup_main a3 &結(jié)果文件在 /exlibris/backup_files/ALEPH20_11_ora_hot_20101115_460_1 ALEPH20_11_ora_hot_20101115_4

49、60_2 ALEPH20_11_ora_hot_20101115_460_3aleph20_11_ora_hot_control_file_c-1911800232-20101115-00,,50,RMAN 恢復(fù),rman target /set DBID 1911800232; startup nomount;set CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO

50、'/exlibris/backup_files/aleph20_11_ora_hot_control_file_%F';RESTORE CONTROLFILE FROM AUTOBACKUP;alter database mount;restore database;recover database;alter database open resetlogs;以oracle用戶執(zhí)行/exlibris/back

51、up/scripts/restore_rman 具體請(qǐng)參見《RMAN備份與恢復(fù)手冊(cè)》,,51,RMAN 備份策略,推薦：每周做一次停機(jī)冷備，然后每天做熱備可以定義到root用戶的crontab里[root@aleph ~]# crontab -l10 02 * * 0 /exlibris/backup/scripts/exec_backup_main a110 02 * * 1-6 /exlibris/backup/scrip

52、ts/exec_backup_main a2也可以采用每天熱備方式10 02 * * * /exlibris/backup/scripts/exec_backup_main a2,,52,提綱,操作系統(tǒng)文件的備份與同步oracle數(shù)據(jù)表及數(shù)據(jù)庫(kù)文件的備份與恢復(fù)服務(wù)器移植與同步,,53,,Unix Server,ALEPH(../a20_1),,Oraclesoftware (../app)data-base (../o

53、radata),,alephe(../u20_1),Libraries(../u20_1/ndu01),,Products- cobol gcc apache perl,,,,ALEPH 產(chǎn)品目錄結(jié)構(gòu),,a20_1 vs. u20_1,通常每個(gè)用戶安裝時(shí)都有: a20_1 和 u20_1.a20_1 公司的程序u20_1 用戶的配置,,/aleph,,,a20_1,u20_1,,,,,,usm50,usm01 …,al

54、ephe(original),alephe(active),EXU01…,,EXU50…,exlibris,ALEPH產(chǎn)品移植的步驟,標(biāo)準(zhǔn)安裝的pre_exlibris部分18版執(zhí)行setup_2 到 setup_520版執(zhí)行ikit_menu 2 完成用戶創(chuàng)建，操作系統(tǒng)參數(shù)修改，目錄創(chuàng)建等標(biāo)準(zhǔn)安裝或移植oracle、product移植aleph目錄atree (a18_1, a20_1)utree (u18_1, u

55、20_1)修改跟服務(wù)器有關(guān)的參數(shù),,56,ALEPH產(chǎn)品移植,需移植的目錄：/exlibris/aleph/a20_1/exlibris/aleph/u20_1以下可在安裝時(shí)創(chuàng)建。/exlibris/app//exlibris/product//exlibris/oradata,,57,ALEPH 產(chǎn)品移植,移植后需修要文件：alephe/aleph_startalephe/www_server.confalephe

56、/apache/conf/httpd.confalephe/apache/htdocs/.index.htmlalephe/apache/cgi-bin/opac.confalephe/jakarta-tomcat-4.1.30/conf/server.xmlalephe/jakarta-tomcat-4.1.30/webapps/apsm/settings.jspalephe/jakarta-tomcat-4.1.30/we

57、bapps/apss/settings.jspalephe/jakarta-tomcat-4.1.30/webapps/easysql/settings.jspalephe/jboss_conf/main.propertiesalephe/tab/tab100修改內(nèi)容主機(jī)名，IP地址oracle sid,,58,ALEPH 產(chǎn)品移植,跨平臺(tái)移植：以下目錄跟平臺(tái)相關(guān)：$aleph_exe$alephm_proc$ale

58、phe_root/aleph_start以下目錄下的文件需要重新編譯$alephm_source/ffs$alephm_source/ffs_opac$alephm_source/preorder$alephm_source/ffs_xxx (xxx是用戶代碼）所有自定義批處理服務(wù)。,,59,ALEPH 產(chǎn)品移植,注意事項(xiàng)：先執(zhí)行aleph_shutdown 停所有應(yīng)用通過du –sh * 查看那個(gè)目錄文件比較多，需要

59、手工刪除無(wú)效文件。,,60,Oracle的移植,同平臺(tái)的情況方法一：直接移植oradata目錄下的數(shù)據(jù)文件方法二：Rman備份恢復(fù)修改oracle參數(shù)：db_domain,service_name,memory修改listener，tnsname跨平臺(tái)的情況需導(dǎo)出數(shù)據(jù)再導(dǎo)入到另外服務(wù)器上導(dǎo)出/導(dǎo)入方法可以是：exp_current_library / imp_current_libraryoracle_expdp_cu

60、rrent_lib / oracle_impdp_current_liboracle_exp_current_lib / oracle_imp_current_lib需手工創(chuàng)建opac，easysql， 門禁的帳戶或表、視圖,,61,服務(wù)器同步,在正式機(jī)上運(yùn)行：數(shù)據(jù)文件的備份與同步exp_current_librarybackup_databackup_ftp數(shù)據(jù)庫(kù)的備份以root用戶定義crontab 10 02

61、* * * /exlibris/backup/scripts/exec_backup_main a2,,62,服務(wù)器同步,在備機(jī)上同步參數(shù)表和程序，aleph用戶的crontab00 07 * * 1 csh -f /exlibris/aleph/a20_1/aleph/lclproc/rsync_auto.csh同步數(shù)據(jù)庫(kù)備份文件，oracle用戶的crontab10 07 * * * rsync -a --delete a