古籍智能處理技術(shù)研究——農(nóng)業(yè)古籍自動(dòng)編纂和自動(dòng)?？钡难芯?pdf

1、我國古籍?dāng)?shù)字化工作起步于20世紀(jì)80年代初，至今已經(jīng)取得了令人矚目的成就，主要標(biāo)志是一批大規(guī)模、基礎(chǔ)性的古籍著作被開發(fā)為真正意義上的數(shù)字化產(chǎn)品，并成功走向市場。相關(guān)研究論文很多，其中主要對(duì)古籍?dāng)?shù)字化的現(xiàn)狀、發(fā)展趨勢及對(duì)策進(jìn)行了探討，對(duì)古籍?dāng)?shù)字化取得的成果、數(shù)字化技術(shù)進(jìn)行了介紹，然而很少見到有關(guān)古籍內(nèi)容的智能化處理方面的研究。由此可見，目前古籍?dāng)?shù)字化工作主要集中在數(shù)字化產(chǎn)品的開發(fā)上，對(duì)產(chǎn)品開發(fā)過程中涉及的數(shù)字化技術(shù)研究的較多，而對(duì)古籍內(nèi)容

2、的智能處理技術(shù)研究的較少． 隨著古籍?dāng)?shù)字化的深入發(fā)展，越來越多的研究者認(rèn)為，古籍?dāng)?shù)字化不單是復(fù)制和再現(xiàn)典籍的原貌，而是將現(xiàn)代技術(shù)與傳統(tǒng)內(nèi)容完美結(jié)合在一起，形成工具與內(nèi)容的統(tǒng)一體。數(shù)字化的古籍應(yīng)該是一個(gè)增值的信息庫，是古籍整理和學(xué)術(shù)研究的有效工具。提供有關(guān)古籍內(nèi)容本身科學(xué)、準(zhǔn)確的統(tǒng)計(jì)與計(jì)量信息，提供與古籍內(nèi)容相關(guān)的參考數(shù)據(jù)、輔助工具，以提高數(shù)字化古籍的研究支持功能，最后建立一套完整的古籍整理專家系統(tǒng)，這已經(jīng)成為當(dāng)前古籍?dāng)?shù)字化工作的

3、重點(diǎn)內(nèi)容之一。 本文以農(nóng)業(yè)古籍為研究對(duì)象，對(duì)利用計(jì)算機(jī)技術(shù)進(jìn)行農(nóng)業(yè)古籍?dāng)?shù)字化的各個(gè)方面進(jìn)行了深入研究，分析探討了古籍?dāng)?shù)字化相關(guān)技術(shù)問題，并且就農(nóng)業(yè)古籍整理手段的現(xiàn)代化方面進(jìn)行了論述，重點(diǎn)研究了農(nóng)業(yè)古籍自動(dòng)編纂和自動(dòng)?？奔夹g(shù)及其相關(guān)問題。主要研究內(nèi)容如下： (1)對(duì)古籍?dāng)?shù)字化相關(guān)技術(shù)進(jìn)行了系統(tǒng)的介紹和分析。古籍?dāng)?shù)字化的關(guān)鍵在于原文的快速錄入、文本字符的數(shù)字化、瀏覽閱讀與超鏈接設(shè)計(jì)、檢索功能開發(fā)等方面，農(nóng)業(yè)古籍的數(shù)字化建設(shè)也

4、不例外。本文論述了古籍?dāng)?shù)字化的相關(guān)技術(shù)問題，主要包括古籍?dāng)?shù)字化的用字和字符集問題，加工存儲(chǔ)技術(shù)，瀏覽閱讀技術(shù)，以及檢索技術(shù)，并對(duì)已有的一些智能化處理研究進(jìn)行了介紹。 文中對(duì)古籍?dāng)?shù)字化過程中存在的用字和字符集問題進(jìn)行了分析，指出古籍?dāng)?shù)字化應(yīng)選用unicode字符集，采用繁體字進(jìn)行錄入，并且對(duì)繁簡字的轉(zhuǎn)換問題以及缺字問題進(jìn)行了討論，并給出了解決方案。本文就古籍的掃描步驟、掃描方法以及OCR識(shí)別問題逐一進(jìn)行了分析和介紹。并且指出古籍應(yīng)

5、該統(tǒng)一文本數(shù)據(jù)和圖像數(shù)據(jù)的格式，以數(shù)據(jù)庫存儲(chǔ)為主，為將來資源的共建共享提供便利。超文本的瀏覽閱讀環(huán)境是古籍?dāng)?shù)宇化在瀏覽閱讀方面的真正優(yōu)勢，本文就古籍中存在的超鏈接關(guān)系進(jìn)行了分析，并就如何進(jìn)行古籍資料庫的超文本標(biāo)注進(jìn)行了探討。本文在綜合比較分析了數(shù)字化古籍的三種檢索方式后，指出數(shù)字化的古籍資源應(yīng)以全文檢索為基礎(chǔ)，構(gòu)建一整套包括具有關(guān)鍵詞檢索、條件檢索、邏輯檢索、模糊檢索、組配檢索、屬性檢索等多種功能的檢索系統(tǒng)。 (2)本文嘗試將現(xiàn)

6、代文本自然語言處理的相關(guān)技術(shù)應(yīng)用到農(nóng)業(yè)古籍自動(dòng)編纂的研究中，提出了農(nóng)業(yè)古籍自動(dòng)編纂的原理，設(shè)計(jì)了自動(dòng)編纂的流程，并對(duì)自動(dòng)編纂的技術(shù)和算法進(jìn)行了深入的探討和研究。 農(nóng)業(yè)古籍自動(dòng)編纂是指利用計(jì)算機(jī)自動(dòng)從農(nóng)業(yè)古籍中發(fā)現(xiàn)并摘錄與某一主題相關(guān)的農(nóng)業(yè)資料，并編纂成冊(cè)。自動(dòng)編纂涉及自動(dòng)分詞、篇章分割、段落檢索、自動(dòng)聚類等技術(shù)。它的基本原理為：如果兩個(gè)句子包含相同的單詞越多，那么它們的關(guān)系越密切，然后根據(jù)句子間的密切關(guān)系劃分出句群。如果發(fā)現(xiàn)某一

7、句群包含編纂主題，則將其摘錄出來。主要的摘錄步驟為：首先將農(nóng)業(yè)古籍的章節(jié)分割成大小相等的子句；其次利用最大匹配分詞技術(shù)，提取子句關(guān)鍵詞；然后根據(jù)文本塊比較法，計(jì)算子句之間的緊湊度和深度值，并計(jì)算深度值的均值μ和標(biāo)準(zhǔn)方差σ，選擇所有深度值高于μ-C*σ的子句間隔點(diǎn)作為分割點(diǎn)；最后按照分割點(diǎn)提取相關(guān)論題句群，并將編纂結(jié)果按照相關(guān)性大小排序輸出。若同一編纂主題的編纂結(jié)果過多，為了方便用戶選擇，本研究采用以詞為中心的動(dòng)態(tài)自動(dòng)聚類技術(shù)，將編纂結(jié)果

8、分類顯示．此外，本研究還通過構(gòu)建農(nóng)史語詞知識(shí)庫，采用超鏈接技術(shù)，為編纂結(jié)果自動(dòng)添加語詞注釋，增加編纂結(jié)果的可閱讀性。 (3)?？笔枪偶淼闹匾绞?，以前長期以手工進(jìn)行操作，將計(jì)算機(jī)技術(shù)引入其中，實(shí)現(xiàn)自動(dòng)?？笨梢詷O大的提高校勘工作的效率，本文就農(nóng)業(yè)古籍自動(dòng)校勘算法及其相關(guān)問題進(jìn)行了設(shè)計(jì)和研究。 古籍自動(dòng)?？笔侵咐糜?jì)算機(jī)自動(dòng)發(fā)現(xiàn)并標(biāo)記出古籍不同版本之間的文字差異，并提供各種?？陛o助工具以幫助專家勘誤。本文在模式匹配和中文

9、文本自動(dòng)校對(duì)的基礎(chǔ)上，設(shè)計(jì)了基于窗口匹配技術(shù)的古籍自動(dòng)?？彼惴?。它的基本原理為：從底本和對(duì)校本中取出大小相等的字串進(jìn)行比較，如果它們不相等，則將其切分成子串再進(jìn)行比較，并根據(jù)校本串相對(duì)于底本串出現(xiàn)的增、刪及取代的情況，分別判斷為衍文、脫文和錯(cuò)文；如果它們相等，則跳過相等部分，重新取出底本串和校本串，重復(fù)前面的步驟進(jìn)行比較．農(nóng)業(yè)古籍自動(dòng)?？币笤陲@示異文的基礎(chǔ)上，由機(jī)器作簡單的判斷，或者提供輔助工具(如避諱字表、異體字表等)，幫助?？睂＜?/p>

10、進(jìn)行判斷和選擇。因此，古代官名表、人名表、地名表、避諱字表、異體字表、繁簡字對(duì)照表等輔助工具的建設(shè)和引入是古籍自動(dòng)?？钡闹匾M成部分，文中詳細(xì)分析了各輔助工具的構(gòu)建方法。此外，本文還探討了利用古籍中的“互見文獻(xiàn)”進(jìn)行自動(dòng)校勘的模式和方法。 (4)構(gòu)建農(nóng)業(yè)古籍智能處理系統(tǒng)亦是本文的重要研究內(nèi)容，該系統(tǒng)主要由自動(dòng)編纂、自動(dòng)校勘和輔助工具三個(gè)子系統(tǒng)組成．其中輔助工具子系統(tǒng)除了包含上述輔助工具外，還增加了中國歷代紀(jì)年表，中國歷代帝王年表

11、，中國歷代年號(hào)索引表等。本文詳細(xì)闡述了這三個(gè)子系統(tǒng)的總體設(shè)計(jì)及實(shí)現(xiàn)情況，包括資料收集、功能模塊結(jié)構(gòu)等，并分別對(duì)自動(dòng)編纂和自動(dòng)?？钡男ЧM(jìn)行了測試。 本研究采用人工打分的方法對(duì)自動(dòng)編纂的結(jié)果進(jìn)行了測試，結(jié)果表明良好的編纂結(jié)果占到了72.2％，編纂的效果比較令人滿意。同時(shí)，本文采用定量的方法，對(duì)自動(dòng)?？钡慕Y(jié)果進(jìn)行了測試，發(fā)現(xiàn)系統(tǒng)對(duì)不同版本間異文比對(duì)的召回率和精確率，分別達(dá)到了92.3％、95.2％，說明基于窗口匹配的算法是可行的。當(dāng)

12、然，本系統(tǒng)仍存在一些不足，自動(dòng)編纂和自動(dòng)校勘的效果還有待提高，輔助工具的建設(shè)以及實(shí)驗(yàn)系統(tǒng)的整體功能還有待完善本文將現(xiàn)代文本自然語言處理的相關(guān)技術(shù)在農(nóng)業(yè)古籍的智能化整理中加以應(yīng)用，其創(chuàng)新之處包括： (1)結(jié)合古農(nóng)書自身的特點(diǎn)，借鑒自動(dòng)分詞、篇章分割和段落檢索等技術(shù)，設(shè)計(jì)了農(nóng)業(yè)古籍自動(dòng)編纂的模型，并對(duì)其中的關(guān)鍵技術(shù)進(jìn)行了深入的分析和研究，如論題句群提取、編纂結(jié)果聚類顯示等，實(shí)現(xiàn)了農(nóng)業(yè)古籍自動(dòng)編纂的功能，使古籍智能化處理工作向前推進(jìn)了