非相關文獻知識發(fā)現方法及在農業(yè)經濟學中的應用.pdf

1、科學知識,是人類科學活動的產出品,而科學文獻則是記錄、存貯、傳播科學知識的載體,人類的科學知識一般以科學文獻的數量計量。普賴斯在他的名著《巴比倫以來的科學》中揭示了科學知識與科學文獻的指數增長規(guī)律。二戰(zhàn)以來,以指數方式增長的科學知識和科學文獻其數量已達到驚人的地步,這種現象被稱為信息爆炸或知識爆炸。以期刊論文為例,2008年國內期刊當年發(fā)表的農業(yè)經濟學期刊數量大約是1989年的17倍。在知識爆炸的時代,人類其實被自身創(chuàng)造的科學知識所淹沒

2、。人類科學知識的總量與人類的吸收能力之間的矛盾日益突出,科技工作者只能做選擇性地閱讀。任何一個農業(yè)經濟學研究人員都無法通讀當年的農業(yè)經濟學文獻。選擇性地閱讀帶來的后果必然是對知識及知識與知識之間的聯系的遺漏。即便是全面、完整地閱讀,對隱含在海量文獻之間的知識與知識之間的內在的、隱秘的聯系僅憑人類個人的智力也很難發(fā)現。
　　 客觀世界是普遍聯系的世界,在海量的分裂狀知識或科學文獻之間存在著各式各樣的聯系,這些聯系有相當一部分僅通過

3、常規(guī)的查詢與閱讀是不能得到的。1986年,美國芝加哥大學的數學教授Don R.Swanson提出了非相關文獻知識發(fā)現的思想,并以充分的文獻證據論證了基于非相關文獻的知識發(fā)現思想的可行性與正確性。Swanson的思想在學術界產生了廣泛的影響,非相關文獻知識發(fā)現既涉及知識發(fā)現技術,也涉及具體的學科領域。二十多年來,非相關文獻知識發(fā)現成為計算機、情報學和知識發(fā)現領域學科(如醫(yī)學、生物、工程、管理)的共同研究對象,相關研究論文在各學科的學術期刊

4、均有發(fā)表。各個學科的研究人員包括Swanson本人在以后的二十多年中對非相關文獻知識發(fā)現的理論基礎、算法模型及具體應用進行了持續(xù)地研究,相繼發(fā)現了更多的新知識、新聯系,其知識發(fā)現應用領域也從單純的醫(yī)學、生物學領域拓展到了航空航天、工程技術乃至人文科學。
　　 農業(yè)經濟是一門有自己的獨特研究對象、研究方法、研究目的及悠久的歷史與傳統(tǒng)的成熟科學,與其它學科一樣,現時代的農業(yè)經濟也面臨著專業(yè)細化、方向繁多的問題。農業(yè)經濟學也無法避免S

5、wanson所謂的知識片斷化與分裂化傾向。即,農業(yè)經濟學的知識總量與研究人員的吸收能力之間存在著巨大的差距；農業(yè)經濟學內部的專業(yè)領域劃分越來越細,專業(yè)之間的知識交流變得更加困難；一個專業(yè)領域的信息可能對另一個專業(yè)領域是有價值的,領域與領域之間存在著潛在的未被發(fā)現的關聯。非相關文獻知識發(fā)現方法及其在農業(yè)經濟學中的應用研究,就是以Swanson的非相關文獻知識發(fā)現思想為理論基礎,以農業(yè)經濟學科為學科領域,以國內核心期刊上發(fā)表的農業(yè)經濟學論文

6、為文獻源,結合中文信息自動化處理的各項技術,研究適合農業(yè)經濟學的非相關文獻知識發(fā)現理論、算法和應用案例,尋找隱藏在現有文獻間的關聯概念,并以農業(yè)經濟理論和方法論證關聯概念的現實性,驗證新知識的正確性。
　　 本文試圖在兩個方面取得突破。首先,在方法論方面,在分析、總結、比較非相關文獻知識發(fā)現國內外現有研究成果與算法模型的基礎上,本文試圖結合國內期刊論文的特點和農業(yè)經濟學的實際情況,為農業(yè)經濟學文獻設計一套邏輯上可行、操作上簡便的

7、知識發(fā)現方法,完整解決文獻集合、詞表體系、分詞方案、算法模型等難點問題；其次,在知識發(fā)現實踐方面,本文試圖依據Swanson的非相關文獻知識發(fā)現思想,以國內核心期刊上發(fā)表的農業(yè)經濟學期刊論文為文獻對象,發(fā)現若干對與農業(yè)經濟有關的關聯概念,也即發(fā)現新知識。
　　 本文首先在對國內外非相關文獻知識發(fā)現的研究論文進行總結、歸納、分析的基礎上,詳盡地探討了非相關文獻知識發(fā)現思想模式下概念與概念之間的關聯方式,針對Swanson的非相關文

8、獻知識發(fā)現的A-B-C模式和Gordon的中介文獻思想,分別對應地提出了單一關聯、單級關聯、多級關聯的概念,更進一步地,創(chuàng)建了多重關聯和復合關聯模型,給出了多級關聯、多重關聯和復合關聯模式下非相關文獻知識發(fā)現的開放式與閉合式知識發(fā)現過程的路徑圖。并借鑒在自然語言處理領域被廣泛接受的向量空間模型,依據復合關聯模式下非相關文獻知識發(fā)現的開放式與閉合式過程路徑圖,設計了復合關聯模式下非相關文獻知識發(fā)現的算法模型,包括開放式算法模型與閉合式算法

9、模型。
　　 然后,本文創(chuàng)建了農業(yè)經濟學非相關文獻知識發(fā)現語料庫。首先以軟件手段下載、轉換得到用于非相關文獻知識發(fā)現的農業(yè)經濟學期刊論文題錄數據庫,該數據庫包括了1989至2008年的二十年間國內所有核心期刊上發(fā)表的屬于農業(yè)經濟領域的全部研究論文,共87506篇,并建立了由停用詞、通用詞表、專業(yè)詞表、同義詞表構成的農業(yè)經濟學非相關文獻知識發(fā)現的詞表體系。其中的專業(yè)詞表是專門為農業(yè)經濟學非相關文獻知識發(fā)現而創(chuàng)建的,包括與農業(yè)經濟有

10、關的專業(yè)詞匯96391個,設計并實現了用于文獻集合自動分詞的自適應分詞算法。自適應分詞算法在未登錄詞識別的召回率方面優(yōu)于國內的其它算法,很適合非相關文獻知識發(fā)現對專業(yè)領域的新詞和概念重視程度較高的需求。
　　 接著,本文的研究進入農業(yè)經濟學非相關文獻知識發(fā)現實踐階段。通過自行編寫的工具軟件,實現了復合關聯模式下基于向量空間模型的非相關文獻知識發(fā)現算法,并以從維普期刊庫中下載的題錄為知識發(fā)現的文獻集合,利用自行建立的詞表體系,運行

11、和實施了基于國內核心期刊農業(yè)經濟學期刊論文的非相關文獻知識發(fā)現過程,發(fā)現了世界貿易組織與原教旨主義、馬爾薩斯與生態(tài)學、區(qū)域農業(yè)保險費率與地理信息系統(tǒng)三對關聯概念。最后,遵循農業(yè)經濟學的理論和邏輯驗證并確認了這三對關聯概念為農業(yè)經濟領域的新知識。這些知識在此前從未引起國內農業(yè)經濟領域研究人員的聯想,在國內核心期刊公開發(fā)表的農業(yè)經濟學文獻中都沒有報道,但這些知識隱藏在國內農業(yè)經濟學期刊論文之間。
　　 本文的創(chuàng)新之處主要體現在以下三

12、個方面:
　　 建立了非相關文獻知識發(fā)現的復合關聯模式。
　　 復合關聯的概念與思想,在此前的國內外文獻均未有類似提法。為了導出并描述非相關文獻知識發(fā)現的復合關聯模式,本文還分別提出了單級關聯、多級關聯、單一關聯、多重關聯的概念。單級關聯、單一關聯和多級關聯的思想之前已經是研究者提出的成熟思想,但概念與提法為本文首次提出。本文將其納入了復合關聯的框架下并用新概念分別命名了對應的思想和方法。多重關聯的概念與思想則是本文首次

13、創(chuàng)立,已知文獻中從未涉及。
　　 基于向量空間模型設計了復合關聯模式下的非相關文獻知識算法模型。
　　 本文基于向量空間模型設計了復合關聯模式下的非相關文獻知識發(fā)現的算法模型,并對算法效率進行了分析。該算法模型在Swanson及其它學者的論文中均沒有涉及,文獻調研中也沒有發(fā)現相似或相近的算法。該算法模型效率較高,與文獻集合做一次全局分析的時間代價相當。隨后的程序實現和具體的農業(yè)經濟學非相關文獻知識發(fā)現實踐也驗證了該算法模

14、型的可性行與合理性。該算法模型還充分考慮了漢語文獻與農業(yè)經濟領域的特殊性,解決了漢語文獻自動分詞以及農業(yè)經濟領域專業(yè)詞表與同義詞的構建等問題。
　　 發(fā)現了三對隱含在文獻中的關聯概念,并證明這三對關聯概念可作為國內農業(yè)經濟學領域的新知識。
　　 以1989年至2008年的二十年間國內所有核心期刊上發(fā)表的與農業(yè)經濟領域相關的期刊論文的篇名和摘要為對象,以自行開發(fā)的復合關聯模式知識發(fā)現軟件為工具,通過開放式和閉合式兩階段非相

15、關文獻知識發(fā)現過程的運行,本文發(fā)現了世界貿易組織與原教旨主義、馬爾薩斯與生態(tài)學、區(qū)域農業(yè)保險費率與地理信息系統(tǒng)等概念之間的關聯,并以農業(yè)經濟學的理論與邏輯驗證了這三對概念之間的關聯的正確性,成為農業(yè)經濟領域的新知識。檢索國內文獻,在目前能檢索到的所有國內核心期刊上登載的農業(yè)經濟學論文中對以上三對概念之間的聯系從未涉及,相關文獻為零。
　　 通過農業(yè)經濟學非相關文獻知識發(fā)現研究在方法論和知識發(fā)現實踐兩方面的工作,本文可以得出結論: