基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究.pdf

1、語義Web是Tim Berners-Lee提出的下一代互聯(lián)網(wǎng)遠(yuǎn)景，通過引入了哲學(xué)領(lǐng)域本體的概念，使得計算機(jī)能夠理解Web上的資源，并能實現(xiàn)計算機(jī)之間的語義信息共享。在世界萬維網(wǎng)聯(lián)盟(World Wide Web Consortium, W3C)提出的語義Web體系結(jié)構(gòu)中，基于SPARQL的資源描述框架(Resource Description Framework, RDF)數(shù)據(jù)查詢、基于描述邏輯的Web本體描述語言(Web Ontolo

2、gy Language, OWL)一致性檢測推理和基于語義Web規(guī)則語言(Semantic Web Rule Language, SWRL)的OWL本體規(guī)則推理構(gòu)成了語義Web領(lǐng)域的研究核心。
　　然而，隨著語義Web技術(shù)的不斷快速發(fā)展，本體數(shù)據(jù)已呈現(xiàn)出大規(guī)模性、高速增長性、多樣性等大數(shù)據(jù)特性。然而，傳統(tǒng)的本體數(shù)據(jù)查詢與推理工具由于設(shè)計運(yùn)行于單機(jī)環(huán)境下，不可避免地存在計算性能和可擴(kuò)展性不足等問題，影響了語義Web技術(shù)的進(jìn)一步推廣應(yīng)

3、用。
　　近年來，云計算因其具備高性能、易擴(kuò)展的海量數(shù)據(jù)存儲和計算能力已經(jīng)成為產(chǎn)業(yè)界和學(xué)術(shù)界在信息技術(shù)領(lǐng)域的最新研究方向之一，其中開源Hadoop云計算工具已成為當(dāng)前大數(shù)據(jù)處理的事實標(biāo)準(zhǔn)。目前，國內(nèi)外研究人員已開始將Hadoop關(guān)鍵技術(shù)引入語義Web研究領(lǐng)域，以探尋分布式環(huán)境下的高效率本體數(shù)據(jù)查詢與推理方法，并已逐步形成了以語義Web和云計算技術(shù)相結(jié)合的新研究方向，但其研究仍然處于起步階段，存在許多關(guān)鍵問題尚待解決。
　　本

4、文通過結(jié)合云計算和語義Web理論和關(guān)鍵技術(shù)，研究基于Hadoop的本體數(shù)據(jù)查詢與推理并行化方法，為實現(xiàn)面向大規(guī)模語義Web本體的數(shù)據(jù)管理云服務(wù)奠定理論研究基礎(chǔ)。主要研究內(nèi)容和創(chuàng)新性成果包括以下五個方面：
　　(1)以W3C提出的語義Web體系結(jié)構(gòu)為基礎(chǔ)，結(jié)合云計算Hadoop關(guān)鍵技術(shù)特性，提出了一種大規(guī)模語義Web本體數(shù)據(jù)查詢與推理云計算框架。首先，對該框架進(jìn)行了功能層級劃分，自底向上分別由物理層、存儲層、數(shù)據(jù)層、邏輯層、接口層、

5、網(wǎng)絡(luò)層和應(yīng)用層組成。然后，基于本體查詢與推理理論，設(shè)計了核心的邏輯層由數(shù)據(jù)預(yù)處理器、數(shù)據(jù)適配器、查詢與推理分析器、查詢與推理計劃生成器、MapReduce SPARQL查詢引擎、MapReduce SWRL規(guī)則推理引擎和MapReduce Tableau推理引擎構(gòu)成。該框架的提出為實現(xiàn)高性能、易擴(kuò)展的語義Web數(shù)據(jù)管理云服務(wù)提供體系結(jié)構(gòu)和數(shù)據(jù)交互流程支持和借鑒，為進(jìn)一步研究其中的關(guān)鍵技術(shù)理論奠定基礎(chǔ)。
　　(2)基于語義Web中R

6、DF三元組數(shù)據(jù)特性和基于描述邏輯的OWL本體描述語言形式化語義，結(jié)合 HBase基于列的數(shù)據(jù)存儲模式特性，提出了由三個 HBase數(shù)據(jù)表T_OS_P、T_PO_S和T_SP_O構(gòu)成的本體數(shù)據(jù)分布式存儲策略，分析了在進(jìn)行基于MapReduce的本體查詢和推理任務(wù)時的數(shù)據(jù)檢索機(jī)制，并通過與現(xiàn)有的數(shù)據(jù)存儲策略進(jìn)行對比和分析，論證了本文提出方法能夠在本體數(shù)據(jù)存儲空間開銷和檢索性能方面實現(xiàn)較好的平衡。
　　(3)基于SPARQL語法和形式化

7、語義，結(jié)合MapReduce鍵值對的計算特性，提出了SPARQL復(fù)雜組圖模式在MapReduce環(huán)境下的分布式查詢方法。首先提出了SPARQL復(fù)雜組圖模式查詢的相關(guān)解析模型定義。然后提出了基于MapReduce的SPARQL復(fù)雜組圖模式查詢?nèi)蝿?wù)生成算法，實現(xiàn)了查詢?nèi)蝿?wù)數(shù)的優(yōu)化，并以此為基礎(chǔ)，提出了在map和reduce函數(shù)中的SPARQL復(fù)雜組圖模式分布式查詢算法。最后，通過使用語義 Web研究領(lǐng)域廣泛采用的SP2Bench本體測試數(shù)據(jù)

8、集和標(biāo)準(zhǔn)測試語句，對提出方法與現(xiàn)有的Jena、Sesame和RDF-3X查詢引擎進(jìn)行了對比實驗和可擴(kuò)展性實驗。實驗結(jié)果表明，提出方法在面向大規(guī)模RDF數(shù)據(jù)的SPARQL復(fù)雜組圖模式進(jìn)行查詢時，其計算性能和可擴(kuò)展性均優(yōu)于傳統(tǒng)的單機(jī)環(huán)境下運(yùn)行的查詢引擎。
　　(4)基于OWL Lite本體所對應(yīng)的描述邏輯SHIF語義及其Tableau推理算法，結(jié)合MapReduce鍵值對的數(shù)據(jù)計算特性，提出了基于MapReduce的OWL本體一致性分

9、布式檢測推理方法。首先定義了OWL本體一致性檢測的相關(guān)解析模型。然后提出了基于MapReduce的OWL Lite本體數(shù)據(jù)劃分方法和分布式Tableau推理算法。最后通過使用 LUBM本體測試數(shù)據(jù)集，對提出方法與現(xiàn)有 Pellet、RacerPro和HermiT推理引擎進(jìn)行了對比實驗和可擴(kuò)展性實驗，證明了提出方法在進(jìn)行大規(guī)模OWL本體的一致性檢測推理時，在計算性能和可擴(kuò)展性方面均優(yōu)于傳統(tǒng)單機(jī)環(huán)境下運(yùn)行的描述邏輯推理引擎。
　　(5

10、)基于SWRL規(guī)則語法和形式化語義，結(jié)合MapReduce鍵值對的數(shù)據(jù)計算特性，提出了基于MapReduce的SWRL規(guī)則分布式推理方法。首先提出了SWRL規(guī)則推理的相關(guān)解析模型定義。然后提出了基于MapReduce的SWRL規(guī)則推理計劃生成算法，實現(xiàn)了推理任務(wù)數(shù)的優(yōu)化。其次，為保證推理的可判定性，提出了DL-safe限制下SWRL規(guī)則在map和reduce函數(shù)中的分布式推理算法。最后通過使用LUBM本體數(shù)據(jù)集和自定義SWRL測試規(guī)則，