基于局部敏感哈希的實例匹配技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，數(shù)據(jù)與日俱增，用戶更加關(guān)心信息獲取的實時性、準(zhǔn)確性和相關(guān)性，而面向文檔的互聯(lián)網(wǎng)已無法滿足當(dāng)前的需求。語義網(wǎng)是一個面向數(shù)據(jù)的網(wǎng)絡(luò)，它把所有的數(shù)據(jù)都關(guān)聯(lián)在一起，使得用戶能夠通過它更快地獲取到最準(zhǔn)確、最相關(guān)的信息。近年來，語義網(wǎng)的數(shù)據(jù)集迅猛增長，但由于并沒有統(tǒng)一的模式標(biāo)準(zhǔn)，很多新發(fā)布的數(shù)據(jù)孤立存在，因此數(shù)據(jù)集成的需求越來越重要。本文選擇實例匹配作為研究目標(biāo)，旨在從兩個語義網(wǎng)數(shù)據(jù)集中把描述相同事物的實例提取出來。

2、>　　本文分析并總結(jié)了實例匹配技術(shù)在國內(nèi)外的研究現(xiàn)狀，列舉了一些成熟的實例匹配系統(tǒng)，在此基礎(chǔ)上選擇目前數(shù)據(jù)挖掘領(lǐng)域高度關(guān)注的一種處理海量高維數(shù)據(jù)相似性發(fā)現(xiàn)的方法——局部敏感哈希作為主要基礎(chǔ)，對實例匹配技術(shù)進(jìn)行深入研究，主要工作包括：
　　第一，對齊兩個語義網(wǎng)數(shù)據(jù)集的模式信息，分析數(shù)據(jù)集的一些統(tǒng)計特征，計算謂語覆蓋率和謂語辨別率來篩選重要謂語，并通過賓語的Jaccard距離實現(xiàn)謂語匹配。
　　第二，用向量空間模型表示實例的數(shù)據(jù)

3、集，借助局部敏感哈希算法來實現(xiàn)對相似實例的快速提取，詳細(xì)介紹了將實例的空間向量轉(zhuǎn)化為最小哈希簽名矩陣的過程，設(shè)計并實現(xiàn)了面向最小哈希及余弦距離的局部敏感哈希方案，同時給出了局部敏感哈希的分布式實現(xiàn)策略。
　　第三，根據(jù)謂語匹配置信度對局部敏感哈希算法得到的實例候選集進(jìn)行精煉驗證，計算得到最后的實例匹配結(jié)果。
　　本文在真實的數(shù)據(jù)集上進(jìn)行了大量的對比實驗，對主要工作進(jìn)行了驗證。實驗結(jié)果表明本文提出的實例匹配方案能夠快速實現(xiàn)對兩