大數(shù)據(jù)下基于塊依賴的實(shí)體解析方法.pdf

1、實(shí)體解析是指對(duì)同一實(shí)體的不同的表現(xiàn)形式進(jìn)行識(shí)別、連接和分組，它在數(shù)據(jù)庫(kù)管理、機(jī)器學(xué)習(xí)和信息檢索中均有廣泛應(yīng)用。傳統(tǒng)的實(shí)體解析方法主要針對(duì)小數(shù)據(jù)集，重點(diǎn)關(guān)注解析結(jié)果的準(zhǔn)確性，隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)量急劇增加，傳統(tǒng)的實(shí)體解析方法由于時(shí)間復(fù)雜度較高，難以處理海量的數(shù)據(jù)集。因此，我們需要更加有效的策略以解決海量數(shù)據(jù)帶來的困難和挑戰(zhàn)。
　　為適應(yīng)海量數(shù)據(jù)的實(shí)體解析工作，本文針對(duì)時(shí)間效率問題提出一種基于塊依賴的實(shí)體解析方法，主要工作如下:

2、(1)通過對(duì)原數(shù)據(jù)按照設(shè)定的分塊標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)集的分塊，依靠分塊技術(shù)初步減少計(jì)算量;(2)提出區(qū)域和依賴度的概念，設(shè)定數(shù)據(jù)篩選標(biāo)準(zhǔn)，篩選出與原分塊中依賴度較低的實(shí)體，使其在下一階段中進(jìn)行二次匹配，以保證解析結(jié)果的正確性，并通過控制篩選出的實(shí)體數(shù)量，在一定程度上控制二次匹配的計(jì)算量，從而控制解析時(shí)間;(3)通過設(shè)定跨度距離來控制與已篩選實(shí)體進(jìn)行二次匹配的實(shí)體的數(shù)量，進(jìn)一步控制計(jì)算量，提高時(shí)間效率;(4)實(shí)現(xiàn)了數(shù)據(jù)分塊階段和跨度距離設(shè)定階段的