基于屬性模式的實(shí)體識(shí)別框架.pdf

1、隨著社會(huì)生活的發(fā)展,企業(yè)和政府等組織機(jī)構(gòu)的數(shù)據(jù)每天都在快速增長(zhǎng)。同時(shí)數(shù)據(jù)中的問題也越來越多,極大地降低了數(shù)據(jù)的可用性。其中實(shí)體識(shí)別問題是一個(gè)很早就困擾著數(shù)據(jù)質(zhì)量管理研究者的問題,實(shí)體識(shí)別在數(shù)據(jù)去重和錯(cuò)誤修改方面研究較多,在實(shí)體查詢和高質(zhì)量的數(shù)據(jù)分析中也是重要課題?，F(xiàn)行的實(shí)體識(shí)別技術(shù)主要有基于屬性的基本特征和基于屬性關(guān)系的方法。雖然度量屬性特征的基本相似度函數(shù)已經(jīng)比較完善,但屬性特征信息有限,很難提供更多的線索?；趯傩躁P(guān)系的發(fā)方法可以發(fā)

2、現(xiàn)屬性間的內(nèi)在聯(lián)系,彌補(bǔ)了基于屬性特征的方法的不足。為了表示屬性間的關(guān)系,產(chǎn)生了很多模型,各種模型含有很強(qiáng)的領(lǐng)域知識(shí),很難利用到其他問題上。各類實(shí)體識(shí)別問題層出不窮,若每次出現(xiàn)問題都依靠專家進(jìn)行分析,建立專門的模型進(jìn)行解決,效率低下。通用的系統(tǒng)還是比較少的,現(xiàn)行的框架面臨的主要困難有:1)缺乏領(lǐng)域無關(guān)的相似度計(jì)算方法;2)相似度判斷閾值很難確定,且閾值附近錯(cuò)誤率較高;3)不同屬性的相似度對(duì)判斷的權(quán)重很難確定。
　　針對(duì)以上通用系統(tǒng)

3、面臨的挑戰(zhàn),本文提出了一種基于屬性模式的實(shí)體識(shí)別框架。通過對(duì)屬性與實(shí)體的關(guān)系特點(diǎn)進(jìn)行分析,把屬性分為了四類,按類型特點(diǎn)提出了通用的相似度度量方法。各屬性的相似度通過向量形式組織在一起,保持了屬性間的內(nèi)在聯(lián)系,避免了對(duì)屬性的相似度的權(quán)重進(jìn)行分配。判斷器是相似空間的一個(gè)劃分,通過統(tǒng)計(jì)學(xué)習(xí)形成判斷所需的信息。提出了一種新的實(shí)體關(guān)系圖,在圖上進(jìn)行實(shí)體劃分。劃分過程中對(duì)修改后的實(shí)體對(duì)相似度重新計(jì)算,可以發(fā)現(xiàn)更多的實(shí)體對(duì)。系統(tǒng)還增加了反饋的功能。最