基于眾包和概率模型的實體解析方法研究.pdf

1、實體解析是關(guān)于識別和解析不同數(shù)據(jù)集合中的數(shù)據(jù)對，使其匹配現(xiàn)實世界中相應(yīng)實體的過程。實體解析是存在于數(shù)據(jù)庫管理，信息檢索和機(jī)器學(xué)習(xí)等眾多研究領(lǐng)域中的長期挑戰(zhàn)。隨著大數(shù)據(jù)時代的到來和數(shù)據(jù)自帶的語意模糊性，實體解析的任務(wù)變得越來越繁瑣和復(fù)雜。然而，眾包平臺的出現(xiàn)為解決數(shù)據(jù)的寓意模糊性提供了有效的解決途徑。因此本文就如何利用人類的智慧來解決實體解析的問題進(jìn)行了初步的探討，本文主要分三個大部分來探討。
　　第一部分主要介紹了本文的選題背景以

2、及相關(guān)工作，尤其是介紹近些年實體解析的研究情況和基于眾包的實體解析的研究成果。而眾包平臺解決實體解析問題的關(guān)鍵是眾包問題的產(chǎn)生策略，即Human Intelligence Task(HIT)的產(chǎn)生策略。該部分首先介紹了眾包在實體解析中的兩種HIT生成模型，即基于關(guān)聯(lián)的HIT生成模型和基于概率的HIT生成模型。最后通過對這兩種模型的優(yōu)缺點進(jìn)行對比，基于概率的HIT生成模型被確定為本文要探討的應(yīng)用模型。
　　本文第二部分探討如何調(diào)整和

3、轉(zhuǎn)化相應(yīng)的 HIT生成模型，使其能夠解決實體解析中的HIT生成問題。不同于其他HIT生成模型，本文將用戶的錯誤率考慮進(jìn)來，探討了用戶答題的錯誤率對于 HIT生成效率和精度的影響。與此同時，該部分分別提出了兩個HIT的概率生成模型框架，即最佳HIT生成模型1EPMQ和多HIT生成模型NEPMQ。除此之外，該部分證明了NEPMQ方法的HIT生成策略是一個NP-hard問題。為了解決這個NP-hard問題，本文分別提出了一個近似算法和一個啟發(fā)