基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究.pdf

1、真實環(huán)境中,相同的物理實體通常會有多種在邏輯上的描述。當物理實體描述為酒店數(shù)據(jù)時,這種現(xiàn)象特別明顯。本論文基于酒店實體數(shù)據(jù)匹配的實際需求,對數(shù)據(jù)清洗與實體匹配問題進行了分析與研究,最終提出了一套在酒店數(shù)據(jù)背景下的數(shù)據(jù)清洗框架。該框架主要基于編輯距離、主數(shù)據(jù)和條件函數(shù)依賴等技術(shù)。
　　編輯距離是一種廣泛用于描述字符串相似度的標識。主數(shù)據(jù)則是能夠被視為事實的數(shù)據(jù)倉庫?；谒鼈?論文中設計了去除潛在重復數(shù)據(jù)的以抽取酒店主數(shù)據(jù)的兩類算法:

2、即一般匹配算法和遞增匹配算法。兩類算法都展示了穩(wěn)定的、可接受的性能。面對數(shù)據(jù)源不斷改變的真實應用環(huán)境,在一般匹配算法的基礎上,論文中設計了遞增匹配算法。相比于一般匹配算法,遞增算法在運行時間上擁有了更高的效率。
　　另一方面,條件函數(shù)依賴則是一類最近提出的完整性約束。它已經(jīng)被證明能夠通過在語義上強制綁定相應的數(shù)據(jù)值,從而有效地檢測出數(shù)據(jù)中的錯誤和不一致性。利用從主數(shù)據(jù)中提取出的條件函數(shù)依賴,能夠高效地去除或修復數(shù)據(jù)中的雜質(zhì)與錯誤,