基于編輯距離的近似字符串匹配及其優(yōu)化技術(shù).pdf

1、隨著計(jì)算機(jī)技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用，信息量也在呈指數(shù)增長(zhǎng)。在如此多的數(shù)據(jù)之中，由于各種各樣的原因，難免會(huì)存在一些錯(cuò)誤。在眾多的數(shù)據(jù)類型中，文本數(shù)據(jù)是最常見也是最古老的類型之一。在文本數(shù)據(jù)上進(jìn)行允許一定錯(cuò)誤的匹配，即近似字符串匹配已經(jīng)應(yīng)用于很多領(lǐng)域，例如數(shù)據(jù)清洗、實(shí)體識(shí)別、拼寫檢查、集合連接和Web搜索等。然而，近似字符串匹配在為用戶提供更強(qiáng)大、更全面的功能的同時(shí)也使得匹配處理過程及索引建立更加復(fù)雜。如何高效地進(jìn)行近似字符串匹配至關(guān)重要。

2、
　　目前，已經(jīng)有大量工作致力于解決近似字符串匹配問題。其中大部分工作都是圍繞著基于編輯距離的近似字符串匹配進(jìn)行的?；诰庉嬀嚯x的近似字符串匹配算法大多基于簽名，并采用索引結(jié)構(gòu)來支持近似字符串匹配。在匹配的時(shí)候采用兩階段的方式，即過濾階段和驗(yàn)證階段。過濾階段首先從索引結(jié)構(gòu)中獲取可能與查詢字符串近似匹配的字符串的集合，然后通過各種過濾算法過濾掉一些不可能是結(jié)果的字符串從而生成候選集合。候選集合中包含了所有近似匹配的字符串和一些并不近

3、似匹配的字符串，所以需要在驗(yàn)證階段對(duì)候選集合中的字符串逐一進(jìn)行驗(yàn)證以確定其是否真正近似匹配。
　　本文在現(xiàn)有工作的基礎(chǔ)之上將變長(zhǎng)gram算法的思想和非對(duì)稱的定長(zhǎng)chunk-gram算法的思想相結(jié)合提出了非對(duì)稱的變長(zhǎng)chunk-gram算法，并對(duì)該算法的公共簽名數(shù)量的下限進(jìn)行了分析。在變長(zhǎng)chunk-gram算法的基礎(chǔ)之上，本文又提出了最優(yōu)的變長(zhǎng)chunk算法，該算法對(duì)查詢字符串劃分最優(yōu)的τ+1個(gè)變長(zhǎng)chunk，同時(shí)基于BWT提出了