基于反向過(guò)濾的近似字符串匹配及其優(yōu)化技術(shù).pdf

1、隨著計(jì)算機(jī)科學(xué)與技術(shù)的迅速發(fā)展，其在各行各業(yè)的應(yīng)用越來(lái)越多。由于字符串是一種最基本的數(shù)據(jù)結(jié)構(gòu)，所以處理字符串的各種結(jié)構(gòu)和算法在近些年得到了廣泛的研究和應(yīng)用。在信息的輸入和傳播的同時(shí)，難免會(huì)有很多錯(cuò)誤出現(xiàn)，這就需要某些近似字符串處理算法，和精確的處理算法不同，近似處理算法還有很多問(wèn)題沒(méi)有解決，本文正是選取了一個(gè)最常用的問(wèn)題進(jìn)行了研究——近似字符串匹配算法?，F(xiàn)有的近似字符串匹配算法有很多，其中最經(jīng)典的算法是一種基于gram的count過(guò)濾算

2、法。
　　本文的主要貢獻(xiàn)是提出了一種比count filter過(guò)濾能力更強(qiáng)的過(guò)濾算法，其基本思想和count過(guò)濾相反，因此本文稱其為反向過(guò)濾。反向過(guò)濾的基本思想是如果兩個(gè)字符串的編輯距離小于等于某一個(gè)閥門值，那么其中一個(gè)字符串的某些子片段和另外一個(gè)字符串的對(duì)應(yīng)子片段的局部編輯距離一定小于這個(gè)閥門值。正是基于這樣一個(gè)基本思想，本文對(duì)反向過(guò)濾進(jìn)行了系統(tǒng)地研究。定義了可以用于反向過(guò)濾的基本單位MinEd，并證明且證明了MinEd和全局編

3、輯距離的關(guān)系。通過(guò)MinEd和全局編輯距離的關(guān)系，得出了重要結(jié)論——即兩個(gè)字符串編輯距離下界。利用這個(gè)下界，得出了字符串匹配算法的過(guò)濾算法。
　　為了提高算法的過(guò)濾效果，基于MinEd的定義和定理，提出了MinEd累加定理。MinEd累加定理可以將多個(gè)MinEd的值進(jìn)行有條件約束累加，大幅度地提高了反向過(guò)濾算法的過(guò)濾能力，并且提高了算法支持的最大查詢閥門值。在MinEd的基礎(chǔ)之上，提出了帶有位置約束的PMinEd，證明了其過(guò)濾能力

4、要強(qiáng)于MinEd。為了突破反向過(guò)濾方法在預(yù)處理階段對(duì)閥門值的限制，本文提出了一種在查詢階段動(dòng)態(tài)擴(kuò)展MinEd或者PMinEd的方法，很好地解決了上述問(wèn)題。保證了算法的實(shí)用性。
　　本文提出了一個(gè)新的近似字符串匹配算法，其使用了經(jīng)典的count filter和本文提出的反向過(guò)濾。為了支持兩種過(guò)濾方法，設(shè)計(jì)了反向過(guò)濾索引和一個(gè)基于位置的倒排索引。通過(guò)兩個(gè)索引結(jié)構(gòu)的join操作可以進(jìn)行反向過(guò)濾，其中count filter過(guò)濾是可選的，