音素候選者生成器的研究.pdf

1、當(dāng)人們使用搜索引擎在互聯(lián)網(wǎng)中檢索信息時，查詢詞中會出現(xiàn)拼寫錯誤，這嚴重阻礙了人們獲得其所需信息。這些拼寫錯誤可分為兩類：打字錯誤和認知錯誤。其中，認知錯誤是指人們知道某個單詞的發(fā)音而不知道其正確的拼寫而進行的猜測。拼寫糾正算法正是用于糾正這些拼寫錯誤，其首先要對錯誤的拼寫生成其候選者集合。Double Metaphone技術(shù)是目前主流的對認知錯誤生成候選者集合的方法。然而，由于其是一組發(fā)音規(guī)則的簡單模擬，加之英語發(fā)音系統(tǒng)非常復(fù)雜，因此其

2、生成的候選者集合并不理想。本文提出了一種基于機器學(xué)習(xí)理論的音素候選者生成器以代替Double Metaphone技術(shù)，用于產(chǎn)生與查詢詞發(fā)音相似的候選者集合以增強拼寫糾正的性能。
　　 音素候選者生成器包含兩個模塊：音素序列估計和音素序列相似度測量。音素序列估計是基于Letter-To-Sound算法的，可能采用的模型有分類回歸樹模型以及條件隨機場模型。這兩種模型都是基于大量數(shù)據(jù)的機器學(xué)習(xí)模型。本文提出的音素候選者生成器分別采用兩

3、種模型進行實驗，分析和指出了他們的優(yōu)劣。音素序列相似度測量基于加權(quán)的Levenshtein編輯距離計算。該距離的計算需要一個元距離表，該表描述音素的插入、刪除和替換的代價。本文通過計算兩個隱馬爾科夫模型之間Kullback-Leibuler散度的來獲元距離表。
　　 音素候選者生成器中所采用的模型都是通過大量數(shù)據(jù)訓(xùn)練而得，有很好的抗噪聲性和魯棒性。通過實驗表明，音素候選者生成器較Double Metaphone有著更好的性能。不