基于共振理論的詞匯相關(guān)性計算.pdf

1、詞匯的相關(guān)性研究是自然語言處理領(lǐng)域的一個基礎(chǔ)課題。在傳統(tǒng)的詞語相關(guān)性研究中，大多關(guān)注一對詞匯之間的相關(guān)性；并且大多都存在一個假設(shè)：即相關(guān)的詞匯至少應(yīng)該以“共同出現(xiàn)”為基礎(chǔ)。然而，互聯(lián)網(wǎng)的新聞文本中的事件是具備演化特征的，隨著時間的推移，事件的演化，互聯(lián)網(wǎng)文本的內(nèi)容往往會發(fā)生緩慢或者突發(fā)的遷移，文本中包含的相關(guān)事件之間的詞匯并不一定會在同一文檔中出現(xiàn)，但這些詞匯必然存在很強的相關(guān)性。所以運用傳統(tǒng)的基于“共同出現(xiàn)”的詞匯相關(guān)性計算方法解決這

2、種特殊相關(guān)性問題時，就顯得黯然失色了。
　　為了克服上述問題，本文提出一種基于共振理論的的詞匯遠(yuǎn)程相關(guān)性思想，及遠(yuǎn)程相關(guān)性的計算方法。這種方法以共振理論為依托，類比于物理學(xué)中振動的物體由于固有頻率相同或接近產(chǎn)生共振的條件，將詞匯相關(guān)性研究轉(zhuǎn)化為對詞匯波動性的研究。通過遠(yuǎn)程相關(guān)性的計算，能夠找到某領(lǐng)域內(nèi)某些目標(biāo)詞匯的同類詞匯，并利用相關(guān)工具和方法，計算目標(biāo)詞匯與同類詞匯之間具體相關(guān)性的大小。
　　通過統(tǒng)計詞匯的頻次隨時間的變化

3、規(guī)律，并以信號波形的形式將其在二維直角坐標(biāo)系中展示，運用傅里葉變換和小波分析兩種波形處理工具對其進(jìn)行處理，將詞匯在時域上的詞匯波形轉(zhuǎn)化為頻域上的波動性特征，并對其進(jìn)行分析，將得到的傅里葉變換分量和小波系數(shù)作為詞匯相關(guān)性計算的特征。最后，根據(jù)詞匯的特征進(jìn)行相關(guān)性聚類操作，并以特征向量之間的歐氏距離為度量，以確定目標(biāo)詞匯與同類別詞匯具體相關(guān)性的大小。實驗結(jié)果表明，通過對詞匯波動情況的統(tǒng)計與分析，不僅能夠發(fā)現(xiàn)傳統(tǒng)意義上的相關(guān)性詞匯，還能夠找到