基于共振理論的詞匯相關(guān)性計(jì)算.pdf

1、詞匯的相關(guān)性研究是自然語(yǔ)言處理領(lǐng)域的一個(gè)基礎(chǔ)課題。在傳統(tǒng)的詞語(yǔ)相關(guān)性研究中，大多關(guān)注一對(duì)詞匯之間的相關(guān)性；并且大多都存在一個(gè)假設(shè)：即相關(guān)的詞匯至少應(yīng)該以“共同出現(xiàn)”為基礎(chǔ)。然而，互聯(lián)網(wǎng)的新聞文本中的事件是具備演化特征的，隨著時(shí)間的推移，事件的演化，互聯(lián)網(wǎng)文本的內(nèi)容往往會(huì)發(fā)生緩慢或者突發(fā)的遷移，文本中包含的相關(guān)事件之間的詞匯并不一定會(huì)在同一文檔中出現(xiàn)，但這些詞匯必然存在很強(qiáng)的相關(guān)性。所以運(yùn)用傳統(tǒng)的基于“共同出現(xiàn)”的詞匯相關(guān)性計(jì)算方法解決這

2、種特殊相關(guān)性問(wèn)題時(shí)，就顯得黯然失色了。
　　為了克服上述問(wèn)題，本文提出一種基于共振理論的的詞匯遠(yuǎn)程相關(guān)性思想，及遠(yuǎn)程相關(guān)性的計(jì)算方法。這種方法以共振理論為依托，類比于物理學(xué)中振動(dòng)的物體由于固有頻率相同或接近產(chǎn)生共振的條件，將詞匯相關(guān)性研究轉(zhuǎn)化為對(duì)詞匯波動(dòng)性的研究。通過(guò)遠(yuǎn)程相關(guān)性的計(jì)算，能夠找到某領(lǐng)域內(nèi)某些目標(biāo)詞匯的同類詞匯，并利用相關(guān)工具和方法，計(jì)算目標(biāo)詞匯與同類詞匯之間具體相關(guān)性的大小。
　　通過(guò)統(tǒng)計(jì)詞匯的頻次隨時(shí)間的變化

3、規(guī)律，并以信號(hào)波形的形式將其在二維直角坐標(biāo)系中展示，運(yùn)用傅里葉變換和小波分析兩種波形處理工具對(duì)其進(jìn)行處理，將詞匯在時(shí)域上的詞匯波形轉(zhuǎn)化為頻域上的波動(dòng)性特征，并對(duì)其進(jìn)行分析，將得到的傅里葉變換分量和小波系數(shù)作為詞匯相關(guān)性計(jì)算的特征。最后，根據(jù)詞匯的特征進(jìn)行相關(guān)性聚類操作，并以特征向量之間的歐氏距離為度量，以確定目標(biāo)詞匯與同類別詞匯具體相關(guān)性的大小。實(shí)驗(yàn)結(jié)果表明，通過(guò)對(duì)詞匯波動(dòng)情況的統(tǒng)計(jì)與分析，不僅能夠發(fā)現(xiàn)傳統(tǒng)意義上的相關(guān)性詞匯，還能夠找到