基于詞向量的文本距離計算及應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)逐漸成為記錄人們生活和工作的信息載體，給人們的生活和工作帶來了獲取信息的便利，同時在被使用的過程中產(chǎn)生了大量的文本數(shù)據(jù)。如何從海量的、復(fù)雜的文本數(shù)據(jù)中及時有效地提取出重要信息？這些難題都急需要自然語言處理(Natural Language Processing，NLP)的相關(guān)技術(shù)來解決，其中文本距離的計算是自然語言處理中一項基礎(chǔ)而重要的工作。
　　文本距離（或文本相似度）的計算一直是自然語言處理領(lǐng)域的研究熱點之一，在文本分類

2、、文本聚類等面向文本級的自然語言處理應(yīng)用中發(fā)揮著重要的基礎(chǔ)性作用。傳統(tǒng)的基于詞袋的文本距離計算模型盡管簡單易實現(xiàn)，但并未考慮詞與詞之間潛在的語義距離關(guān)系，因此有較大的局限性。近年來有學(xué)者提出基于word2vec的Word Mover's Distances(WMD)方法，該方法在計算文本距離時考慮了詞語間的潛在語義關(guān)系，提高了文本距離的計算精度，間接地改善了相關(guān)應(yīng)用任務(wù)的效果，從而在一定程度上緩解了傳統(tǒng)方法的不足。然而，該方法僅采用詞頻

3、來度量詞在文本中的重要性，并沒有區(qū)分詞之間的差異性，也沒有抑制高頻詞的過度影響。此外，與給定詞語義相似的一些詞和給定詞之間的詞向量距離非常接近而難以區(qū)分。鑒于此，本文針對文本距離做了兩方面的探索:
　　第一，在WMD方法的基礎(chǔ)上進一步提出了兩類改進方法:其一，通過對詞的統(tǒng)計加權(quán)來融入詞的差異性特征，以及分別對詞頻和詞權(quán)重進行規(guī)范化來抑制高頻詞的過度影響;其二，通過Sigmoid函數(shù)對詞之間的相似度進行轉(zhuǎn)換，使其具有更好的區(qū)分度。并

4、在SemEval的五個公開數(shù)據(jù)集上進行了實驗，結(jié)果表明這兩類改進方法在相關(guān)性系數(shù)的評價上比WMD方法有所提高。
　　第二，將所提出的方法應(yīng)用到文本分類和跨媒體的信息鏈接兩個任務(wù)中。在文本分類的任務(wù)中，利用所提出的文本距離計算方法結(jié)合KNN分類模型，在八個公開數(shù)據(jù)集上進行了實驗，結(jié)果顯示本文所提出的方法在分類錯誤率上比WMD方法有所降低;在跨媒體的信息鏈接任務(wù)中，融合文本距離和社交媒體的時間信息構(gòu)建了線性回歸鏈接模型，并在權(quán)威數(shù)據(jù)集