句子語義相似度計算方法研究及其應(yīng)用.pdf

1、隨著信息科技的飛速進步和互聯(lián)網(wǎng)技術(shù)的日益普及，Web新聞、網(wǎng)絡(luò)博文、微信公眾號文章等已經(jīng)成為人們獲取信息或關(guān)注時政的主要途徑之一，但為吸引讀者或網(wǎng)站流量，“標題黨”新聞屢禁不絕，人為過濾該類新聞變得力不從心。因此，人們對計算機“標題黨”新聞鑒別技術(shù)的需求變得非常急迫。“標題黨”新聞鑒別技術(shù)的核心內(nèi)容是句子相似度計算，本文就此問題展開研究，主要研究內(nèi)容為句子語義相似度計算方法及主題句提取算法。
　　本文研究的對象是漢語句子，漢語與其

2、他比如英語自然語言有著自身很多的特點及研究難點，主要有句子分詞準確率不高，詞匯量大，語義復(fù)雜，語境對句子語義影響大，基本語法單位難以確定等。針對以上問題，查閱文獻后選取了Word2Vec算法作為數(shù)據(jù)模型訓(xùn)練算法，該算法很好的解決了以上大部分的難點，它有良好的學習能力且訓(xùn)練高效，能夠很好的刻畫出漢語詞匯的語義且能關(guān)聯(lián)上下文區(qū)分不同真實含義。另外，在根據(jù)文章研究分析得出主題句有重復(fù)頻率高，分布廣度大等特性。在此基礎(chǔ)上利用句子語義相似度計算算

3、法及主題句特性優(yōu)化主題句提取算法，研究工作主要包括以下幾個方面：
　　（1）查閱句子相似度相關(guān)文獻基礎(chǔ)上，總結(jié)分析了句子相似度的基本概念，新聞數(shù)據(jù)采集和預(yù)處理方法；研究了現(xiàn)有的多種句子相似度計算方法及主題句提取算法，并分析了各種算法的優(yōu)劣勢。
　　（2）深入研究了Word2Vec模型訓(xùn)練算法，為提高模型效果，提出了在模型二次訓(xùn)練的思路并進行實驗，得到了較好的結(jié)果。對大量新聞進行主題句特性進行總結(jié)分析，根據(jù)特性優(yōu)化了主題句提取

4、算法。
　?。?）利用主題句提取算法模型進行“標題黨”新聞鑒別，用200篇文章作為新聞實例數(shù)據(jù)進行實驗。實驗結(jié)果表明，本文對句子語義相似度計算方法及主題句提取算法的優(yōu)化都有較好的性能提升。
　　（4）將基于語義的句子相似度計算方法及主題句提取算法運用到實際場景中，對算法進行了系統(tǒng)應(yīng)用，通過 WebSocket協(xié)議實現(xiàn)客戶端與服務(wù)端數(shù)據(jù)雙向通信，用戶可自行訓(xùn)練模型或采用默認模型進行“標題黨”新聞鑒別，體現(xiàn)其實際應(yīng)用價值。