基于word2vec的中文文本相似度研究與實(shí)現(xiàn).pdf

1、在如今網(wǎng)絡(luò)得到普及的時(shí)代，特別是Web3.0的應(yīng)用，越來(lái)越多的信息被編碼成數(shù)字信息存儲(chǔ)在網(wǎng)絡(luò)上，包括各種論文和文獻(xiàn)的存儲(chǔ)。為了更好地對(duì)數(shù)據(jù)進(jìn)行分類和查找，我們需要對(duì)不同的數(shù)據(jù)進(jìn)行合理的存儲(chǔ)和索引。
　　為了對(duì)數(shù)據(jù)進(jìn)行分類，我們需要對(duì)文本進(jìn)行相似度比較。在眾多的文本相似度判別方法中，最準(zhǔn)確的方法是通過(guò)人工去對(duì)比兩個(gè)文檔之間的相似度，但是考慮到目前文本數(shù)量巨大，而且其增長(zhǎng)速度隨網(wǎng)絡(luò)存儲(chǔ)的應(yīng)用呈現(xiàn)爆炸式增長(zhǎng)，人工的檢查方式已經(jīng)變得不太現(xiàn)

2、實(shí)。為此，開(kāi)發(fā)一種在計(jì)算和識(shí)別速度上具有明顯優(yōu)勢(shì)，并符合人為制定的相似標(biāo)準(zhǔn)，做到正確地、迅速到、健壯地判定文本相似度。文本相似度是許多應(yīng)用的基礎(chǔ)，如文本聚類、搜索引擎和論文查重的基礎(chǔ)，所以文本相似度計(jì)算的準(zhǔn)確性直接影響到這樣應(yīng)用的運(yùn)行效果。如果能提高文本相似度的準(zhǔn)確度，這樣就能從互聯(lián)網(wǎng)上搜索到更多更有用的信息，就可以把大量的文章更好地分門(mén)別類，使機(jī)器表現(xiàn)得更加接近人類的表達(dá)方式。為了能更接近這一目標(biāo)，人們也在不斷改進(jìn)文本相似度計(jì)算的方法

3、，希望能得到更加令人滿意的結(jié)果。在過(guò)去，通用的文本相似度算法都是基于向量空間模型來(lái)展開(kāi)，而且這種方法在應(yīng)用之初表現(xiàn)效果不錯(cuò)，但是隨著信息量的增長(zhǎng)，這種方法的缺點(diǎn)也越來(lái)越明顯。
　　傳統(tǒng)算法中有兩大缺點(diǎn)。第一，無(wú)法識(shí)別意思相似或者相關(guān)的詞語(yǔ)；第二，文本中詞語(yǔ)的權(quán)重不合理，即文本中的核心關(guān)鍵詞的重要程度與其他非關(guān)鍵詞重要程度一樣，而這是不合理的。所以如果能處理好著兩大難題，文本相似度計(jì)算準(zhǔn)確率也必將提高。本文將在傳統(tǒng)算法的基礎(chǔ)上對(duì)文本

4、相似度算法進(jìn)行改進(jìn)。
　　隨著近幾年不斷的努力，許多研究人員也提出了許多改進(jìn)的算法，其中不乏表現(xiàn)效果不俗的文章，在眾多文章中，就有本文著重要提到的Word2vec。Word2vec的核心是詞向量，即每個(gè)詞語(yǔ)都有一個(gè)相對(duì)應(yīng)向量，在計(jì)算兩個(gè)詞語(yǔ)的相似度時(shí)其實(shí)就是計(jì)算兩個(gè)向量的余弦值。引入詞向量后，可以識(shí)別兩個(gè)字型不同但意思相似或相關(guān)的詞語(yǔ)。而為了對(duì)文本中的詞語(yǔ)重要程度分配不同的權(quán)值，本文引入了詞頻表，通過(guò)詞頻表就可以標(biāo)記出一個(gè)文本中詞