面向在線評論的關(guān)鍵詞抽取和知識關(guān)聯(lián)研究.pdf

1、電子商務(wù)交易過程中能夠產(chǎn)生大量有價值的用戶消費數(shù)據(jù)和口碑信息，這些信息能夠提供最直觀的用戶體驗，并有助于消費者對不同偏好、不同品質(zhì)的產(chǎn)品進行篩選。這些短文本信息數(shù)量大，所要表達的主題針對性強。針對以在線評論為載體的口碑信息挖掘是研究熱點，本文的核心是從海量的評論文本中提取出具有代表性的關(guān)鍵詞，并對關(guān)鍵詞進行語義關(guān)聯(lián)，使之具有一定的解釋性和可讀性。該問題研究的難點是提出有效的關(guān)鍵詞抽取方法以及建立關(guān)鍵詞間的語義關(guān)聯(lián)。本文主要分為以下三部分

2、：
　　第一，為盡可能多的保留評論文本信息，避免分詞工具錯誤地識別未登錄詞而丟失信息，針對中文文本預(yù)處理過程中分詞后出現(xiàn)的大量的詞碎片，本文通過加入規(guī)則模型的詞碎片處理，識別詞碎片中單個字為主的未登錄詞和詞碎片組合的未登錄詞，以提高對評論文本的利用率和分詞準確率，為關(guān)鍵詞抽取和以關(guān)鍵詞為基礎(chǔ)的語義關(guān)聯(lián)奠定了基礎(chǔ)并提供了更豐富的語料信息。
　　第二，針對在線評論進行關(guān)鍵詞抽取，提出利用LDA主題模型、Word2vec詞向量模型

3、與TextRank相融合的關(guān)鍵詞抽取算法。本文將主題影響力納入到節(jié)點之間相互轉(zhuǎn)移的影響因素中，并認為主題影響力大的節(jié)點向主題影響力小的節(jié)點轉(zhuǎn)移的概率要大，利用 LDA主題模型計算候選詞在文檔中以潛在主題為中間層的主題影響力；并且，認為如果一個詞具有很強的文檔重要性，那么其他詞與該詞在語義上越是相近，則越具有重要性，這種語義上的相關(guān)性消除了基于詞頻辨識關(guān)鍵詞的影響，利用Word2vec詞向量方法計算文檔中詞匯之間的相似性度，將這種基于全局

4、和局部的候選關(guān)鍵詞信息融合到以鄰接關(guān)系為主的結(jié)構(gòu)信息中；最后，通過圖模型TextRank算法計算出詞匯節(jié)點的得分，最后得到按得分排序的關(guān)鍵詞抽取結(jié)果。
　　第三，利用LDA主題模型和分布式表示中的Sentence2vec模型，在詞性分類基礎(chǔ)上，計算主題和語義相似的關(guān)鍵詞間的關(guān)聯(lián)度，按照關(guān)聯(lián)度大小對不同類別關(guān)鍵詞語義關(guān)聯(lián)關(guān)系進行排序，最終得到帶有關(guān)聯(lián)程度的在線評論文本的關(guān)鍵詞關(guān)聯(lián)結(jié)果。
　　本文針對在線評論的關(guān)鍵詞知識，提出語