領(lǐng)域關(guān)鍵詞抽?。航Y(jié)合LDA與Word2Vec.pdf

1、隨著互聯(lián)網(wǎng)與信息技術(shù)的發(fā)展，大數(shù)據(jù)分析成為目前熱門話題之一。大數(shù)據(jù)分析主要從海量數(shù)據(jù)中提取有意義的信息作為數(shù)據(jù)特征，通過分析已有數(shù)據(jù)的特征，實(shí)現(xiàn)數(shù)據(jù)的歸納分析，預(yù)測(cè)數(shù)據(jù)集的發(fā)展方向。自然語(yǔ)言處理是實(shí)現(xiàn)文本信息智能分析的一項(xiàng)重要研究工作。對(duì)特定領(lǐng)域內(nèi)文本的分析，可以獲取該領(lǐng)域內(nèi)的重要信息，以及實(shí)現(xiàn)對(duì)該領(lǐng)域發(fā)展方向的預(yù)測(cè)。
　　針對(duì)財(cái)經(jīng)領(lǐng)域而言，分析財(cái)經(jīng)領(lǐng)域內(nèi)海量的文本信息，可以了解經(jīng)濟(jì)發(fā)展的前景，實(shí)現(xiàn)對(duì)經(jīng)濟(jì)發(fā)展的預(yù)測(cè)。中文文本分析主

2、要是文本的分類、聚類等工作，依賴于對(duì)文本中詞匯的分析。從文本詞匯集中提取主要的信息是分析文本的基礎(chǔ)工作。關(guān)鍵詞是文本數(shù)據(jù)的重要特征，是分析文本數(shù)據(jù)的重要依據(jù)。關(guān)鍵詞自動(dòng)識(shí)別方法是自然語(yǔ)言處理研究的基本任務(wù)，是分析文本的前提，具有重要的研究意義。
　　本文研究以財(cái)經(jīng)領(lǐng)域文本為例，提出了一種基于主題模型和詞匯相似相結(jié)合的方法，提取財(cái)經(jīng)領(lǐng)域關(guān)鍵詞。通過已有的分詞工具實(shí)現(xiàn)中文文本分詞，提取文本中的詞匯；對(duì)給定的文本集建立主題模型，提取主題

3、相關(guān)詞匯作為初始關(guān)鍵詞集；提取與初始關(guān)鍵詞集語(yǔ)義相似的詞匯，擴(kuò)展關(guān)鍵詞集。主要工作如下：
　　對(duì)財(cái)經(jīng)領(lǐng)域內(nèi)的新聞文本利用已有的分詞工具切分文本，提取文本集中的詞匯。
　　依據(jù)LDA（Latent Dirichlet Allocation，隱含的狄利克雷分布）對(duì)文本集建立主題模型，提取主題相關(guān)詞匯形成初始關(guān)鍵詞集。
　　依據(jù) word2vec模型，將財(cái)經(jīng)領(lǐng)域內(nèi)詞匯向量化表示，計(jì)算初始關(guān)鍵詞集中的詞匯與領(lǐng)域內(nèi)詞匯間向量的相

4、似度，對(duì)關(guān)鍵詞集進(jìn)行擴(kuò)展。
　　通過實(shí)驗(yàn)進(jìn)行數(shù)據(jù)分析。第一，利用主題模型提取初始關(guān)鍵詞集，計(jì)算初始關(guān)鍵詞集的準(zhǔn)確率；第二，利用主題模型和詞匯相似，對(duì)初始關(guān)鍵詞集進(jìn)行擴(kuò)展，提取關(guān)鍵詞集，計(jì)算關(guān)鍵詞集的準(zhǔn)確率；第三，利用已有的TF-IDF(term frequency–inverse document frequency)方法提取關(guān)鍵詞集，計(jì)算關(guān)鍵詞集的準(zhǔn)確率。比較三種方法的實(shí)驗(yàn)結(jié)果，依據(jù)實(shí)驗(yàn)結(jié)果得到，針對(duì)財(cái)經(jīng)領(lǐng)域內(nèi)文本，基于LDA模