基于云計算的多層次文本關鍵詞抽取研究與應用.pdf

1、經濟與科技的高速發(fā)展及信息化的加速推進使當今社會已逐步邁進云計算時代，云計算與大數(shù)據的深度結合對傳統(tǒng)行業(yè)帶來巨大的沖擊。傳統(tǒng)技術需要在云計算環(huán)境中重新進行分析、設計，以充分挖掘云計算的潛力，為傳統(tǒng)行業(yè)的變革尋求新的契機。
　　自然語言處理是計算機科學領域與人工智能領域等其他領域的重要研究內容。自然語言處理從不同的層次來講，主要包括詞法分析、句法分析、語義分析、文本生成、機器翻譯及關鍵詞抽取等。自然語言處理經過長期的發(fā)展，已有部分技

2、術得到成功的應用，如中文分詞工具、翻譯軟件等。由于計算復雜度高或者其他方面的原因，包括句法分析、語義分析在內的高層次自然語言處理一直以來進展緩慢，云計算及大數(shù)據技術的逐漸成熟及應用的日益普及為解決文本關鍵詞抽取等自然語言處理中的難題提供了新的解決方案。本文對基于云計算的多層次文本關鍵詞抽取進行研究，主要是在云計算平臺下，對低層次的基于詞頻的文本關鍵詞抽取、較高層次的基于語義相似度的文本關鍵詞收取、更高層次的基于語言網絡的關鍵詞抽取進行分

3、析，通過對三個不同層次的關鍵詞抽取算法進行融合，設計并提出了基于云計算的多層次文本關鍵詞抽取算法并在Hadoop云計算試驗平臺上進行驗證。論文主要包括以下四個方面的內容:
　　首先，對低層次的基于詞頻的文本關鍵詞抽取進行研究并進行并行化改進，針對Hadoop云計算平臺的特點設計Map、Combine、Reduce函數(shù)實現(xiàn)云計算平臺下基于詞頻的文本關鍵詞抽取，將詞頻最高的詞語作為基于詞頻的文本關鍵詞抽取結果。
　　其次，對較高

4、層次的基于語義相似度的文本關鍵詞抽取進行研究并進行并行化改進，采用現(xiàn)有的語義相似度計算方法，針對Hadoop云計算平臺的特點設計Map、Combine、Reduce函數(shù)實現(xiàn)云計算平臺下基于語義相似度的文本關鍵詞抽取，將與其他所有詞語語義相似度和最高的詞語作為基于語義相似度的文本關鍵詞抽取結果。
　　然后，對更高層次的基于語言網絡的文本關鍵詞抽取進行研究并在Hadoop云計算平臺下借助X-RIME網絡分析工具實現(xiàn)了對語言網絡的作為節(jié)

5、點的詞語的PageRank值計算，虛擬的超級節(jié)點的引入可以確保語言網絡是連通的，將語言網絡中做為節(jié)點的詞語PageRank最高的詞語作為基于語言網絡的文本關鍵詞抽取結果。
　　最后，在云計算平臺下將低層次的基于詞頻的文本關鍵詞抽取、較高層次的基于語義相似度的文本關鍵詞抽取、更高層次的基于語言網絡的文本關鍵詞抽取結果進行融合，采用非線性融合函數(shù)，取詞頻平方根、語義相似度和、PageRank值平方三者乘積最高的詞語作為多層次文本關鍵詞