基于Hadoop平臺(tái)的多特征融合文本相似度計(jì)算研究與應(yīng)用.pdf

1、云計(jì)算技術(shù)的成熟及大數(shù)據(jù)時(shí)代的來(lái)臨給傳統(tǒng)行業(yè)帶來(lái)了巨大的沖擊，適用于傳統(tǒng)行業(yè)的分析方法及解決方案需要進(jìn)行重新設(shè)計(jì)。交通信息工程及控制領(lǐng)域的眾多半結(jié)構(gòu)及非結(jié)構(gòu)化信息也需要引入云計(jì)算及自然語(yǔ)言處理等新的分析平臺(tái)與及應(yīng)對(duì)方案。
　　自然語(yǔ)言處理從不同的層次可以分為詞法分析、句法分析、語(yǔ)義分析、文摘生成、文本分類及文本聚類等。自然語(yǔ)言處理的很多技術(shù)已得到較為成功的應(yīng)用，如中文分詞、機(jī)器翻譯等。經(jīng)過(guò)長(zhǎng)期的發(fā)展，低層次的自然語(yǔ)言處理已有很多較

2、為成熟的方法，而高層次的自然語(yǔ)言處理由于計(jì)算復(fù)雜度高等其他方面的原因而進(jìn)展緩慢。云計(jì)算為文本相似度計(jì)算等高層次的自然語(yǔ)言處理提供了新的解決方案。本文對(duì)基于云計(jì)算的多特征融合文本相似度計(jì)算進(jìn)行研究，主要是在Hadoop云計(jì)算平臺(tái)下，對(duì)低層次的基于詞語(yǔ)共現(xiàn)的文本相似度、較高層次的基于語(yǔ)義相似度的文本相似度、高層次的基于余弦相似度的文本相似度、更高層次的基于語(yǔ)言網(wǎng)絡(luò)的文本相似度進(jìn)行分析，通過(guò)對(duì)四個(gè)不同層次特征的文本相似度進(jìn)行線性融合，提出了基

3、于云計(jì)算的多特征融合文本相似度計(jì)算方法并在Hadoop平臺(tái)上進(jìn)行驗(yàn)證。論文主要包括以下五個(gè)方面的內(nèi)容:
　　首先，對(duì)低層次的基于詞語(yǔ)共現(xiàn)的文本相似度計(jì)算進(jìn)行研究并進(jìn)行并行化，針對(duì)Hadoop云計(jì)算平臺(tái)的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)算基于詞語(yǔ)共現(xiàn)的文本相似度，將文本的Jaccard相似度作為基于詞語(yǔ)共現(xiàn)的文本相似度計(jì)算結(jié)果。
　　其次，對(duì)較高層次的基于語(yǔ)義相似度的文本相似度計(jì)算進(jìn)行研究并進(jìn)行并行化，采用現(xiàn)

4、有的語(yǔ)義相似度計(jì)算方法，針對(duì)Hadoop云計(jì)算平臺(tái)的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)算基于語(yǔ)義相似度的文本相似度，將文本所有詞語(yǔ)對(duì)的語(yǔ)義相似度之和的算術(shù)平均值作為基于語(yǔ)義相似度的文本相似度計(jì)算結(jié)果。
　　再次，對(duì)高層次的基于余弦相似度的文本相似度進(jìn)行研究并進(jìn)行并行化，對(duì)中文分詞及去停用詞后的文本向量進(jìn)行處理，并計(jì)算文本向量的余弦相似度，針對(duì)Hadoop云計(jì)算平臺(tái)的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)

5、算基于余弦相似度的文本相似度，將文本向量的余弦值作為基于余弦相似度的文本相似度計(jì)算結(jié)果。
　　然后，對(duì)更高層次的基于語(yǔ)言網(wǎng)絡(luò)的文本相似度計(jì)算進(jìn)行研究并在Hadoop云計(jì)算平臺(tái)下借助X-RIME實(shí)現(xiàn)了對(duì)語(yǔ)言網(wǎng)絡(luò)的節(jié)點(diǎn)的PageRank值計(jì)算，將較低的PageRank值之和與較高的PageRank值之和的比值作為基于語(yǔ)言網(wǎng)絡(luò)的文本相似度計(jì)算結(jié)果。
　　最后，在Hadoop云計(jì)算平臺(tái)下將低層次的基于詞語(yǔ)共現(xiàn)的文本相似度、較高層次的