基于Hadoop和支持向量機(jī)的緊密度后處理的研究與實(shí)現(xiàn).pdf

1、如何將用戶所查結(jié)果準(zhǔn)確地提取出來并展示已經(jīng)成為目前搜索引擎的主要目標(biāo)。搜索引擎涉及多項技術(shù)，自然語言處理是極為重要的一項，也是其他技術(shù)研究進(jìn)行提升的基礎(chǔ)。緊密度是分詞并去停用詞之后的關(guān)鍵技術(shù)之一，用于描述分詞之后的最小單位(Term)之間的關(guān)系，是網(wǎng)頁搜索的相關(guān)性排序中一項重要指標(biāo)數(shù)據(jù)，對于排序的結(jié)果起著決定性的作用，在搜索引擎中都發(fā)揮著重要的作用，同時對于提升用戶搜索結(jié)果的準(zhǔn)確率以及召回率有著十分重要的意義。
　　由于分詞的策略

2、是最小切割，會盡可能地將語句進(jìn)行細(xì)粒度切分，這就會將一些長詞組切分成多個Term，在隨后的搜索結(jié)果中，會召回一些不符合用戶的搜索需求的網(wǎng)頁，影響搜索結(jié)果的準(zhǔn)確率，并造成較差的用戶體驗(yàn)。論文以搜狗搜索引擎的實(shí)際項目為背景，對于搜索引擎的中文分詞中新詞發(fā)現(xiàn)的算法策略進(jìn)行了研究，設(shè)計了基于策略進(jìn)行Term關(guān)系提取的算法，將這些關(guān)系進(jìn)行提取組成特征，通過支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行特征分類，并對緊密度的

3、實(shí)際效果進(jìn)行提升。論文主要完成了下面的幾項工作:
　　(1)數(shù)據(jù)預(yù)處理。對原始搜索日志進(jìn)行分詞以及初始統(tǒng)計工作，得出后續(xù)策略的基礎(chǔ)數(shù)據(jù)。
　　(2)基于搜索回話日志的初步后處理。通過對搜索會話數(shù)據(jù)計算搜索語句差異值，得出部分會話數(shù)據(jù)，并對緊密度進(jìn)行初步后處理;
　　(3)基于網(wǎng)頁正文的二步后處理。針對專有名詞級別的緊密度結(jié)果，基于新詞發(fā)現(xiàn)的算法，利用信息熵、互信息等方法，得出兩兩term之間的特征關(guān)系，并將特征值通過S