搜索結(jié)果智能處理技術(shù)研究.pdf

1、伴隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展成熟，網(wǎng)絡(luò)信息量與日俱增，從網(wǎng)絡(luò)中檢索需要的信息早已成為許多人生活中不可或缺的一部分。其中最常用的信息檢索手段是搜索引擎，但豐富的網(wǎng)絡(luò)信息使得搜索引擎返回結(jié)果數(shù)量極為龐大。因此，為減少查詢搜索結(jié)果信息而產(chǎn)生的搜索結(jié)果智能處理技術(shù)就變得十分重要。本文通過(guò)對(duì)搜索結(jié)果智能處理的整個(gè)步驟環(huán)節(jié)進(jìn)行了研究，提出了結(jié)合數(shù)據(jù)采集、自然語(yǔ)言處理與數(shù)據(jù)挖掘的解決方案。
　　對(duì)搜索引擎數(shù)據(jù)采集方法，本文采用網(wǎng)頁(yè)內(nèi)容抓取方法避免

2、了搜索引擎以及相關(guān)API對(duì)訪問(wèn)量和訪問(wèn)頻率的限制。
　　對(duì)搜索條目的自然語(yǔ)言處理，在分詞環(huán)節(jié)中本文提出了一種基于統(tǒng)計(jì)學(xué)概率算法的分詞字典擴(kuò)充方法，從而彌補(bǔ)了傳統(tǒng)字典分詞算法對(duì)新生網(wǎng)絡(luò)語(yǔ)言處理方面的不足。并能夠應(yīng)用分詞字典擴(kuò)充方法挖掘語(yǔ)料中的新生詞匯；在文本向量空間模型建立環(huán)節(jié)本文提出了基于句子中詞語(yǔ)間關(guān)系的文本向量化算法，通過(guò)句中詞語(yǔ)之間相鄰、修飾、指代等關(guān)系進(jìn)行PageRank迭代來(lái)計(jì)算文本向量，在分類準(zhǔn)確率方面優(yōu)于傳統(tǒng)的基于統(tǒng)

3、計(jì)量的文本向量化算法，而且更加適用于類似搜索引擎結(jié)果條目這樣的較短文本。
　　對(duì)搜索結(jié)果的處理，本文考慮到搜索結(jié)果條目重要程度差異極大的情況提出了先對(duì)關(guān)鍵元素進(jìn)行聚類，再對(duì)次要元素分類歸入的方法，保證了最終類別形成符合實(shí)際情況。并通過(guò)建立聚類結(jié)果評(píng)估機(jī)制來(lái)確保歸類數(shù)目的準(zhǔn)確性，對(duì)有歧義搜索關(guān)鍵字搜索結(jié)果的處理產(chǎn)生了良好的效果。在最終返回結(jié)果之前，本文還通過(guò)計(jì)算不同搜索引擎的權(quán)重分配、搜索條目的重復(fù)狀況以及搜索條目?jī)?nèi)容的重要程度來(lái)對(duì)