垂直搜索引擎中語義計(jì)算技術(shù)研究.pdf

1、近年來由于網(wǎng)絡(luò)上的信息量迅猛增加和網(wǎng)絡(luò)信息組織的無序性，用戶不容易從傳統(tǒng)搜索引擎返回的檢索結(jié)果中找到自己所需要的信息。垂直搜索引擎的出現(xiàn)和發(fā)展，一定程度上克服了傳統(tǒng)搜索引擎的數(shù)據(jù)雜亂等弱點(diǎn)。然而現(xiàn)在的垂直搜索引擎基本上還是基于關(guān)鍵字匹配的方式，無法克服關(guān)鍵字匹配方式固有的問題；垂直搜索引擎對數(shù)據(jù)質(zhì)量的要求比較高，現(xiàn)在通過大量人工參與來提高數(shù)據(jù)質(zhì)量，使得系統(tǒng)的維護(hù)成本非常高。本文提出了一種提高垂直搜索引擎數(shù)據(jù)質(zhì)量和檢索效果的語義計(jì)算方法。

2、通過某些語義詞典或者是統(tǒng)計(jì)方法生成詞語語義相似度矩陣，利用改進(jìn)的文本語義相似度計(jì)算方法計(jì)算文本之間在語義層面上的相似程度。使用這種方法在垂直搜索引擎的數(shù)據(jù)處理階段對文本進(jìn)行語義層面處理，提高數(shù)據(jù)的質(zhì)量；對數(shù)據(jù)進(jìn)行分類和聚類處理，以提高檢索效率；在檢索階段，可以實(shí)現(xiàn)語義層面的檢索，克服了基礎(chǔ)關(guān)鍵字匹配方式帶來的查全率和查準(zhǔn)率不高等問題。文中詳細(xì)介紹了如何利用語義計(jì)算技術(shù)解決垂直搜索引擎中的一些具體問題。本文還介紹了我們設(shè)計(jì)的一個(gè)農(nóng)業(yè)方面的

3、垂直搜索引擎。這個(gè)搜索引擎成功地融入了一些語義計(jì)算技術(shù)，取得了良好效果，目前這個(gè)搜索引擎已經(jīng)可以穩(wěn)定地對外提供高質(zhì)量的檢索服務(wù)。 本文首先介紹了關(guān)于搜索引擎和語義計(jì)算方面的一些基本知識，結(jié)合垂直搜索引擎的特點(diǎn)分析了引入語義計(jì)算技術(shù)的必要性和可行性；介紹了文本檢索和語義計(jì)算方面的相關(guān)成果，討論它們的應(yīng)用價(jià)值或者是可以借鑒地方。然后針對傳統(tǒng)的向量空間模型中文本相似度計(jì)算方法的不足，提出了一種基于語義的文本相似度計(jì)算方法，并討論了這種

4、方法中詞語相似度矩陣的相關(guān)問題，對如何生成詞語相似度矩陣進(jìn)行分析，并通過實(shí)驗(yàn)和分析指出了這些方法的優(yōu)劣和針對不同類型的文本數(shù)據(jù)進(jìn)行語義計(jì)算的價(jià)值。接下來針對垂直搜索引擎中的具體問題，舉例說明了語義計(jì)算技術(shù)在垂直搜索引擎設(shè)計(jì)中的具體使用方法，并通過實(shí)驗(yàn)分析了這些方法在具體應(yīng)用中的特點(diǎn)。然后介紹了我們基于語義計(jì)算的農(nóng)業(yè)垂直搜索引擎從數(shù)據(jù)處理到文本檢索的整個(gè)系統(tǒng)的設(shè)計(jì)思想和整體設(shè)計(jì)框架，并討論了一些具體問題的處理方式，然后通過一系列實(shí)驗(yàn)證明了