垂直搜索中自動(dòng)信息抽取關(guān)鍵技術(shù)的研究與實(shí)踐.pdf

1、隨著Internet的飛速發(fā)展，Web的信息量越來越大。傳統(tǒng)的搜索引擎已經(jīng)不能滿足人們對(duì)個(gè)性化信息檢索服務(wù)的需求。面向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎研究正成為該研究領(lǐng)域的熱點(diǎn)課題。相比較通用搜索引擎的海量信息無(wú)序化，垂直搜索引擎則顯得更加專注、具體和深入。垂直搜索引擎的網(wǎng)絡(luò)蜘蛛需要在抓取網(wǎng)頁(yè)之前對(duì)網(wǎng)頁(yè)的主題相關(guān)度做預(yù)測(cè)和判斷。只有主題相關(guān)的網(wǎng)頁(yè)才會(huì)被收集到服務(wù)器中。 垂直搜索引擎的研究難點(diǎn)主要集中在自動(dòng)信息提取方法，它主要解決

2、從眾多相關(guān)文獻(xiàn)中自動(dòng)提取出用戶真正感興趣的內(nèi)容而無(wú)須人工參與的技術(shù)問題。針對(duì)目前垂直搜索引擎信息提取系統(tǒng)的缺陷，本文提出了一個(gè)基于槽間向量模型的自動(dòng)信息提取方法。 該方法通過對(duì)用戶提供的標(biāo)記網(wǎng)頁(yè)進(jìn)行學(xué)習(xí)，建立用戶感興趣的內(nèi)容屬性項(xiàng)，稱之為槽。同時(shí)對(duì)槽之間分別計(jì)算一個(gè)能代表內(nèi)容之間結(jié)構(gòu)，視覺以及上下文特征的值。在本文中，稱這個(gè)值為連貫系數(shù)，所有的連貫系數(shù)組成一個(gè)大的標(biāo)準(zhǔn)向量。同時(shí)，該方法能根據(jù)用戶標(biāo)記的內(nèi)容自動(dòng)生成一些規(guī)則，以便能