基于主題的Deep Web搜索引擎研究與探索.pdf

1、Internet的飛速發(fā)展，為我們提供了海量的信息資源。但目前傳統(tǒng)的搜索引擎能夠檢索的僅僅是World Wide Web中的一小部分，大量的Deep Web信息對(duì)這些搜索引擎是不可見(jiàn)的。這些信息隱藏在Web頁(yè)面的搜索表單后面，保存在大型的動(dòng)態(tài)數(shù)據(jù)庫(kù)中。用戶必須通過(guò)查詢表單在線訪問(wèn)其后端的Web數(shù)據(jù)庫(kù)才能獲得這些信息。有效地把Deep Web信息加以利用是一個(gè)比較富有挑戰(zhàn)性的課題。 本文首先介紹了通用搜索引擎的一般原理，定量地分析

2、了Deep Web的概況，并在此基礎(chǔ)上對(duì)構(gòu)建基于某一主題的Deep Web搜索引擎所涉及到的三個(gè)主要模塊(表單抽取、查詢處理、結(jié)果抽取)進(jìn)行了分析研究，同時(shí)闡述了相關(guān)算法。本文的主要研究?jī)?nèi)容包括： 1.討論了Deep Web的定義，在分析Deep Web工作原理的基礎(chǔ)上給出了基于某一主題Deep Web搜索引擎的總體設(shè)計(jì)思路和實(shí)現(xiàn)技術(shù)。 2.研究了表單抽取模塊中的Deep Web站點(diǎn)發(fā)現(xiàn)策略，通過(guò)對(duì)不同結(jié)構(gòu)表單頁(yè)面的分析

3、，提出了查詢表單元素的統(tǒng)一表示方法。 3.分析了目前存在查詢表單抽取方法，結(jié)合同一主題元素模板視覺(jué)的相似性，采用競(jìng)爭(zhēng)分類法對(duì)表單元素值進(jìn)行抽取，實(shí)驗(yàn)證明抽取效果比較理想。 4.研究了元素間的相似度算法，通過(guò)計(jì)算表單元素之間的相似度，排列數(shù)據(jù)源與用戶查詢的相關(guān)性，從而選擇出該領(lǐng)域內(nèi)與用戶查詢最相關(guān)的數(shù)據(jù)源。 5.設(shè)計(jì)了一個(gè)查詢轉(zhuǎn)換器，有效地解決了用戶查詢接口與數(shù)據(jù)源之間的元素映射問(wèn)題。 6.分析了目前存在的