基于領(lǐng)域知識(shí)的Deep Web接口發(fā)現(xiàn)研究.pdf

1、隨著Internet技術(shù)的快速發(fā)展，Web數(shù)據(jù)庫(kù)越來(lái)越受到人們的重視，Web按其所蘊(yùn)含信息的“深度”可以分為Surface Web和Deep Web兩部分。與Surface Web相比，Deep Web蘊(yùn)藏了更加豐富、更加專業(yè)的信息，為了有效的利用這些信息，建立Deep Web數(shù)據(jù)集成系統(tǒng)成為當(dāng)前研究的熱點(diǎn)，而Deep Web接口發(fā)現(xiàn)是建立Deep Web數(shù)據(jù)集成系統(tǒng)的首要工作。Deep Web接口發(fā)現(xiàn)需要解決4個(gè)方面的問(wèn)題：（1）找到

2、可能包含領(lǐng)域內(nèi)Deep Web接口的網(wǎng)站。（2）從找到的網(wǎng)站中識(shí)別出領(lǐng)域內(nèi)Deep Web接口。（3）評(píng)估發(fā)現(xiàn)的領(lǐng)域內(nèi)DeepWeb接口的覆蓋率。（4）抽取出Deep Web接口的屬性信息。
　　 對(duì)于第一個(gè)問(wèn)題，利用搜索引擎是一種行之有效的辦法，它的難點(diǎn)在于如何設(shè)計(jì)查詢提交詞，進(jìn)而實(shí)現(xiàn)用較少的查詢提交詞快速發(fā)現(xiàn)盡可能多的領(lǐng)域內(nèi)Deep Web接口，本文提出了基于領(lǐng)域知識(shí)的查詢提交詞確定方法，該方法包括三部分：（1）基于領(lǐng)域知識(shí)

3、計(jì)算查詢提交詞的知名度，即利用領(lǐng)域知識(shí)確定出檢查某詞是否符合高知名度的特征詞，把該詞和該詞的特征詞作為組合詞提交到搜索引擎，統(tǒng)計(jì)目標(biāo)網(wǎng)站精確匹配組合詞的個(gè)數(shù)，個(gè)數(shù)越多，則說(shuō)明該詞和特征詞越匹配，從而該詞的知名度就越高，該詞能找到含有領(lǐng)域內(nèi)Deep Web接口數(shù)越多。（2）基于領(lǐng)域知識(shí)的URL過(guò)濾，即通過(guò)URL中含有的領(lǐng)域知識(shí)快速排除和本領(lǐng)域無(wú)關(guān)的網(wǎng)站，且剩余的網(wǎng)站數(shù)目越多，則含有領(lǐng)域內(nèi)Deep Web接口的網(wǎng)站數(shù)也越多，計(jì)算剩余網(wǎng)站個(gè)數(shù)

4、并降序排列，從而排在前面的一個(gè)詞要比排在后面的一個(gè)詞找到的領(lǐng)域內(nèi)Deep Web接口數(shù)多。（3）查詢提交詞確定流程。實(shí)驗(yàn)表明該方法可實(shí)現(xiàn)用較少的查詢提交詞快速發(fā)現(xiàn)盡可能多的領(lǐng)域內(nèi)Deep Web接口。對(duì)于第二個(gè)問(wèn)題，本文提出基于支持向量機(jī)的Deep Web接口判定方法，該方法具有較高的查準(zhǔn)率和查全率。對(duì)于第三個(gè)問(wèn)題，本文提出基于集成網(wǎng)站評(píng)估發(fā)現(xiàn)領(lǐng)域內(nèi)Deep Web接口的覆蓋率方法，該方法具有一定的參考價(jià)值。對(duì)于第四個(gè)問(wèn)題，本文提出基于