比較購(gòu)物搜索引擎的研究與應(yīng)用.pdf

1、在網(wǎng)上購(gòu)物領(lǐng)域，隨著電子商務(wù)網(wǎng)站的服務(wù)商數(shù)量和產(chǎn)品數(shù)量的迅速增加，廣大消費(fèi)者面臨著更多的困惑:在如此眾多的商品中，如何才能找到適合自己需要的網(wǎng)站和物品呢？哪兒的商品更便宜？如何獲得性價(jià)比最高的商品和服務(wù)？這些問(wèn)題都讓用戶感到茫然。比較購(gòu)物是一種采取信息獲取技術(shù)開(kāi)發(fā)的購(gòu)物代理軟件。這種軟件通過(guò)收集眾多的網(wǎng)上商家信息，對(duì)各種商品的價(jià)格、性能、配送方式以及服務(wù)等進(jìn)行比較，向用戶提供不同在線銷售商的商品信息。因此是一個(gè)省時(shí)省力又省錢的購(gòu)物途徑，

2、得到了大多數(shù)電子商務(wù)用戶的好評(píng)。
　　 本文主要研究網(wǎng)頁(yè)數(shù)據(jù)的抓取和解析，網(wǎng)頁(yè)數(shù)據(jù)的抓取是由網(wǎng)絡(luò)蜘蛛Spider完成的，而網(wǎng)頁(yè)數(shù)據(jù)的解析是指從抓取到的網(wǎng)頁(yè)中提取出結(jié)構(gòu)化的信息。在網(wǎng)頁(yè)數(shù)據(jù)抓取部分，本文對(duì)通用搜索引擎中的Spider抓取網(wǎng)頁(yè)數(shù)據(jù)的一般傳統(tǒng)框架進(jìn)行了改進(jìn)，根據(jù)專業(yè)搜索引擎的特點(diǎn)，提出了一種優(yōu)化的網(wǎng)頁(yè)數(shù)據(jù)抓取框架，即在Spider抓取URL鏈接時(shí)，增加了“URL提取干預(yù)”，從而提高了專業(yè)搜索引擎抓取網(wǎng)頁(yè)數(shù)據(jù)的效率。在網(wǎng)

3、頁(yè)數(shù)據(jù)解析部分，本文實(shí)現(xiàn)了一個(gè)擴(kuò)展性良好的WEB信息抽取模塊。
　　 為了解決網(wǎng)頁(yè)數(shù)據(jù)的抓取和數(shù)據(jù)處理之間的速度矛盾，本文設(shè)計(jì)了一種生產(chǎn)者-消費(fèi)者模型，即在數(shù)據(jù)抓取和數(shù)據(jù)處理之間建立了網(wǎng)頁(yè)數(shù)據(jù)緩存機(jī)制，有利于搜索引擎整體性能的提高。
　　 另外，針對(duì)目前國(guó)內(nèi)的大多數(shù)比較購(gòu)物網(wǎng)站只為用戶提供了商品價(jià)格的比較，缺乏對(duì)不同購(gòu)物網(wǎng)站上用戶體驗(yàn)和用戶評(píng)價(jià)的比較，信息參考尚為欠缺這一問(wèn)題，本文在對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行處理時(shí)，抽取了商品的好評(píng)