基于Scrapy爬取電商平臺(tái)數(shù)據(jù)及自動(dòng)問(wèn)答系統(tǒng)的構(gòu)建.pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，互聯(lián)網(wǎng)信息急劇增長(zhǎng)，依賴關(guān)鍵字進(jìn)行搜索的傳統(tǒng)搜索引擎技術(shù)已日益不能滿足用戶快速準(zhǔn)確檢索信息的需求。自動(dòng)問(wèn)答系統(tǒng)作為信息檢索領(lǐng)域的一種高級(jí)形式，已然成為近年來(lái)研究的熱點(diǎn)和重點(diǎn)。研究構(gòu)建中文自動(dòng)問(wèn)答系統(tǒng)，滿足用戶直接以自然語(yǔ)言提出問(wèn)題并能快速準(zhǔn)確地獲取答案，有著十分重要的意義。
　　本文利用網(wǎng)絡(luò)爬蟲技術(shù)，從電商平臺(tái)爬取商品數(shù)據(jù)信息，繼而構(gòu)建電商平臺(tái)的中文自動(dòng)問(wèn)答系統(tǒng)以方便用戶準(zhǔn)確獲取相關(guān)商品信息，主要工作如下:<

2、br>　　首先，選用Python語(yǔ)言編寫的開源爬蟲框架Scrapy，研究該框架的搭建和使用，并選取網(wǎng)易考拉海購(gòu)平臺(tái)作為本文研究對(duì)象，分析考拉上商品的數(shù)據(jù)結(jié)構(gòu)，最后基于Scrapy框架編寫網(wǎng)絡(luò)爬蟲程序并成功爬取考拉所有商品數(shù)據(jù)。
　　其次，構(gòu)建Web項(xiàng)目，并將項(xiàng)目發(fā)布到開源的中間件Tomcat上，這樣用戶只需在瀏覽器中輸入相應(yīng)的鏈接即可看到考拉商品數(shù)據(jù)的動(dòng)態(tài)關(guān)系圖譜并直觀的看到商品的各類信息，實(shí)現(xiàn)了商品的可視化展示。
　　再次

3、，構(gòu)建考拉商品知識(shí)的詞典和詞性庫(kù)，實(shí)現(xiàn)了結(jié)合正向最大匹配算法和逆向最大匹配算法的分詞算法，自定義了有特色關(guān)鍵詞提取規(guī)則，并實(shí)現(xiàn)了相似度計(jì)算的編輯距離算法，最終設(shè)計(jì)實(shí)現(xiàn)了一款基于考拉商品知識(shí)庫(kù)的中文自動(dòng)問(wèn)答系統(tǒng)工具KOALAASK。
　　最后，對(duì)KOALAASK系統(tǒng)工具進(jìn)行了一系列功能性的測(cè)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)工具具備高性能，反應(yīng)迅速的特點(diǎn)。實(shí)驗(yàn)中通過(guò)統(tǒng)計(jì)分析的方法，即對(duì)799個(gè)不同領(lǐng)域的商品信息進(jìn)行提問(wèn)并獲取答案，計(jì)算相應(yīng)準(zhǔn)確率