基于智能網(wǎng)關(guān)的用戶Web信息采集與分析系統(tǒng).pdf

1、信息時(shí)代的到來使互聯(lián)網(wǎng)成為個(gè)人及家庭最重要的信息來源，越來越多的用戶通過各種智能終端設(shè)備接入互聯(lián)網(wǎng)，這種信息獲取和交流的方式已逐漸成為當(dāng)今時(shí)代的主流。緊隨而來的各種快捷便利的服務(wù)軟件使各大互聯(lián)網(wǎng)公司逐漸意識(shí)到用戶信息作為一種戰(zhàn)略資產(chǎn)具有極高的經(jīng)濟(jì)價(jià)值。因此，把握海量數(shù)據(jù)背景下的用戶Web信息，分析用戶行為習(xí)慣無論是對(duì)學(xué)術(shù)研究的推動(dòng)還是對(duì)企業(yè)客戶資源的維系和發(fā)展都是具有著重要的意義。
　　目前，分析用戶行為的數(shù)據(jù)主要來源是服務(wù)器用戶

2、日志和瀏覽器cookie。前者是用戶訪問目標(biāo)網(wǎng)站時(shí)，網(wǎng)站記錄用戶相關(guān)行為，按特定格式生成服務(wù)器日志;后者則通過網(wǎng)站上加掛的腳本將用戶信息發(fā)送給后臺(tái)服務(wù)器端。這兩種方法都依賴特定的網(wǎng)站，比較理想的情況是用戶訪問不同網(wǎng)站時(shí)都能拿到用戶的訪問數(shù)據(jù)，而路由器作為家庭網(wǎng)絡(luò)鏈接和數(shù)據(jù)分發(fā)的中心，在家庭組網(wǎng)中占據(jù)著至關(guān)重要的位置。
　　針對(duì)路由器的這種優(yōu)勢(shì)，本論文設(shè)計(jì)并實(shí)現(xiàn)了一種基于智能路由器的用戶Web信息采集和分析系統(tǒng)，重點(diǎn)解決了用戶信息采

3、集方式的局限性和采集信息的片面性問題。該系統(tǒng)分為網(wǎng)關(guān)和后臺(tái)兩部分，網(wǎng)關(guān)側(cè)完成用戶ID和瀏覽網(wǎng)址的提取與傳輸，后臺(tái)服務(wù)器接收網(wǎng)關(guān)側(cè)采集的數(shù)據(jù)后，主要完成相應(yīng)Web界面的正文和關(guān)鍵詞的提取、頁面瀏覽時(shí)間統(tǒng)計(jì)、子鏈接爬取與相關(guān)度計(jì)算以及文本主題分類等信息的采集與分析。本論文創(chuàng)新點(diǎn)主要包括以下五個(gè)方面:
　　(1)分析了系統(tǒng)應(yīng)用的特有環(huán)境要求和應(yīng)用場(chǎng)景，結(jié)合新聞主題類和商品購(gòu)物類網(wǎng)站的網(wǎng)頁結(jié)構(gòu)特點(diǎn)，提出了文本密度與多特征值相結(jié)合的Web正

4、文抽取算法，既提高了網(wǎng)頁正文的抽取速度又保證了抽取的準(zhǔn)確率。
　　(2)提出一種基于統(tǒng)計(jì)、結(jié)構(gòu)、語言分析相結(jié)合的TF-IDF文本關(guān)鍵詞提取算法，該算法考慮了詞長(zhǎng)、詞跨度等特征對(duì)關(guān)鍵詞提取的影響，克服了傳統(tǒng)TF-IDF提取算法完全基于詞頻統(tǒng)計(jì)的缺陷。
　　(3)設(shè)計(jì)了一種網(wǎng)絡(luò)爬蟲的主題爬取策略，基于提出的文本關(guān)鍵詞提取算法和VSM文本相似度計(jì)量原理，實(shí)現(xiàn)了兩層網(wǎng)頁的子鏈接爬取與相關(guān)度計(jì)算。
　　(4)提出一種卡方值加權(quán)的