基于智能網(wǎng)關(guān)的用戶Web信息采集與分析系統(tǒng).pdf

1、信息時代的到來使互聯(lián)網(wǎng)成為個人及家庭最重要的信息來源，越來越多的用戶通過各種智能終端設(shè)備接入互聯(lián)網(wǎng)，這種信息獲取和交流的方式已逐漸成為當今時代的主流。緊隨而來的各種快捷便利的服務軟件使各大互聯(lián)網(wǎng)公司逐漸意識到用戶信息作為一種戰(zhàn)略資產(chǎn)具有極高的經(jīng)濟價值。因此，把握海量數(shù)據(jù)背景下的用戶Web信息，分析用戶行為習慣無論是對學術(shù)研究的推動還是對企業(yè)客戶資源的維系和發(fā)展都是具有著重要的意義。
　　目前，分析用戶行為的數(shù)據(jù)主要來源是服務器用戶

2、日志和瀏覽器cookie。前者是用戶訪問目標網(wǎng)站時，網(wǎng)站記錄用戶相關(guān)行為，按特定格式生成服務器日志;后者則通過網(wǎng)站上加掛的腳本將用戶信息發(fā)送給后臺服務器端。這兩種方法都依賴特定的網(wǎng)站，比較理想的情況是用戶訪問不同網(wǎng)站時都能拿到用戶的訪問數(shù)據(jù)，而路由器作為家庭網(wǎng)絡(luò)鏈接和數(shù)據(jù)分發(fā)的中心，在家庭組網(wǎng)中占據(jù)著至關(guān)重要的位置。
　　針對路由器的這種優(yōu)勢，本論文設(shè)計并實現(xiàn)了一種基于智能路由器的用戶Web信息采集和分析系統(tǒng)，重點解決了用戶信息采

3、集方式的局限性和采集信息的片面性問題。該系統(tǒng)分為網(wǎng)關(guān)和后臺兩部分，網(wǎng)關(guān)側(cè)完成用戶ID和瀏覽網(wǎng)址的提取與傳輸，后臺服務器接收網(wǎng)關(guān)側(cè)采集的數(shù)據(jù)后，主要完成相應Web界面的正文和關(guān)鍵詞的提取、頁面瀏覽時間統(tǒng)計、子鏈接爬取與相關(guān)度計算以及文本主題分類等信息的采集與分析。本論文創(chuàng)新點主要包括以下五個方面:
　　(1)分析了系統(tǒng)應用的特有環(huán)境要求和應用場景，結(jié)合新聞主題類和商品購物類網(wǎng)站的網(wǎng)頁結(jié)構(gòu)特點，提出了文本密度與多特征值相結(jié)合的Web正

4、文抽取算法，既提高了網(wǎng)頁正文的抽取速度又保證了抽取的準確率。
　　(2)提出一種基于統(tǒng)計、結(jié)構(gòu)、語言分析相結(jié)合的TF-IDF文本關(guān)鍵詞提取算法，該算法考慮了詞長、詞跨度等特征對關(guān)鍵詞提取的影響，克服了傳統(tǒng)TF-IDF提取算法完全基于詞頻統(tǒng)計的缺陷。
　　(3)設(shè)計了一種網(wǎng)絡(luò)爬蟲的主題爬取策略，基于提出的文本關(guān)鍵詞提取算法和VSM文本相似度計量原理，實現(xiàn)了兩層網(wǎng)頁的子鏈接爬取與相關(guān)度計算。
　　(4)提出一種卡方值加權(quán)的