面向智能電子商務(wù)的Web挖掘理論與方法的研究.pdf

1、隨著全球信息化的發(fā)展，信息量指數(shù)增長，電子商務(wù)在全球取得了迅速發(fā)展。目前電子商務(wù)已經(jīng)發(fā)展到一個(gè)新的階段，處理對象向綜合化、大型化、復(fù)雜化方向發(fā)展。把智能計(jì)算技術(shù)應(yīng)用到電子商務(wù)，解決現(xiàn)有電子商務(wù)技術(shù)在大量商品信息的搜索、分析和決策等方面的種種不足，已經(jīng)成為發(fā)達(dá)國家大企業(yè)提高競爭力和市場份額的戰(zhàn)略選擇。利用Web挖掘技術(shù)對電子商務(wù)中的大量數(shù)據(jù)進(jìn)行存儲(chǔ)、管理、對比、檢索、尋找其相關(guān)性，挖掘出數(shù)據(jù)所隱藏的規(guī)律，自動(dòng)獲取知識(shí)，可以對電子商務(wù)作出決

2、策支持。智能電子商務(wù)網(wǎng)站能為用戶提供個(gè)性化和推薦商品服務(wù)，使用戶快速找到自己需要的商品，提高用戶的信任度。智能電子商務(wù)網(wǎng)站也可以通過預(yù)取和緩存方法來提高網(wǎng)站的性能，減少用戶的延時(shí)感受，間接提高用戶的滿意度。為用戶提供更加稱心如意的智能服務(wù)，讓用戶享受一種個(gè)性化的購物體驗(yàn)，才能留住和爭取更多的用戶，從而在競爭中取得先機(jī)?！　∧壳?，基于Web挖掘的智能電子商務(wù)技術(shù)存在著各種不同的問題。首先，大部分Web挖掘方法都使用Web日志作為數(shù)據(jù)源，

3、冗余數(shù)據(jù)多，預(yù)處理方法不精確且效率低，為挖掘算法提供質(zhì)量差的數(shù)據(jù)源。其次，各種Web挖掘算法沒有很好地結(jié)合電子商務(wù)的特性來設(shè)計(jì)，挖掘算法性能低，挖掘結(jié)果的質(zhì)量差且缺乏語義。再次，存放挖掘結(jié)果的知識(shí)庫沒有得到有效管理，降低了知識(shí)匹配速度和利用率。以上這些問題都很大程度地影響了智能服務(wù)的精度和性能。本文針對當(dāng)前基于Web挖掘的智能電子商務(wù)網(wǎng)站中存在的問題，設(shè)計(jì)了一個(gè)組件化的多層次的體系結(jié)構(gòu)框架，提出了利用新的Web數(shù)據(jù)源模型統(tǒng)一事件模型作為

4、基礎(chǔ)，設(shè)計(jì)個(gè)性化、推薦、預(yù)取、規(guī)則求精等方面的智能算法，為網(wǎng)上用戶提供比現(xiàn)有電子商務(wù)網(wǎng)站更具人性化特色和成功率更高的智能服務(wù)。本論文的創(chuàng)新主要體現(xiàn)在：(1)提出了一種基于應(yīng)用層記錄的統(tǒng)一事件模型UEM。該模型提供方便和精確的數(shù)據(jù)源搜集方式，搜集的數(shù)據(jù)內(nèi)容齊全，提供Web挖掘算法分析所需要的數(shù)據(jù)。UEM的準(zhǔn)確、快速的用戶識(shí)別和會(huì)話識(shí)別算法為Web使用挖掘算法提供了準(zhǔn)確的數(shù)據(jù)源。UEM可擴(kuò)充性好，可以根據(jù)需要很方便地增加各種的電子商務(wù)行為的

5、數(shù)據(jù)記錄。UEM能方便地把用戶會(huì)話的結(jié)果轉(zhuǎn)化為事件序列庫，供Web挖掘算法使用。UEM很好地支持多維多層次的Web使用挖掘算法分析。新的Web數(shù)據(jù)源模型的提出，為智能電子商務(wù)站點(diǎn)提供了高質(zhì)量的數(shù)據(jù)源，進(jìn)而提高智能服務(wù)的質(zhì)量?！　?2)通過改進(jìn)的信任函數(shù)公式和啟發(fā)式聚類方法，提出了基于用戶任務(wù)級的Web用戶聚類算法UTC，發(fā)現(xiàn)每簇用戶群共同的訪問模式。UTC將頻繁特征子序列視為任務(wù)，使用信任函數(shù)進(jìn)行基于用戶任務(wù)級的用戶聚類挖掘?；谟脩?/p>

6、級的挖掘能有效地挖掘同組用戶共同的訪問模式且具有較好的性能；基于任務(wù)級的挖掘具有較好的語義涵義且具有較好的性能。該算法有效地挖掘用戶群的訪問模式，為智能電子商務(wù)站點(diǎn)提供更高質(zhì)量的個(gè)性化、推薦等智能服務(wù)。　　(3)提出一種基于Markov樹的混合階Markov樹預(yù)取算法HOMT，發(fā)現(xiàn)用戶訪問轉(zhuǎn)移模式，同時(shí)進(jìn)行快速的在線預(yù)取。HOMT使用一個(gè)模式樹壓縮存儲(chǔ)所有的Web訪問序列和一種逐階增量更新方法來創(chuàng)建所有階的Markov模式樹?；旌想A算

7、法綜合考慮Markov模型各階對預(yù)取的影響，具有高覆蓋率和高精確率。利用離線產(chǎn)生的預(yù)取樹，HOMT在線使用快速預(yù)測算法進(jìn)行用戶訪問預(yù)測，從而進(jìn)行高性能的預(yù)取。該算法有效提高了電子商務(wù)中Web預(yù)取等智能服務(wù)的質(zhì)量，減少用戶的延時(shí)感受?！　?4)提出了Web拓?fù)涓怕誓Ｐ秃陀腥りP(guān)聯(lián)規(guī)則算法IAR，結(jié)合商品目錄(網(wǎng)絡(luò)拓?fù)涞?，對挖掘出的關(guān)聯(lián)規(guī)則進(jìn)行有趣度評價(jià)，得出有趣度高的規(guī)則，即規(guī)則求精。進(jìn)一步改進(jìn)了IAR算法，提出了一種矩陣迭代的規(guī)則求精

8、算法WTPM，快速迭代求解任意兩個(gè)頁面間的關(guān)聯(lián)概率。規(guī)則求精能對知識(shí)庫進(jìn)行有效管理，提高了知識(shí)的利用率，進(jìn)而提高智能服務(wù)的質(zhì)量和性能?！　?5)充分結(jié)合多功能數(shù)據(jù)挖掘器(MFDM)，設(shè)計(jì)并實(shí)現(xiàn)多層體系架構(gòu)的智能商品信息分析決策網(wǎng)站的原型系統(tǒng)MyEShop，作為具有自主知識(shí)產(chǎn)權(quán)的Ego網(wǎng)絡(luò)購物引擎系統(tǒng)的一部分。Ego系統(tǒng)采用搜索技術(shù)自動(dòng)在網(wǎng)上搜索商品信息，并自動(dòng)進(jìn)行信息提取，學(xué)習(xí)用戶興趣，進(jìn)行個(gè)性化、推薦、預(yù)取等智能服務(wù)。目前，國內(nèi)外極