基于機(jī)器學(xué)習(xí)的主題Web挖掘技術(shù).pdf

1、隨著網(wǎng)絡(luò)信息資源的急劇增長,人們越來越多地關(guān)注如何快速有效地從海量的網(wǎng)絡(luò)信息中,獲取潛在的、有價(jià)值的信息,使之有效地在管理和決策中發(fā)揮作用.但當(dāng)用戶面對這個(gè)海量、異構(gòu)、半結(jié)構(gòu)化的信息庫時(shí),常常發(fā)現(xiàn)要查找到所需的信息要耗費(fèi)大量的時(shí)間和精力,甚至難以找到,造成了"信息過載、知識(shí)匱乏"的現(xiàn)象.主題Web挖掘是近幾年內(nèi)興起的一個(gè)被廣泛關(guān)注的研究課題.它利用主題頁面在Web上的分布特點(diǎn),根據(jù)用戶或系統(tǒng)定義的目標(biāo)主題,以智能的方法在線爬行Web頁面

2、,收集與目標(biāo)主題相關(guān)的頁面,并對收集到的頁面進(jìn)行智能分析和處理,最后將處理的頁面集合以靈活方便的檢索方式提供給用戶使用.許多項(xiàng)目的研究結(jié)果表明,主題Web挖掘方法能夠保持較高的主題相關(guān)度,提高查詢的精度.這為提高用戶查詢效率,提供了一個(gè)新的研究方向. 本文的貢獻(xiàn)和創(chuàng)新工作主要體現(xiàn)在以下幾個(gè)方面:1.本文研究和分析了Web挖掘技術(shù)和機(jī)器學(xué)習(xí)理論.Web挖掘根據(jù)挖掘?qū)ο蟮牟煌环譃槿?Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘、Web使用記錄

3、挖掘.文中介紹了主題Web挖掘的理論及當(dāng)前的研究現(xiàn)狀,結(jié)合主題Web頁面在網(wǎng)絡(luò)中的分布特征,闡明了進(jìn)行主題Web挖掘的依據(jù)及存在的困難.機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)重要分支,它主要研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,有目的地自動(dòng)增進(jìn)其性能,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能.本中主要研究了機(jī)器學(xué)習(xí)理論,對機(jī)器學(xué)習(xí)的模型、分類、及發(fā)展歷程作了介紹.同時(shí),對機(jī)器學(xué)習(xí)在Web挖掘領(lǐng)域的應(yīng)用前景作了描述.2.

4、Web爬蟲是一類可以通過下載Web頁面、分析頁面內(nèi)容、并跟隨其中的鏈接來遞歸遍歷Web的計(jì)算機(jī)程序.主題Web爬蟲能夠根據(jù)用戶或信息檢索定義的目標(biāo)主題,以智能的方式在線爬行Web,在有限的時(shí)間和空間資源條件下,收集到盡可能多的主題相關(guān)Web頁面.如何有效地控制主題爬蟲爬行策略是影響Web挖掘成功的最重要因素之一.本文結(jié)合機(jī)器學(xué)習(xí)理論,引入反例樣本學(xué)習(xí)理念,提出一種新的主題爬蟲爬行策略.實(shí)驗(yàn)證明該策略能有效的提高查詢的收獲率.3.Web頁