WEB日志和子空間聚類挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是指從數(shù)據(jù)中尋找正確的、有趣的、潛在有用的并最終可以理解的模式。隨著信息技術(shù)在各個(gè)領(lǐng)域的普及，在各種應(yīng)用中每天都有海量的數(shù)據(jù)被產(chǎn)生和收集，特別是在WEB 應(yīng)用、自然科學(xué)、電子商務(wù)等生產(chǎn)生活相關(guān)的應(yīng)用領(lǐng)域中產(chǎn)生了大量復(fù)雜的數(shù)據(jù)集，如何幫助用戶快速有效地從這些數(shù)據(jù)集中獲取知識(shí)是一個(gè)迫切需要解決的問(wèn)題。因此，根據(jù)實(shí)際應(yīng)用的需要和不同領(lǐng)域數(shù)據(jù)的特點(diǎn)，構(gòu)造有效的海量和高維數(shù)據(jù)挖掘算法有著非常重要的理論和實(shí)際意義。 在基于WEB日志

2、的查詢?cè)~翻譯方面，在分析用戶和搜索引擎進(jìn)行交互生成的WEB日志的特點(diǎn)的基礎(chǔ)上，利用WEB日志作為查詢?cè)~翻譯的語(yǔ)料庫(kù)?；赪EB日志的查詢?cè)~翻譯挖掘的框架MTQC 充分利用雙語(yǔ)言URL的對(duì)應(yīng)關(guān)系以及URL和查詢?cè)~的關(guān)聯(lián)關(guān)系，分兩步完成挖掘：首先識(shí)別雙語(yǔ)言的URL 對(duì)，然后匹配查詢?cè)~翻譯對(duì)。挖掘算法MTQC-1和MTQC-2 建立在這個(gè)框架之上，算法具有一些優(yōu)良的性質(zhì)：能夠找到一些字典中沒(méi)有出現(xiàn)的詞的翻譯；能夠提取與目標(biāo)語(yǔ)言的翻譯語(yǔ)義相關(guān)的

3、查詢?cè)~，有助于跨語(yǔ)言信息檢索；不需要下載網(wǎng)頁(yè)；直接從WEB日志中找出查詢?cè)~的翻譯，不需要分詞和識(shí)別短語(yǔ)邊界，減少了識(shí)別錯(cuò)誤導(dǎo)致翻譯錯(cuò)誤的風(fēng)險(xiǎn)，簡(jiǎn)化了翻譯的過(guò)程；能夠及時(shí)地反映最新、最流行的查詢?cè)~，避免多義詞的選擇。 在大規(guī)模、真實(shí)的WEB日志上進(jìn)行實(shí)驗(yàn)，結(jié)果表明與流行的查詢?cè)~翻譯方法相比，MTQC-1和MTQC-2在翻譯字典中不存在的查詢?cè)~和常見(jiàn)的查詢?cè)~方面具有優(yōu)越性。 在基于樣式相似性的最大子空間聚類方面，傳統(tǒng)子空間聚

4、類算法不能挖掘基于樣式相似性的聚類，且已有的基于樣式相似性的聚類算法多存在不足之處?；跇邮较嗨菩缘淖畲笞涌臻g聚類算法EMaPle 是一種新的挖掘同時(shí)滿足一致性約束、大小約束和符號(hào)約束的算法。它結(jié)合基因表達(dá)數(shù)據(jù)的特點(diǎn)，選擇僅在規(guī)模較小的屬性空間上計(jì)算MDSc，采用全局修剪規(guī)則修剪生成的MDSc，在對(duì)修剪后的MDSc 產(chǎn)生的前綴樹(shù)上進(jìn)行深度優(yōu)先遍歷的同時(shí)，運(yùn)用局部的修剪規(guī)則對(duì)屬性和子樹(shù)進(jìn)行修剪。 在真實(shí)和人造數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果

5、表明EMaPle的性能大大優(yōu)于經(jīng)典算法MaPle。 在子空間Skyline聚類方面，強(qiáng)調(diào)在高維空間的任意子空間上更好地組織Skyline查詢的結(jié)果，增加結(jié)果集的可控性，提高用戶的決策效率。在分析高維數(shù)據(jù)空間的子空間Skyline 查詢存在的困難的基礎(chǔ)上，設(shè)計(jì)一種新穎而緊湊的結(jié)構(gòu)—子空間Skyline 簇，通過(guò)在Skyline 查詢中引入聚類算法，巧妙地結(jié)合子空間Skyline 查詢的優(yōu)點(diǎn)和聚類技術(shù)各自的優(yōu)點(diǎn)。在一般的Skylin