非監(jiān)督知識(shí)發(fā)現(xiàn)過(guò)程中若干關(guān)鍵問(wèn)題研究.pdf

1、近年來(lái),以計(jì)算機(jī)和通信為代表的信息技術(shù)得到迅猛發(fā)展,各個(gè)行業(yè)產(chǎn)生并累積了大量數(shù)據(jù),迫切需要使用知識(shí)發(fā)現(xiàn)方法從中挖掘出有價(jià)值的新穎知識(shí).目前的知識(shí)發(fā)現(xiàn)研究中,傳統(tǒng)的線性預(yù)處理技術(shù)如PCA、CMDS等方法不能有效的處理非線性、強(qiáng)相關(guān)的高維數(shù)據(jù),有較大的應(yīng)用局限性；在數(shù)據(jù)挖掘過(guò)程中,基于密度的聚類方法往往存在著全局密度閾值的限制,對(duì)輸入?yún)?shù)較為敏感等缺陷.本文針對(duì)當(dāng)前研究中存在的問(wèn)題,分別研究并提出了相應(yīng)的解決方法,最后研究了這些方法在高維文

2、本處理中的應(yīng)用. 針對(duì)數(shù)據(jù)預(yù)處理問(wèn)題,本文提出了一種新的流形學(xué)習(xí)方法--可預(yù)知增量式嵌入PrePIE算法.該方法將全局優(yōu)化方法和局域自組織原理相結(jié)合,在局域優(yōu)化嵌入的基礎(chǔ)上逼近全局優(yōu)化的流形重構(gòu)質(zhì)量,從錨點(diǎn)集選擇方法、錨點(diǎn)集嵌入方式、全局點(diǎn)集嵌入方式三個(gè)方面提高了低維嵌入流形的重構(gòu)質(zhì)量,提高了流形低維嵌入的穩(wěn)定性和可用性. 在數(shù)據(jù)挖掘階段,本文針對(duì)當(dāng)前基于密度的聚類知識(shí)發(fā)現(xiàn)方法存在的全局密度閾值限制,提出了基于局域密度分

3、布自適應(yīng)調(diào)整鄰域半徑的算法CABDET. 該算法首先確立了簇內(nèi)對(duì)象之間的鄰接關(guān)系,通過(guò)考察父節(jié)點(diǎn)的局域密度狀況動(dòng)態(tài)調(diào)整當(dāng)前節(jié)點(diǎn)的鄰域半徑,反復(fù)尋找各自的子節(jié)點(diǎn),直到不能找到新的子節(jié)點(diǎn)時(shí)停止.CABDET 算法不受全局密度閾值的限制,能夠發(fā)現(xiàn)任意形狀的簇,對(duì)參數(shù)的敏感性弱,能有效處理噪音數(shù)據(jù). 然而,CABDET算法存在執(zhí)行時(shí)間長(zhǎng)和小參數(shù)設(shè)置下的簇分裂現(xiàn)象.對(duì)此,本文又提出了一種基于局域計(jì)算的層次化密度樹(shù)聚類方法LOCHD

4、ET.該算法通過(guò)預(yù)先指定局域計(jì)算系數(shù)將對(duì)象之間的相似性計(jì)算從全局轉(zhuǎn)換到局域,大幅度提高了算法的執(zhí)行效率,并對(duì)稀疏的相似矩陣實(shí)現(xiàn)了基于行的壓縮.實(shí)驗(yàn)結(jié)果表明,在二維正態(tài)分布的測(cè)試集上,LOCHDET'算法對(duì)CABDET算法的時(shí)間加速比在6～8之間.此外,LOCHDET算法采用層次化的聚類方法,將滿足一定條件的簇合并,顯著提高了聚類質(zhì)量,解決了CABDET算法中存在的簇分裂現(xiàn)象. 本文討論了LOCHDET算法的模式發(fā)現(xiàn)能力及模式評(píng)估