基于頻繁項(xiàng)集的互補(bǔ)替代關(guān)系挖掘算法.pdf

1、20世紀(jì)80年代以來(lái),隨著數(shù)據(jù)庫(kù)和信息技術(shù)的發(fā)展與廣泛應(yīng)用,各個(gè)應(yīng)用領(lǐng)域均累積了海量的數(shù)據(jù),且數(shù)據(jù)呈幾何級(jí)數(shù)增長(zhǎng)。而存儲(chǔ)在大型數(shù)據(jù)庫(kù)中的海量數(shù)據(jù)包含了大量的、有利于決策者作出英明判斷的信息。但是由于缺乏強(qiáng)有力的數(shù)據(jù)分析工具,這些數(shù)據(jù)就變成了無(wú)人問(wèn)津的“數(shù)據(jù)墳?zāi)埂薄＿@樣,基于直覺(jué)和經(jīng)驗(yàn)的決策者往往不能做出有利于應(yīng)用領(lǐng)域的決定,使得這些包含有價(jià)值的數(shù)據(jù)無(wú)法發(fā)揮它們應(yīng)有的決策指導(dǎo)作用。如何從海量數(shù)據(jù)集中提取出有利于商務(wù)決策的信息成為各個(gè)領(lǐng)域的

2、需求,在這種情況下,數(shù)據(jù)挖掘應(yīng)運(yùn)而生,從不同的角度以不同的形式為商務(wù)策略、科學(xué)等各領(lǐng)域提供依據(jù),推動(dòng)了信息技術(shù)的迅猛發(fā)展。
　　 本文研究的兩項(xiàng)工作:
　　 首先,頻繁項(xiàng)集挖掘作為關(guān)聯(lián)規(guī)則產(chǎn)生的首要步驟,其挖掘效率的高低直接影響著關(guān)聯(lián)規(guī)則產(chǎn)生的總體效率。而數(shù)據(jù)集掃描次數(shù)和支持?jǐn)?shù)計(jì)算效率一直是影響頻繁項(xiàng)集挖掘的主要因素。本文以shariq bashir提出的TOP-N閉頻繁項(xiàng)挖掘算法為基礎(chǔ),利用位向量映射技術(shù),提出了基于索

3、引的頻繁項(xiàng)集挖掘算法。該算法用位向量表示數(shù)據(jù)集,僅需一次掃描數(shù)據(jù)集。頻繁項(xiàng)集的挖掘過(guò)程采用集合枚舉樹的節(jié)點(diǎn)構(gòu)造過(guò)程來(lái)表示,在創(chuàng)建節(jié)點(diǎn)枚舉項(xiàng)的尾項(xiàng)支持?jǐn)?shù)時(shí),利用枚舉項(xiàng)集的位索引,計(jì)算枚舉項(xiàng)合并形成的新項(xiàng)集的支持?jǐn)?shù),同時(shí)引入廣度擴(kuò)展剪枝和區(qū)域索引跳過(guò)策略,從而快速地挖掘出頻繁項(xiàng),有效地提高了算法的執(zhí)行效率;實(shí)驗(yàn)結(jié)果表明,該算法在稀疏數(shù)據(jù)集上有很高的運(yùn)行效率。
　　 其次,由于挖掘出的頻繁項(xiàng)集可能包含大量的用戶不感興趣的規(guī)則,同時(shí)如果

4、沒(méi)有進(jìn)一步的分析或領(lǐng)域知識(shí),頻繁項(xiàng)集并不能直接用于預(yù)測(cè)。如何消除頻繁項(xiàng)集中用戶不感興趣的頻繁項(xiàng)是頻繁項(xiàng)集用于指導(dǎo)實(shí)踐的瓶頸。所以,本文在基于索引的頻繁項(xiàng)集挖掘算法基礎(chǔ)上,本文又提出基于頻繁項(xiàng)集的互補(bǔ)替代關(guān)系挖掘算法。該算法通過(guò)對(duì)已挖掘出的各頻繁項(xiàng)集中的頻繁項(xiàng)進(jìn)行相關(guān)性計(jì)算,挖掘出頻繁項(xiàng)之間的互補(bǔ)替代關(guān)系,去除噪聲數(shù)據(jù)的影響,以圖形的方式顯式地向決策者展示出各個(gè)頻繁項(xiàng)之間的互補(bǔ)(或替代)性,更便于決策者做出準(zhǔn)確、合理的判斷。實(shí)驗(yàn)表明,CA