高效用項(xiàng)集動(dòng)態(tài)挖掘算法的研究.pdf

1、隨著數(shù)據(jù)庫(kù)網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，數(shù)據(jù)存儲(chǔ)量的大幅度提升，導(dǎo)致數(shù)據(jù)不再是靜止的，而是逐漸累積、變化的。不同于傳統(tǒng)的效用挖掘，事務(wù)集里的數(shù)據(jù)會(huì)隨著時(shí)間而改變，更新后的數(shù)據(jù)相比之前更加重要，如何正確的考慮這些變化因素并快速地挖掘出真實(shí)有用的信息和知識(shí)，對(duì)效用挖掘的研究提出了更嚴(yán)格的要求和挑戰(zhàn)。
　　本文的主要研究?jī)?nèi)容是針對(duì)效用挖掘研究中動(dòng)態(tài)式更新挖掘這一問(wèn)題，分析得到傳統(tǒng)的增量更新算法需逐層迭代，多次掃描數(shù)據(jù)庫(kù)以及產(chǎn)生規(guī)模巨大的候選項(xiàng)集，

2、開(kāi)銷(xiāo)巨大，且只能處理事務(wù)集的增加，不能有效處理事務(wù)集的修改和刪除。由此本文從如何提高高效用項(xiàng)集動(dòng)態(tài)挖掘算法性能的角度出發(fā)，主要開(kāi)展了下列研究：
　　(1)分析了典型高效用項(xiàng)集挖掘算法的優(yōu)劣，針對(duì)原有的效用增量挖掘不能有效處理事務(wù)集的刪除和修改的問(wèn)題，基于pre-large的概念，首先計(jì)算在變化事務(wù)集中每個(gè)事務(wù)的加權(quán)效用變化值，將原始事務(wù)集分為高頻效用項(xiàng)，次頻效用項(xiàng)和低頻效用項(xiàng)，將變化的事務(wù)項(xiàng)集分成負(fù)變化項(xiàng)，零變化項(xiàng)和正變化項(xiàng)，然后

3、對(duì)應(yīng)分成9個(gè)項(xiàng)目集，并理論推導(dǎo)出效用安全閾值。
　　(2)基于次頻繁項(xiàng)集的概念提出PreHU-tree算法挖掘變化事務(wù)集的高效用項(xiàng)集，運(yùn)用事務(wù)效用安全闕值和次頻效用項(xiàng)減少了重復(fù)掃描數(shù)據(jù)庫(kù)的次數(shù)。同時(shí)在prelarge-tree結(jié)構(gòu)的基礎(chǔ)上在節(jié)點(diǎn)上增加事務(wù)加權(quán)效用和前綴項(xiàng)集鏈表構(gòu)成一種新的數(shù)據(jù)結(jié)構(gòu)PreHU-tree，利用PreHU-tree的結(jié)構(gòu)減少了1-頻項(xiàng)生成n-頻項(xiàng)時(shí)產(chǎn)生的大量無(wú)用候選頻項(xiàng)，結(jié)合前綴項(xiàng)集鏈表中的項(xiàng)集支持度和項(xiàng)

4、的外部效用挖掘變化式高效用項(xiàng)集，避免了非高效用項(xiàng)集的生成，同時(shí)利用效用閾值來(lái)進(jìn)行剪枝，有效地減少了搜索空間。
　　(3)針對(duì)PreHU-tree算法在挖掘長(zhǎng)事務(wù)集時(shí)前綴項(xiàng)集鏈表中的子項(xiàng)會(huì)生成大量重復(fù)子集的問(wèn)題，提出了一種動(dòng)態(tài)挖掘高效用項(xiàng)集的混合算法 Mix-PreHU，它采用PreHU-tree算法進(jìn)行短事務(wù)集挖掘，長(zhǎng)事務(wù)集挖掘則通過(guò)優(yōu)化的相交法生成子集，避免了從前綴項(xiàng)集鏈表中重復(fù)產(chǎn)生相同子集的問(wèn)題。實(shí)驗(yàn)證明Mix-PreHU算法