多源環(huán)境中數(shù)據(jù)預(yù)處理與模式挖掘的研究.pdf

1、隨著數(shù)據(jù)庫、網(wǎng)絡(luò)以及各種信息技術(shù)的迅猛發(fā)展，許多實(shí)際應(yīng)用領(lǐng)域如:傳感器網(wǎng)絡(luò)、商業(yè)交易、社會(huì)媒體分析等數(shù)據(jù)的描述信息變得越來越多，產(chǎn)生了一種海量、多源和異構(gòu)表現(xiàn)形式的數(shù)據(jù)。這些多源異構(gòu)數(shù)據(jù)蘊(yùn)含著豐富的知識(shí)和有用的信息。然而，由于多數(shù)據(jù)源具有異構(gòu)性、自治性、復(fù)雜性、不一致性等特征，使得傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)面臨著巨大的挑戰(zhàn)。因此，開展多數(shù)據(jù)源環(huán)境`標(biāo)簽傳播、數(shù)據(jù)源質(zhì)量評(píng)估、模式挖掘等知識(shí)挖掘研究具有重要的研究與應(yīng)用價(jià)值。本文主要研究內(nèi)容如下:<

2、br>　　1)由于數(shù)據(jù)源之間結(jié)構(gòu)的不一致性，很難將多個(gè)數(shù)據(jù)源直接整合成單一數(shù)據(jù)源進(jìn)行學(xué)習(xí)。在充分利用有標(biāo)簽數(shù)據(jù)源的標(biāo)簽信息與無標(biāo)簽數(shù)據(jù)源的內(nèi)部結(jié)構(gòu)信息基礎(chǔ)上，分別提出了全局一致化和局部一致化兩種標(biāo)簽傳播方法，利用此兩種方法使無標(biāo)簽數(shù)據(jù)源的數(shù)據(jù)樣本具有類標(biāo)簽。再次基礎(chǔ)上，構(gòu)建多數(shù)據(jù)源的集成學(xué)習(xí)方法，從分類精度、魯棒性和擴(kuò)展性等三方面驗(yàn)證了所提算法的有效性。另外，實(shí)驗(yàn)結(jié)果表明當(dāng)無標(biāo)簽數(shù)據(jù)源較多時(shí)，局部一致化的標(biāo)簽傳播方法效果優(yōu)于全局一致化的

3、標(biāo)簽傳播方法。
　　2)面對(duì)多數(shù)據(jù)源進(jìn)行學(xué)習(xí)時(shí)，多數(shù)據(jù)源中可能存在無關(guān)的或冗余的數(shù)據(jù)源。從數(shù)據(jù)源的重要度和數(shù)據(jù)源間的冗余度出發(fā)，設(shè)計(jì)了一種基于最大重要度最小冗余度的數(shù)據(jù)源質(zhì)量評(píng)估與選擇算法。其中，重要度表示一個(gè)數(shù)據(jù)源對(duì)分類的貢獻(xiàn)程度，冗余度表示不同數(shù)據(jù)源之間蘊(yùn)含信息的重疊程度。最后，通過選擇前p％個(gè)數(shù)據(jù)源進(jìn)行多數(shù)據(jù)源的集成學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明該度量方法能有效地選擇與任務(wù)相關(guān)的數(shù)據(jù)源。
　　3)商場隨著銷售量的日益增長，存儲(chǔ)了大