選擇性模型IB算法的研究.pdf

1、IB(InformationBottleneck)方法起源于率失真理論，是一種有效解決復(fù)雜優(yōu)化問(wèn)題中數(shù)據(jù)壓縮和信息保存的方法學(xué)。在機(jī)器學(xué)習(xí)領(lǐng)域中，IB方法多用于模式提取，并形成了多個(gè)版本的IB算法。在模式提取時(shí)，IB方法會(huì)對(duì)所有數(shù)據(jù)對(duì)象進(jìn)行分析，然而在實(shí)際應(yīng)用中，數(shù)據(jù)對(duì)象中蘊(yùn)含模式信息的明確度均有不同，弱相關(guān)或無(wú)關(guān)數(shù)據(jù)的分析不利于模式提取，從而導(dǎo)致IB方法挖掘到的數(shù)據(jù)模式精度低，或挖掘不到隱藏?cái)?shù)據(jù)模式。
　　 本文針對(duì)IB方法中

2、存在的上述問(wèn)題，提出一種選擇性模型SLIB模型及其對(duì)應(yīng)的目標(biāo)函數(shù)和優(yōu)化算法。數(shù)據(jù)集往往存在一些模式結(jié)構(gòu)不明確的數(shù)據(jù)對(duì)象，IB對(duì)其分析時(shí)不僅信息損失較大，且易使數(shù)據(jù)模式偏離數(shù)據(jù)固有結(jié)構(gòu)。因此，SLIB模型僅分析信息損失小且具有較強(qiáng)模式結(jié)構(gòu)特征的數(shù)據(jù)對(duì)象，而過(guò)濾掉模式結(jié)構(gòu)不明確的數(shù)據(jù)對(duì)象。與以往IB目標(biāo)函數(shù)不同，SLIB模型的目標(biāo)函數(shù)不但可實(shí)現(xiàn)對(duì)數(shù)據(jù)的選擇性分析，而且適用于共現(xiàn)數(shù)據(jù)和歐氏空間數(shù)據(jù)。通過(guò)使用一種順序的“抽取—合并”方法優(yōu)化該目

3、標(biāo)函數(shù)，SLIB算法的“邊學(xué)習(xí)，邊選擇”迭代過(guò)程可快速收斂到一個(gè)局部?jī)?yōu)化解。在二維人工數(shù)據(jù)集、歐氏空間數(shù)據(jù)集和共現(xiàn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:SLIB算法可發(fā)現(xiàn)線(xiàn)性及非線(xiàn)性劃分，且在確保高召回率的同時(shí)，所挖掘的數(shù)據(jù)模式精度更高，并能挖掘到原IB算法所不能挖掘到的數(shù)據(jù)模式。
　　 IB方法在諸多領(lǐng)域都得以成功的應(yīng)用，而本文提出的SLIB算法更可應(yīng)用于信息檢索，且實(shí)驗(yàn)表明其能更有效地搜索高精度結(jié)果。此外，本文提出的SLIB算法較原IB算