選擇性模型IB算法的研究.pdf

1、IB(InformationBottleneck)方法起源于率失真理論，是一種有效解決復雜優(yōu)化問題中數(shù)據(jù)壓縮和信息保存的方法學。在機器學習領域中，IB方法多用于模式提取，并形成了多個版本的IB算法。在模式提取時，IB方法會對所有數(shù)據(jù)對象進行分析，然而在實際應用中，數(shù)據(jù)對象中蘊含模式信息的明確度均有不同，弱相關或無關數(shù)據(jù)的分析不利于模式提取，從而導致IB方法挖掘到的數(shù)據(jù)模式精度低，或挖掘不到隱藏數(shù)據(jù)模式。
　　 本文針對IB方法中

2、存在的上述問題，提出一種選擇性模型SLIB模型及其對應的目標函數(shù)和優(yōu)化算法。數(shù)據(jù)集往往存在一些模式結構不明確的數(shù)據(jù)對象，IB對其分析時不僅信息損失較大，且易使數(shù)據(jù)模式偏離數(shù)據(jù)固有結構。因此，SLIB模型僅分析信息損失小且具有較強模式結構特征的數(shù)據(jù)對象，而過濾掉模式結構不明確的數(shù)據(jù)對象。與以往IB目標函數(shù)不同，SLIB模型的目標函數(shù)不但可實現(xiàn)對數(shù)據(jù)的選擇性分析，而且適用于共現(xiàn)數(shù)據(jù)和歐氏空間數(shù)據(jù)。通過使用一種順序的“抽取—合并”方法優(yōu)化該目

3、標函數(shù)，SLIB算法的“邊學習，邊選擇”迭代過程可快速收斂到一個局部優(yōu)化解。在二維人工數(shù)據(jù)集、歐氏空間數(shù)據(jù)集和共現(xiàn)數(shù)據(jù)集上的實驗結果表明:SLIB算法可發(fā)現(xiàn)線性及非線性劃分，且在確保高召回率的同時，所挖掘的數(shù)據(jù)模式精度更高，并能挖掘到原IB算法所不能挖掘到的數(shù)據(jù)模式。
　　 IB方法在諸多領域都得以成功的應用，而本文提出的SLIB算法更可應用于信息檢索，且實驗表明其能更有效地搜索高精度結果。此外，本文提出的SLIB算法較原IB算