基于“合作—參與”計算認知模型的半監(jiān)督學習算法研究與應用.pdf

1、機器學習是數據挖掘和模式識別的核心研究內容之一，近年來隨著互聯網和信息技術的發(fā)展，海量數據迅速積累。監(jiān)督學習需要大量帶標記數據做訓練集，以保證所得假設的泛化能力。但在計算機輔助醫(yī)學圖像診斷等實際應用中，對數據進行人工標記的代價很高，容易獲取的是大量無標記數據。無監(jiān)督學習屬于無任何監(jiān)督信息的自動學習,雖不需要帶標記數據,但所得模型卻不夠精確。因此,將少量帶標記數據和大量無標記數據結合的半監(jiān)督學習成為研究熱點。
　　現有半監(jiān)督學習算法

2、嘗試利用大量無標記數據提供的額外信息引導學習過程、提高學習性能。然而，現有算法通過自動方式從無標記數據中獲取的額外信息中既包含有用信息也包括誤導信息。有用信息將使學習性能提高，而不可避免的誤導信息則會使學習性能降低。因此，半監(jiān)督學習中無標記數據使用的安全性成為提高學習性能亟待解決的挑戰(zhàn)。此外，在實際大規(guī)模數據學習任務中使用現有基于內存、串行執(zhí)行的半監(jiān)督學習算法時，大規(guī)模無標記數據的加載和計算，會形成存儲和計算效率瓶頸，制約其應用。

3、>　　針對半監(jiān)督學習中無標記數據使用的安全性挑戰(zhàn)，本文首先構建符合人類半監(jiān)督學習特征的計算認知模型，然后基于該計算認知模型，重點研究半監(jiān)督學習算法中無標記數據額外信息中誤導信息和有用信息的甄別與自適應選擇、利用方法，以解決半監(jiān)督學習的安全性問題。此外，將半監(jiān)督學習算法應用于CT圖像肺結節(jié)診斷大規(guī)模學習任務時，探索利用MapReduce并行計算模式，實現半監(jiān)督學習算法在PC機集群上的并行執(zhí)行，以適應大規(guī)模數據集上的可擴展要求。本文的主要研

4、究成果包括：
　?。?）提出一種用于提高半監(jiān)督學習安全性的“合作-參與”計算認知模型本文借鑒認知心理學研究成果，抽象出符合人類群體相互學習特征的合作學習（collaborative learning）計算模型；同時，將符合人類個體自我學習特征的參與學習（participatory learning）計算模型作為合作學習模型中每個對等學習器的計算模型，構建出符合人類半監(jiān)督學習特征的“合作-參與”計算認知模型。該計算模型的核心是共享知

5、識池、接受組件和評價組件。共享知識池的更新和使用機制決定無標記數據中額外信息的發(fā)掘和使用策略；接受組件內接受機制對從共享知識池中獲取的無標記數據額外信息進行甄別；評價組件通過喚醒機制對接受組件的有效性進行評測、并屏蔽接受機制對額外信息的錯誤甄別。本文利用該計算認知模型對Co-training式半監(jiān)督學習算法剖析，得出提高半監(jiān)督學習安全性的策略為：在現有算法利用共享知識池使用無標記數據額外信息基礎上，通過引入接受組件和評價組件，對額外信息

6、中誤導信息進行有效識別和過濾。
　　（2）提出一種“合作-參與”模型指導的半監(jiān)督聚類算法
　　半監(jiān)督聚類算法常用有限的帶標記數據組成seeds集對聚類中心初始化，以提高其在全體數據集上的聚類性能，研究表明seeds集的規(guī)模和質量都直接影響半監(jiān)督聚類算法的性能。本文基于“合作-參與”模型，提出一種從大量無標記數據中自動獲取大規(guī)模、高質量seeds集的半監(jiān)督聚類新算法。首先“合作-參與”計算模型中知識池共享機制采用三個分類器間T

7、ri-training迭代訓練過程，接受組件的接收機制定義為基于最近鄰規(guī)則(Nearest Neighbor Rule)的Depuration數據剪輯技術。本文新算法在用seeds集初始化聚類中心前，利用Tri-training的迭代訓練過程對無標記數據進行標記，并加入共享知識池，以擴大seeds集規(guī)模，同時，在Tri-training訓練過程中由接受組件內Depuration數據剪輯技術對seeds集擴大過程中產生的誤標記數據進行修正

8、、凈化，以提高seeds集質量。實驗表明本文提出的“合作-參與”模型指導的半監(jiān)督聚類新算法能有效改善seeds集對聚類中心的初始化效果，提高聚類性能。
　?。?）提出“合作-參與”模型指導的Co-training式半監(jiān)督分類算法
　　基于多分類器集成的Co-training式半監(jiān)督分類算法，由初始帶標記數據訓練N(N>2)個分類器，然后利用N-1個分類器組成的集成學習器對無標記數據標記，為第 N個分類器重新訓練提供所需的額外

9、信息。然而，由于初始帶標記數據很少，不足以訓練出高精度分類器，所以集成學習器提供的額外信息中包含相當數量的誤標記數據是不可避免的（即成為誤導信息）。為提高無標記數據使用的安全性，本文通過在Co-training迭代過程中引入“合作-參與”模型的接受組件和評價組件，實現自適應地對誤標記數據進行識別和移除，保證不同情形下所得假設的泛化性能。具體地，接受組件內接受機制定義為對新標記數據的RemoveOnly數據剪輯操作；評價組件內喚醒機制在對

10、RemoveOnly剪輯操作正面和負面效應進行量化測度基礎上，通過自適應策略控制RemoveOnly的觸發(fā)與抑制。本文以三分類器Tri-training算法和多決策樹Co-Forest算法為研究對象，分別提出相應的半監(jiān)督分類新算法，稱為基于自適應剪輯策略的Tri-training算法和基于自適應剪輯策略的Co-Forest算法。實驗表明兩種新算法具有更好分類泛化性能。
　?。?）半監(jiān)督分類新算法中自適應剪輯策略保證泛化能力提高的理

11、論證明本文提出的兩種基于自適應剪輯策略半監(jiān)督分類算法中，自適應策略定義為一系列判定剪輯操作觸發(fā)的充分條件的組合。本文以定理形式給出不同情形下剪輯操作觸發(fā)的充分條件,并證明這些充分條件在PAC可學習理論框架下,能夠保證新訓練集規(guī)模迭代增大同時確保剪輯操作的觸發(fā)能使所得假設的分類錯誤率降低更多。
　?。?）提出對大規(guī)模數據集分塊計算的MapReduce并行化半監(jiān)督算法
　　針對大規(guī)模數據實際應用情形下，串行半監(jiān)督學習算法的存儲和