眾包系統(tǒng)偏置標(biāo)注問題研究.pdf

1、近年來隨著諸如Amazon Mechanical Turk等眾包系統(tǒng)的出現(xiàn)，很多無法通過機(jī)器智能完成的任務(wù)可以通過這種微型外包的方式交由在線用戶手工完成。機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域也從中受益，大量的樣本標(biāo)注任務(wù)由傳統(tǒng)的耗時費(fèi)力的專家標(biāo)注方式轉(zhuǎn)變?yōu)楸姲鼧?biāo)注，加快了數(shù)據(jù)更新和模型迭代的速度。然而，由于眾包標(biāo)注者的標(biāo)注質(zhì)量無法保證，使得利用眾包標(biāo)注數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)面臨巨大挑戰(zhàn)。因此，如何利用多噪聲標(biāo)簽進(jìn)行機(jī)器學(xué)習(xí)具有重要的研究與應(yīng)用價值。本文從廣

2、泛存在的偏置標(biāo)注問題著手，主要研究內(nèi)容如下:
　　(1)從眾包系統(tǒng)數(shù)據(jù)質(zhì)量和模型質(zhì)量的概念以及偏置標(biāo)注問題的定義出發(fā)，理論上分析了偏置標(biāo)注對大多數(shù)眾包系統(tǒng)中使用的多數(shù)投票策略所產(chǎn)生的影響。然后，對大量來自于眾包系統(tǒng)的實(shí)際數(shù)據(jù)進(jìn)行分析，揭示出偏置標(biāo)注問題的普遍性，并分析產(chǎn)生偏置標(biāo)注的原因。最后，在幾個典型的偏置標(biāo)注數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分析了基于期望最大化的算法的真值推理性能，從而得出偏置標(biāo)注問題使得基于期望最大化算法性能退化的結(jié)論。<

3、br>　　(2)針對二分類偏置標(biāo)注問題，提出一種基于自動閾值估計的正標(biāo)簽頻率閾值算法PLAT。該算法只依賴于每個樣本的多噪聲標(biāo)簽集中正負(fù)標(biāo)簽的分布，無需標(biāo)注者質(zhì)量、底層數(shù)據(jù)分布、以及偏置水平等先驗(yàn)知識。它能夠自動估計正負(fù)類劃分的閾值并進(jìn)行真值推理。在人工合成數(shù)據(jù)集上的模擬和真實(shí)眾包數(shù)據(jù)集上的實(shí)驗(yàn)顯示PLAT算法不但能在偏置標(biāo)注環(huán)境下進(jìn)行真值推理并構(gòu)建質(zhì)量較高的學(xué)習(xí)模型，在非偏置標(biāo)注環(huán)境下該算法也能夠具備和當(dāng)前算法相當(dāng)?shù)男阅堋?br>　　

4、(3)利用眾包系統(tǒng)進(jìn)行樣本標(biāo)注是一個動態(tài)過程，學(xué)習(xí)模型的構(gòu)建符合主動學(xué)習(xí)的視角。針對偏置標(biāo)注中主動學(xué)習(xí)問題，提出一種新型的主動學(xué)習(xí)框架。該框架包含兩個核心過程:標(biāo)簽真值推理和樣本選擇。在標(biāo)簽真值推理過程中，使用PLAT算法推理訓(xùn)練數(shù)據(jù)集中每個帶有多噪聲標(biāo)注集的樣本的集成標(biāo)簽。在樣本選擇過程中，提出三種基于不確定度量的樣本選擇策略來提升模型學(xué)習(xí)的性能。這三種不確定度度量標(biāo)準(zhǔn)分別基于多噪聲標(biāo)簽集和偏置程度(MLSI)，基于學(xué)習(xí)模型和偏置程度

5、(CMPI)，以及前兩者的混合策略(CFI)。在具有不同底層數(shù)據(jù)分布的多個數(shù)據(jù)集上的模擬和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)顯示CFI具有最好的性能。
　　(4)針對多分類標(biāo)注環(huán)境下偏置標(biāo)注問題提出一種模糊化處理偏置標(biāo)注的新算法GTIC。該算法通過聚類來提升從多個不確定標(biāo)注者獲得集成標(biāo)簽的性能。對于一個K分類標(biāo)注問題，GTIC利用每個樣本的多噪聲標(biāo)簽集生成其概念層聚類特征。然后，使用經(jīng)典的K-Means聚類算法將所有樣本聚成K個不同的簇。每個簇對