眾包標(biāo)注的學(xué)習(xí)算法研究.pdf

1、隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，當(dāng)今社會進(jìn)入了大數(shù)據(jù)時代。為了提高機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)對數(shù)據(jù)的處理能力，需要快速對海量數(shù)據(jù)進(jìn)行高質(zhì)量的標(biāo)注，以實現(xiàn)對相關(guān)算法模型的訓(xùn)練和應(yīng)用。眾包標(biāo)注是利用眾包技術(shù)對數(shù)據(jù)進(jìn)行標(biāo)注的方法，具有成本低，速度快的特點，因此得到了廣泛的關(guān)注和應(yīng)用。然而，由于參與眾包標(biāo)注的工作者數(shù)量很多，且其專業(yè)背景和工作能力參差不齊，導(dǎo)致收集到的標(biāo)注標(biāo)簽中存在噪聲甚至錯誤，不能直接作為正確的標(biāo)簽使用。為了對眾包標(biāo)注收集

2、到的標(biāo)注標(biāo)簽進(jìn)行過濾和整合以得到正確的標(biāo)簽，需要研究眾包標(biāo)注的學(xué)習(xí)算法。
　　本文從工作者的標(biāo)注行為以及任務(wù)的特征出發(fā)，對眾包標(biāo)注的學(xué)習(xí)算法進(jìn)行研究，主要工作如下:
　　(1)提出基于眾包標(biāo)注標(biāo)簽平衡度的任務(wù)難度評估方法。通過對任務(wù)的眾包標(biāo)注產(chǎn)生的各類標(biāo)簽的規(guī)模進(jìn)行統(tǒng)計分析，定義了該任務(wù)各類標(biāo)簽之間的平衡度，并利用該平衡度，對該任務(wù)的難度進(jìn)行合理的評估。
　　(2)提出基于工作者能力和任務(wù)難度的眾包學(xué)習(xí)算法。針對眾包標(biāo)

3、注過程中收集到的標(biāo)簽，首先利用基于眾包標(biāo)注標(biāo)簽平衡度的任務(wù)難度評估方法得到任務(wù)的難度，再結(jié)合工作者的準(zhǔn)確度和一致度的衡量結(jié)果，對工作者的工作能力進(jìn)行評估，最終根據(jù)各工作者的能力整合出最終的標(biāo)簽，提升眾包標(biāo)注標(biāo)簽的質(zhì)量。
　　(3)提出基于任務(wù)特征的半監(jiān)督眾包學(xué)習(xí)算法。首先對參與眾包標(biāo)注的任務(wù)的特征進(jìn)行聚類，然后在各個聚類簇上，利用部分具有正確標(biāo)簽的任務(wù)，有監(jiān)督地學(xué)習(xí)出工作者在不同類型的任務(wù)特征上的標(biāo)注能力，最后確定沒有正確標(biāo)簽的任