特定領(lǐng)域半監(jiān)督文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、這是一個(gè)科學(xué)飛速發(fā)展的時(shí)代，借助計(jì)算機(jī)等工具以及人類歷史上長期的知識(shí)積累，各個(gè)學(xué)科的信息越來越深入和系統(tǒng)，人們迫切需要將這些特定領(lǐng)域的知識(shí)進(jìn)行系統(tǒng)化的分析和歸類從而為以后更深入的研究做好準(zhǔn)備，于是特定領(lǐng)域內(nèi)的文本分類成為當(dāng)前研究的一大熱點(diǎn)。 目前，特定領(lǐng)域文本分類主要是在傳統(tǒng)文本分類的基礎(chǔ)上，利用已有的特定領(lǐng)域知識(shí)庫對(duì)文檔進(jìn)行特征選擇，用特定領(lǐng)域內(nèi)的知識(shí)來表示文檔。這樣就帶來一個(gè)問題，如何尋找合適的知識(shí)庫來盡量準(zhǔn)確地表示文本；對(duì)

2、于新興的學(xué)科而言，在尚未形成任何系統(tǒng)化的知識(shí)庫的時(shí)候，又如何進(jìn)行分類?因此，理想的特定領(lǐng)域文本分類方法是能夠不借助于任何的領(lǐng)域知識(shí)而能夠很好的進(jìn)行分類。同時(shí)，在一般的應(yīng)用中，由于對(duì)訓(xùn)練文檔進(jìn)行標(biāo)注需要耗費(fèi)大量的人力，所以通常在分類任務(wù)的訓(xùn)練集合中所給出的正例和負(fù)例的數(shù)目都是非常有限的，并且通常標(biāo)注的正例和負(fù)例的文檔數(shù)目分布也相當(dāng)?shù)牟痪猓蠖鄶?shù)情況下訓(xùn)練集合中都只標(biāo)注出了少量的正例文本。如何從少量的已標(biāo)注訓(xùn)練樣例中獲得足夠的類別信息以輔

3、助分類也是目前研究文本分類的一個(gè)難點(diǎn)。 本文綜述了現(xiàn)有特定領(lǐng)域文本分類系統(tǒng)的現(xiàn)狀，詳細(xì)介紹了在特定領(lǐng)域內(nèi)，對(duì)于訓(xùn)練集中正負(fù)例分布不均衡，且其中包含有大量未標(biāo)注數(shù)據(jù)的半監(jiān)督文本分類問題，提出了一種基于緊密度衡量的分類方法。本文討論了特定領(lǐng)域半監(jiān)督文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)細(xì)節(jié)，并實(shí)現(xiàn)了一個(gè)用于該類分類問題的系統(tǒng)。本文的工作主要包括： ●本文綜述了現(xiàn)有特定領(lǐng)域文本分類的研究現(xiàn)狀，指出了現(xiàn)有方法由于需要依賴于領(lǐng)域相關(guān)本體而帶來的

4、局限性。 ●本文詳細(xì)分析了半監(jiān)督文本分類問題的研究現(xiàn)狀，給出了幾種傳統(tǒng)的用于半監(jiān)督文本分類問題的算法并指出了這些算法的局限性。 ●提出了一種基于緊密度衡量算法來解決此類的文本分類問題，將通過實(shí)驗(yàn)將該算法與其他傳統(tǒng)的基于特定領(lǐng)域內(nèi)文本分類的方法作了詳細(xì)地比較與分析。 ●設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)用于特定領(lǐng)域內(nèi)半監(jiān)督文本分類問題的系統(tǒng)，并在TREC’05的基因任務(wù)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，與TREC’05基因任務(wù)的其他組結(jié)果相比，總