漢語(yǔ)言網(wǎng)絡(luò)統(tǒng)計(jì)特性與半監(jiān)督文檔聚類算法研究.pdf

1、隨著網(wǎng)絡(luò)上電子文檔呈指數(shù)級(jí)增長(zhǎng),人們迫切需要能利用計(jì)算機(jī)自動(dòng)地處理這些文檔,主要包括文檔的自動(dòng)分類、聚類。本文的側(cè)重點(diǎn)是文檔聚類。文檔聚類的一般過(guò)程包括文本表示、聚類算法和聚類結(jié)果評(píng)價(jià)。其中,文本表示和聚類算法是一個(gè)聚類工具最重要的兩個(gè)方面。在文本表示方面,向量空間模型占據(jù)統(tǒng)治地位。由于文本的半結(jié)構(gòu)化特征,向量空間模型作為本文表示的缺點(diǎn)也是顯而易見的。近來(lái),復(fù)雜網(wǎng)絡(luò)作為一門研究復(fù)雜性的工具引起了研究人員的廣泛關(guān)注。文本作為人們的書面語(yǔ)言

2、,也具有復(fù)雜性的特點(diǎn)。本文從復(fù)雜網(wǎng)絡(luò)的角度探討了漢語(yǔ)語(yǔ)言網(wǎng)的統(tǒng)計(jì)性質(zhì),希望從中能獲得關(guān)于文本表示的新的發(fā)現(xiàn)。本文從一個(gè)最大的人民日?qǐng)?bào)語(yǔ)料庫(kù)出發(fā),構(gòu)造了兩個(gè)不同的網(wǎng)絡(luò)(CLN1和CLN2)。對(duì)于這兩個(gè)網(wǎng)絡(luò),一個(gè)節(jié)點(diǎn)代表語(yǔ)料庫(kù)里面的一個(gè)詞。對(duì)于CLN1,如果兩個(gè)節(jié)點(diǎn)對(duì)應(yīng)的詞在語(yǔ)料庫(kù)的一個(gè)句子里是相鄰的,則這兩個(gè)節(jié)點(diǎn)之間形成一條邊;對(duì)于CLN2,如果兩個(gè)節(jié)點(diǎn)對(duì)應(yīng)的詞處于同一個(gè)句子里,則這兩個(gè)節(jié)點(diǎn)之間有一條邊。本文通過(guò)實(shí)驗(yàn)論證了這兩個(gè)網(wǎng)絡(luò)都展現(xiàn)

3、了小世界效應(yīng)、度分布無(wú)尺度結(jié)構(gòu)、層次結(jié)構(gòu)和負(fù)相關(guān)性。我們希望這些結(jié)果能為尋求新的文本表示模型帶來(lái)新的線索。在聚類算法方面,本文關(guān)注在半監(jiān)督條件下的文本聚類。在實(shí)際應(yīng)用中,關(guān)于文檔集的一些先驗(yàn)知識(shí)是知道的,比如某兩個(gè)文檔應(yīng)該是歸為一類的。這種先驗(yàn)知識(shí)可以用來(lái)在聚類過(guò)程中起到約束作用。這種利用了用戶先驗(yàn)知識(shí)的聚類方法叫做半監(jiān)督聚類。K-means是個(gè)常用且有效的聚類方法。本文把這種先驗(yàn)知識(shí)通過(guò)數(shù)學(xué)表達(dá)的方式與K-means的基于矩陣跡的目標(biāo)