考慮關(guān)聯(lián)分布的詞語聚類方法研究.pdf

1、詞聚類就是對一些紛繁的個(gè)別詞應(yīng)用某種方法進(jìn)行分組形成語義相近或相關(guān)的詞類(或詞聚簇)。它在智能檢索、文本分類、詞義排歧、機(jī)器翻譯等領(lǐng)域都有廣泛的應(yīng)用,是語言學(xué)和自然語言處理中十分重要的研究課題之一。
　　 在詞聚類技術(shù)中,采用什么樣的詞語相似度計(jì)算方法以及如何對詞語聚類,往往決定了詞聚類效果的好壞。傳統(tǒng)基于互信息的詞聚類方法由于簡單、易于實(shí)現(xiàn)等特點(diǎn),被應(yīng)用在了基于上下文的機(jī)器自動聚類中。該方法存在兩個(gè)問題:
　　 (1)

2、未考慮詞對的不同分布所造成的詞語關(guān)聯(lián)強(qiáng)度差異；
　　 (2)虛假關(guān)聯(lián)問題,即有些實(shí)際較強(qiáng)的關(guān)聯(lián)關(guān)系計(jì)算結(jié)果較弱,反之某些實(shí)際較弱的關(guān)聯(lián)關(guān)系計(jì)算結(jié)果較強(qiáng),這與實(shí)際情況不符。
　　 本文針對傳統(tǒng)基于互信息的詞聚類方法存在的以上兩個(gè)問題,圍繞如何計(jì)算詞語相似度及選用合適的詞聚類算法開展了研究工作:
　　 首先,本文提出了一種基于關(guān)聯(lián)分布的詞語相似度計(jì)算方法。該方法用詞語關(guān)聯(lián)分布規(guī)范化因子對傳統(tǒng)互信息度量待聚類詞和基詞關(guān)

3、聯(lián)度的方法進(jìn)行了修正,即用關(guān)聯(lián)的累積分布函數(shù)更準(zhǔn)確的度量其關(guān)聯(lián)度；然后由所得關(guān)聯(lián)度構(gòu)造待聚類詞的屬性向量；最后由屬性向量利用夾角余弦法計(jì)算出待聚類詞語相似度。實(shí)驗(yàn)結(jié)果表明,新方法比傳統(tǒng)方法有更好的詞語相似度計(jì)算效果。
　　 其次,實(shí)現(xiàn)了基于關(guān)聯(lián)分布相似度的詞語聚類算法。該算法以基于關(guān)聯(lián)分布的詞語相似度計(jì)算方法所得待聚類詞語相似度為基礎(chǔ),利用仿射傳播聚類算法,將詞對相似度轉(zhuǎn)換為矩陣形式作為輸入,在算法開始時(shí)將所有的待聚類詞語都視為