BBS短文本聚類技術(shù)研究.pdf

1、高校BBS論壇信息內(nèi)容與學(xué)校日常工作、校園學(xué)生活動(dòng)密切相關(guān)，其信息不僅豐富而且更新速度很快，但是各BBS站點(diǎn)的結(jié)構(gòu)劃分比較復(fù)雜而且混亂，如何有效地組織并利用這些資源信息涉及到短文本處理的相關(guān)技術(shù)研究。BBS帖子作為短文本的一種主要表現(xiàn)形式，其聚類研究具有很大的意義。借助于BBS短文本聚類分析，可以從一堆無標(biāo)簽的信息中發(fā)現(xiàn)未知話題，作為話題識(shí)別與跟蹤的預(yù)處理階段，也可以根據(jù)話題的走向?qū)BS的輿論導(dǎo)向進(jìn)行正確的導(dǎo)引，而且研究真實(shí)環(huán)境語料下

2、的BBS短文本聚類，對于短文本聚類技術(shù)的研究具有非常大的理論意義。
　　短文本具有獨(dú)特的語言特征，導(dǎo)致其處理技術(shù)不同于傳統(tǒng)文本的自然語言處理。單條短文本一般長度都非常短，樣本特征非常稀疏，很難準(zhǔn)確地抽取有效的語言特征；短文本實(shí)時(shí)性特別強(qiáng)，數(shù)量異常龐大，對短文本處理技術(shù)提出了比常規(guī)文本處理技術(shù)更高的效率要求；短文本語言表達(dá)簡潔，錯(cuò)誤拼寫、不規(guī)范用語和噪音比較多，給短文本處理技術(shù)帶來了更大挑戰(zhàn)。因此，短文本聚類技術(shù)的發(fā)展相對緩慢。

3、r>　　本文提出了短文本重構(gòu)的思想，主要是通過主題相關(guān)信息抽取、噪聲處理和水帖過濾將BBS下的一條線索內(nèi)的帖子重構(gòu)為一篇文檔，從而達(dá)到擴(kuò)充文本內(nèi)容和特征的目的，以解決短文本的稀疏性。
　　本文采用的K-means算法是聚類分析中一種被廣泛應(yīng)用的啟發(fā)式劃分方法，具有簡單、快速的優(yōu)點(diǎn)。然而這種算法對初值敏感，不同的初值常導(dǎo)致不同的聚類結(jié)果，沒有良好的穩(wěn)定性，且容易陷入局部最優(yōu)而非全局最優(yōu)的不良結(jié)果。本文采用近鄰傳播Affinity P