中文文本關(guān)鍵詞提取和文本聚類中聚類中心點(diǎn)選取算法研究.pdf

1、現(xiàn)今文本處理領(lǐng)域研究的熱點(diǎn)是如何方便用戶快速準(zhǔn)確的搜索到所需要的文本信息。文本聚類可以提高信息搜索效率，是文本檢索的有效手段。關(guān)鍵詞提取和聚類中心點(diǎn)選取是文本聚類研究中的關(guān)鍵問題。
　　常見的關(guān)鍵詞提取算法可分為三類，基于語(yǔ)義的算法、基于機(jī)器學(xué)習(xí)的算法和基于統(tǒng)計(jì)模型的算法?；谡Z(yǔ)義的算法提高了關(guān)鍵詞提取的準(zhǔn)確率，但是依賴于背景知識(shí)庫(kù)、詞典等，無(wú)法提取出不包含于知識(shí)庫(kù)的詞或詞組?；跈C(jī)器學(xué)習(xí)的算法提高了關(guān)鍵詞提取的準(zhǔn)確率，但是訓(xùn)練樣

2、本、構(gòu)建模型花費(fèi)時(shí)間長(zhǎng)?；诮y(tǒng)計(jì)模型的算法原理簡(jiǎn)單，不需要訓(xùn)練樣本，也不依賴于知識(shí)庫(kù)。常見的聚類中心的選取方式有三種，隨機(jī)選取初始聚類中心點(diǎn)、人為指定聚類中心點(diǎn)和根據(jù)待聚類點(diǎn)之間的相似度選取聚類中心點(diǎn)。隨機(jī)選取的初始聚類中心點(diǎn)中可能包含“孤立點(diǎn)”，聚類結(jié)果局部最優(yōu)。人為指定聚類中心點(diǎn)會(huì)因?yàn)槊總€(gè)人對(duì)文本集的了解程度不同而帶有主觀性，不適用于文本集數(shù)量很大的情況。根據(jù)待聚類點(diǎn)之間的相似度選取聚類中心點(diǎn)，可以使得選取的聚類中心點(diǎn)分布于各個(gè)類中

3、并且盡量接近類中心點(diǎn)，但是計(jì)算聚類中心所需時(shí)間較長(zhǎng)。
　　針對(duì)上述問題，本文做了如下研究：
　?。?）本文提出了基于詞或詞組長(zhǎng)度和頻數(shù)的關(guān)鍵詞提取算法，算法首先提取出中文文本中出現(xiàn)頻數(shù)較大的詞或者詞組，然后根據(jù)提取出的詞或者詞組的長(zhǎng)度和在文本中出現(xiàn)的頻數(shù)篩選出該文本的關(guān)鍵詞。與現(xiàn)有的算法相比，本文提出的算法不依賴于背景知識(shí)庫(kù)、詞典等，可以提取出文本中的音譯詞和網(wǎng)絡(luò)新詞，無(wú)需通過對(duì)訓(xùn)練樣本的訓(xùn)練獲得統(tǒng)計(jì)參數(shù)，構(gòu)建模型。

4、　　實(shí)驗(yàn)顯示本文提出的關(guān)鍵詞提取算法，關(guān)鍵詞提取的準(zhǔn)確率較高，提取出的關(guān)鍵詞可以反映出該文本的主題。
　　（2）本文提出了基于文本之間相似度的聚類中心點(diǎn)選取算法，算法首先根據(jù)給定的文本集以及文本集中各個(gè)文本對(duì)應(yīng)的關(guān)鍵詞序列，構(gòu)建向量空間模型，接著計(jì)算各個(gè)文本與其他文本之間的相似度，最后依據(jù)各個(gè)文本與其他文本之間的相似度篩選出聚類中心點(diǎn)。與現(xiàn)有的算法相比，本文算法選取的聚類中心點(diǎn)與較多的文本之間存在相似性且相似度值較大，同時(shí)相互之間