基于詞跨度的中文文本關(guān)鍵詞提取及在文本分類中的應(yīng)用.pdf

1、文本關(guān)鍵詞提取是文本自動化處理常用的一項關(guān)鍵技術(shù),若能對海量的文本資源進行關(guān)鍵詞標(biāo)注,并按其歸納整理,可實現(xiàn)文本資源的高效管理和便捷使用。常用的關(guān)鍵詞提取方法主要是基于統(tǒng)計的方法,此類方法思想簡單、便于實際應(yīng)用。但是,該方法過多地依賴于詞頻統(tǒng)計,因此提取的關(guān)鍵詞中常包含一定量的高頻而非關(guān)鍵的噪聲詞。
　　 本文圍繞文本關(guān)鍵詞提取中的噪聲詞問題,改進了傳統(tǒng)的基于統(tǒng)計的文本關(guān)鍵詞提取方法,以提高算法精度,并將改進后的關(guān)鍵詞提取方法應(yīng)

2、用于文本分類的特征降維和特征項權(quán)值計算中。本文的主要研究內(nèi)容包括:
　　 (1)為了提高文本關(guān)鍵詞提取算法的精度,本文給出了一種基于詞跨度的中文文本關(guān)鍵詞提取方法。該方法在傳統(tǒng)的關(guān)鍵詞提取方法中引入詞跨度概念,借助詞跨度實現(xiàn)對噪聲詞的準(zhǔn)確識別和過濾。實驗結(jié)果顯示:與傳統(tǒng)算法相比,該算法在召回率和準(zhǔn)確率上有了明顯的提高,并且對于不同類型的文本,都具有較為穩(wěn)定的表現(xiàn)。
　　 (2)文本分類中的特征降維是指通過對特征項進行篩選

3、,達到降低特征空間維度的目的,但由于特征項的數(shù)量龐大,對其進行篩選的計算復(fù)雜度往往很高。因此,本文采用關(guān)鍵詞提取的方式,首先對單個文本中權(quán)重過低的特征項進行過濾,減少了參與特征選擇的特征項數(shù)量。實驗證明:該方法在避免大量損失有效特征的基礎(chǔ)上,降低了特征降維的計算復(fù)雜度。
　　 (3)在文本分類中,準(zhǔn)確地表達特征項對其所在文本的重要程度,即特征項權(quán)值,對文本類別的區(qū)分具有重要影響。因此,針對經(jīng)典TF*IDF權(quán)值計算法對特征項表達不