TF-IDF與規(guī)則結(jié)合的中文關(guān)鍵詞自動(dòng)抽取研究.pdf

1、關(guān)鍵詞抽取工作作為自然語言處理中的一個(gè)基礎(chǔ)課題，為信息檢索、文本聚類、自動(dòng)摘要生成等技術(shù)提供基本支持?？梢允褂脩艨焖俜奖愕睦斫馕恼轮饕獌?nèi)容從而判斷如何進(jìn)行下一步工作。
　　本文的關(guān)鍵詞抽取工作主要分為候選詞識(shí)別和關(guān)鍵詞抽取兩部分。通過實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于中文關(guān)鍵詞抽取任務(wù)來說，分詞結(jié)果的好壞和候選詞選取的質(zhì)量將嚴(yán)重影響后期的抽取工作。針對(duì)此現(xiàn)象，本文將關(guān)鍵詞抽取和關(guān)鍵短語抽取當(dāng)作同一工作任務(wù)，統(tǒng)一成關(guān)鍵詞抽取的研究，并將重點(diǎn)放在候選詞識(shí)

2、別部分。
　　針對(duì)中文分詞所包含的問題，在候選詞的抽取方面，本文提出了一種結(jié)合連續(xù)單字未登錄詞識(shí)別和多詞表達(dá)式識(shí)別的方法來進(jìn)行候選詞的識(shí)別:對(duì)于連續(xù)單字未登錄詞，利用簡(jiǎn)單的規(guī)則切分連續(xù)單字片段，該方法可以較好的識(shí)別出頻率為1的該類未登錄詞;對(duì)于多詞表達(dá)式，則在規(guī)則抽取的基礎(chǔ)上加入LocalMaxs方法。兩種方法的結(jié)合在不依賴語料庫(kù)規(guī)模和領(lǐng)域的情況下，可以較好的識(shí)別出低頻未登錄詞。
　　通過對(duì)前人研究的進(jìn)行分析發(fā)現(xiàn)，TF-ID

3、F作為關(guān)鍵詞抽取的主流特征之一，有著較好的可應(yīng)用性和可拓展性，因此，本文仍選取TF-IDF作為主要特征，并在其基礎(chǔ)上加入其它特征進(jìn)行融合?？紤]到兼類詞的不同詞性問題，根據(jù)詞的詞性不同，本文改進(jìn)了詞的TF計(jì)算公式，并考慮到方法的通用性問題，僅加入標(biāo)題詞權(quán)重信息和詞長(zhǎng)信息來改進(jìn)TF-IDF公式進(jìn)行關(guān)鍵詞的抽取工作。
　　本文設(shè)計(jì)了多組實(shí)驗(yàn)，分別對(duì)本文提出的未登錄詞識(shí)別方法和關(guān)鍵詞抽取方法進(jìn)行驗(yàn)證。在關(guān)鍵詞抽取方法的驗(yàn)證中，同時(shí)證明了候