面向問答的問句關(guān)鍵詞提取技術(shù)研究.pdf

1、問答系統(tǒng)是目前自然語言處理領(lǐng)域中的研究熱點(diǎn)之一，它以精準(zhǔn)的答案直接回答用戶以自然語言方式表達(dá)的問題。在問題分析時(shí)，提取問題中的關(guān)鍵詞對(duì)于理解其語義至關(guān)重要；在問題檢索時(shí)，關(guān)鍵詞的提取的效果直接影響到信息檢索的結(jié)果和答案的相似度計(jì)算與排序。因此，關(guān)鍵詞提取是問答系統(tǒng)的基礎(chǔ)，面向問答的問句關(guān)鍵詞提取技術(shù)研究對(duì)提升問答系統(tǒng)的性能有著積極作用，能夠?yàn)閱柎鹣到y(tǒng)帶來更好的用戶體驗(yàn)。
　　本文重點(diǎn)研究了兩類問句關(guān)鍵詞提取技術(shù)：無監(jiān)督的關(guān)鍵詞提取

2、方法和有監(jiān)督的關(guān)鍵詞提取方法。有監(jiān)督的關(guān)鍵詞提取方法又分為：基于特征選擇的機(jī)器學(xué)習(xí)方法和自動(dòng)學(xué)習(xí)特征的深度學(xué)習(xí)方法。
　　基于圖模型的關(guān)鍵詞提取算法發(fā)展較為迅速。本文提出了基于依存分析排序的無監(jiān)督方法提取關(guān)鍵詞，引入詞向量，從語義的角度衡量詞語的相似度，引入依存句法分析，從句法結(jié)構(gòu)的角度來表示兩個(gè)詞語之間的關(guān)聯(lián)度，利用基于圖的排序算法，更加準(zhǔn)確地對(duì)候選詞語進(jìn)行排序，提高關(guān)鍵詞抽取的效果。
　　基于特征選擇的機(jī)器學(xué)習(xí)方法提取關(guān)

3、鍵詞，將依存句法特征應(yīng)用到關(guān)鍵詞提取技術(shù)中，通過特征分析，選取最有效的特征，利用最大熵模型訓(xùn)練分類器，來判斷候選詞是否為關(guān)鍵詞。實(shí)驗(yàn)結(jié)果表明，依存句法特征有助于提高關(guān)鍵詞提取的效果。
　　自動(dòng)學(xué)習(xí)特征的深度學(xué)習(xí)方法提取關(guān)鍵詞，能夠讓機(jī)器自動(dòng)學(xué)習(xí)關(guān)鍵詞的特征，并將特征學(xué)習(xí)融入到模型建立的過程中，避免了特征工程。在我們的研究中，利用LSTM模型構(gòu)建神經(jīng)網(wǎng)絡(luò)層次，將目標(biāo)詞語的上下文信息都輸入到模型中，更好地利用了詞語的語義信息。同時(shí)，為