基于深度學(xué)習(xí)的短文本分類及信息抽取研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展和網(wǎng)絡(luò)信息的爆炸式增長，給人們帶來更全面、及時(shí)信息的同時(shí)，也使得用戶快速、精準(zhǔn)地找到所需要的信息變得更加困難。信息抽取可從海量的數(shù)據(jù)中檢索并返回給用戶更加準(zhǔn)確、簡潔的信息，可以更好地滿足用戶的需求。文本分類可減少信息抽取的選擇空間，并可針對不同的信息類型，制定不同的策略，是信息抽取不可或缺的前提步驟?，F(xiàn)階段，自然語言的句法和語義充分理解是文本分類和信息抽取的關(guān)鍵。人工提取自然語言的句法語義特征難度大、主觀性較強(qiáng)，深度學(xué)習(xí)可自

2、我學(xué)習(xí)特征，對自然語言理解具有可行性。利用深度學(xué)習(xí)的思想，可以主動學(xué)習(xí)文本的句法語義特征，進(jìn)而學(xué)習(xí)到所抽取信息的深度特征，降低人工特征的制定的難度，并有較好的客觀性。本文在文本分類和信息抽取問題上，借助CNN模型、LSTM模型以及傳統(tǒng)句法樹的優(yōu)勢，構(gòu)造深度神經(jīng)網(wǎng)絡(luò)模型，挖掘文本的深度特征。本文主要工作有：
　　在文本分類上，改進(jìn)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），提出多粒度卷積核的方法，并聯(lián)合長短時(shí)記憶人工神經(jīng)網(wǎng)絡(luò)模型（LSTM），借

3、助兩個(gè)模型的優(yōu)勢，提出一種新的學(xué)習(xí)模型（L-MFCNN），較好的對詞序語義學(xué)習(xí)和深度特征挖掘。實(shí)驗(yàn)結(jié)果表明，該方法在沒有制定繁瑣的人工特征規(guī)則的條件下，仍然有較好的性能。
　　在信息抽取上，本文用詞向量表示問題句和候選信息句，并利用長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）學(xué)習(xí)問題句和候選信息句的語義相關(guān)特征，再利用依存句法樹分析選擇句法結(jié)構(gòu)特征，聯(lián)合表層特征構(gòu)造深度神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)問題、候選信息句和候選信息三者的內(nèi)在關(guān)聯(lián)信息。實(shí)驗(yàn)結(jié)果表明，該