基于神經(jīng)網(wǎng)絡的自然語言語義表達及推理方法研究.pdf

1、認知智能旨在實現(xiàn)機器具備像人一樣的理解、聯(lián)想、推理等能力，是人工智能的重要領(lǐng)域。自然語言語義表達與常識推理是認知智能研究的關(guān)鍵任務。自然語言語義表達指的是將自然語言轉(zhuǎn)換成機器可以處理的語義表征形式，是實現(xiàn)自然語言理解的基礎(chǔ)。現(xiàn)階段的語義表達方法主要基于統(tǒng)計分布假設，利用海量文本與統(tǒng)計建模，將自然語言中的語義信息表征為高維稀疏或低維稠密的向量形式。如何提高語義表征向量的精度仍然是當前語義表達研究的關(guān)鍵問題。常識推理關(guān)注機器對常識知識的運用

2、以及推理能力?，F(xiàn)階段的常識推理方法仍以馬爾科夫邏輯網(wǎng)絡、貝葉斯網(wǎng)絡等傳統(tǒng)概率邏輯推理方法為代表。這些方法往往存在模型結(jié)構(gòu)復雜、先驗信息依賴性強、效率低、擴展性差等問題。
　　本文圍繞基于神經(jīng)網(wǎng)絡的自然語言語義表達及推理方法，在詞語語義表達、面向常識推理的神經(jīng)網(wǎng)絡模型、常識知識庫構(gòu)建方法和自然語言推理系統(tǒng)等方面開展研究工作，具體包括:
　　首先，研究了融合多源信息與神經(jīng)網(wǎng)絡建模的詞語語義表達方法。現(xiàn)有詞語語義表達方法單一依賴基

3、于海量文本的統(tǒng)計分布假設，受文本噪聲和歧義等影響，語義表達的精度不夠理想。因此本文提出了融合海量文本與詞匯語義知識的語義詞向量構(gòu)建方法和詞性信息監(jiān)督下的詞性增強詞向量方法，通過在神經(jīng)網(wǎng)絡訓練過程中合理利用語義知識庫、詞性序列等多源信息，提高了單詞語義表達精度，取得了多個自然語言理解任務上的性能提升。
　　其次，研究了面向常識推理的神經(jīng)網(wǎng)絡建模方法。針對傳統(tǒng)推理方法中存在的事件表達稀疏性與推廣性問題，本文將連續(xù)語義空間表達引入常識推

4、理，提出了神經(jīng)聯(lián)想模型。該模型將大量自然事件映射到連續(xù)語義空間中，利用深層人工神經(jīng)網(wǎng)絡實現(xiàn)對事件間聯(lián)想關(guān)系的統(tǒng)一建模，最終完成基于事件聯(lián)想的常識推理。在多個自然語言理解及推理任務上的實驗結(jié)果表明，神經(jīng)聯(lián)想模型取得了優(yōu)于現(xiàn)有模型的性能，并且具有良好的知識遷移學習能力。
　　再次，研究了基于海量文本的常識知識庫自動構(gòu)建方法。針對常識知識庫稀缺且人工構(gòu)建代價高的問題，本文提出了基于海量文本的因果知識獲取方法。該方法首先定義常用詞語詞典用

5、于約束常識知識庫的構(gòu)建空間，然后在海量文本上進行核心句抽取與自動分析操作，最終得到大量具有因果關(guān)系的短語對作為常識知識庫?；谝陨戏椒ǎ疚耐瓿闪税迨嗳f條因果短語對的常識知識庫的構(gòu)建，為后續(xù)的自然語言推理系統(tǒng)構(gòu)建提供了數(shù)據(jù)支撐。
　　最后，設計實現(xiàn)了面向認知智能評測的自然語言推理系統(tǒng)。在上述語義表達、常識推理模型、常識知識庫構(gòu)建等研究工作的基礎(chǔ)上，構(gòu)建了面向WinogradSchema Challenge(WSC)評測任務的