基于詞聯(lián)接的自然語言處理技術及其應用研究.pdf

1、隨著人類社會信息化程度和計算機軟硬件水平的提高，自然語言處理(NaturalLanguageProcessing，簡稱NLP)技術逐漸成為計算機應用和人工智能研究的熱點，其基本技術目標是讓計算機具有類似人的語言智能，例如能夠象人一樣聽、說、讀、寫。圍繞NLP技術逐漸形成了一個專門的學科——計算語言學。該學科屬于交叉學科，涉及到語言學、心理學、心理語言學、腦科學、計算機科學、哲學、邏輯學、人工智能、數(shù)學、信息論、文學、美學等諸多學科或領域

2、。從上個世紀中葉以來，雖然不同學科和領域的無數(shù)研究者投入了大量的研究資源，探索出了一些有效的技術，取得了一定的成果，但離實現(xiàn)基本技術目標還顯得非常遙遠。值此世紀之初，有必要從更高、更深的層面重新審視NLP技術的研究背景、目標和途徑，在繼承現(xiàn)有技術的基礎上大膽創(chuàng)新，探索出切實可行、面向未來的新技術。本文在這個方向上作出了努力，以拋磚引玉，促進NLP技術的發(fā)展。 在國家自然科學基金項目“計算機輔助文學藝術創(chuàng)作研究——詩詞曲聯(lián)”(60

3、173060，2002～2004)的支持下，在深入分析NLP技術背景的基礎上，本文提出并初步構建了基于詞聯(lián)接的NLP技術(TermConnectionTechniqueforNLP，簡稱TCT)，并應用到詩詞語言處理系統(tǒng)(PoetryProcessingSystem，簡稱PPS)中。理論研究和應用研究的結果表明，TCT是一種繼承并發(fā)展已有技術、高度綜合與包容、操作性強、有效的NLP技術。本文的主要內容包括： 第1章介紹了TCT的

4、技術背景，包括NLP的根本難點、現(xiàn)階段NLP的根本目標、NLP技術的發(fā)展階段和趨勢，提出了一系列較為獨特的觀點。NLP的根本難點在于自然語言具有認識性和不確定性，現(xiàn)階段目標應是受限語言智能仿知技術。這一目標是在分析了NLP根本難點、現(xiàn)階段的計算機技術、已有人工智能和NLP研究成果的基礎上提出來的，因此是切實可行的。NLP技術分為技術探索、規(guī)則技術興起、統(tǒng)計技術興起三個階段，主要發(fā)展趨勢是實例技術可能成為主流技術，規(guī)則技術和統(tǒng)計技術可能成

5、為輔助技術。 第2章介紹了TCT的基本原理、技術結構、哲學基礎、理論基礎、方法基礎，從宏觀上初步構建了TCT。TCT的基本原理是基于受限自然語言環(huán)境建立動態(tài)語料庫，基于動態(tài)語料庫建立詞聯(lián)接實例知識庫和高級知識庫，基于知識庫進行受限自然語言處理。TCT具有完整、簡明、合理的技術結構，包括：TCT知識表示技術(TCTR)、TCT知識獲取技術(TCTO)、TCT語言分析技術(TCTA)、TCT語言評價技術(TCTE)、TCT語言生成技

6、術(TCTC)、TCT語言修改技術(TCTM)、TCT語言輸入輸出技術(TCTIO)。TCT的哲學基礎是易學，這是本學位論文最具特色的地方。易學是中國古代哲學的精華，具有樸素的唯物辯證思想和系統(tǒng)觀，對于認識和認識建模都具有很強的指導作用。TCT的理論基礎是神經(jīng)認知語言學，該理論強調語言理論不悖于大腦神經(jīng)事實，綜合了聯(lián)接主義和符號主義等理論的長處，是一種面向NLP的語言學理論。TCT的方法基礎是基于實例的知識加工，以實例為基礎，可以更好地