中文術(shù)語抽取若干問題研究.pdf

1、術(shù)語作為專業(yè)知識的集中載體，它的創(chuàng)建、普及和消亡，動態(tài)展現(xiàn)了一個學科的發(fā)展、演變歷程。專業(yè)術(shù)語數(shù)據(jù)庫作為一種知識源，能夠為各類研究人員便捷地獲取專業(yè)知識提供重要支持。術(shù)語自動抽取是構(gòu)建專業(yè)術(shù)語庫的關(guān)鍵技術(shù)，同時也是自然語言處理領(lǐng)域中的一項基本課題，為包括機器翻譯、文檔摘要、信息檢索、文本分類、詞典編纂等在內(nèi)的諸多自然語言研究起到支撐作用。
　　 本文突破了名詞短語的限制，接納更多非名詞性結(jié)構(gòu)的專業(yè)術(shù)語，拓寬了語言規(guī)則。結(jié)合實證分

2、析和機器學習策略，分別從結(jié)構(gòu)完整性、領(lǐng)域相關(guān)度和詞語搭配三個方面展開研究，主要工作包括：
　　 ⑴以詞為最小語言單位，構(gòu)建一個涵蓋四萬余條計算機專業(yè)術(shù)語的數(shù)據(jù)庫。針對不同長度術(shù)語的分布特性，結(jié)合機器學習方法從多角度提煉出術(shù)語結(jié)構(gòu)的詞法特征。豐富語言規(guī)則的同時，擴大了規(guī)則覆蓋面，提高術(shù)語抽取的召回率。
　　 ⑵針對單詞型術(shù)語結(jié)構(gòu)簡單，邊界清晰的特征，提出一種基于模糊聚類的識別算法。將術(shù)語識別過程成功轉(zhuǎn)化為二值分類任務，無需

3、專業(yè)辭典和諸多語料庫的支持，實現(xiàn)單詞型術(shù)語的自動聚合標注。
　　 ⑶不同于已有方法中采用單一父串到多子串的歸并策略，本文從單一子串與多父串之間的逆向映射關(guān)系出發(fā)，提出了一種基于獨立性統(tǒng)計的子串歸并算法，以此判斷候選術(shù)語的結(jié)構(gòu)完整性。實驗表明，在O(n)的時間內(nèi)，該算法不僅可以刪除普通子串，還能有效過濾由公共子串造成的干擾，將候選術(shù)語集有效縮減29.44％。
　　 ⑷以非名詞性詞語的構(gòu)詞能力為研究對象，提出了“詞匯活躍度”

4、(Word ActiveDegree，WAD)的概念。同時結(jié)合詞匯間粘合度，分析短語內(nèi)部詞語的搭配特征，過濾掉非良性搭配和局部成分過分活躍的短語。實驗表明，采用WAD作為詞語搭配評判標準，對由動賓短語和介詞短語引發(fā)的錯誤有較強的識別能力，正確率高達99.97％。
　　 ⑸根據(jù)術(shù)語和非術(shù)語在語料庫中變化趨勢的分布差異性，結(jié)合局部及全局特征，提出了一種基于分布變化特征的領(lǐng)域相關(guān)度計算方法。實驗表明，該方法不僅能夠大幅降低計算復雜度，