非結構化文本中領域術語獲取方法的研究.pdf

1、隨著領域新技術的飛速發(fā)展，大量數字化科技文獻都以非結構化文本的形式與日俱增，如何有效地獲取其中的領域術語，對于構建數字圖書館、領域本體、編撰領域詞典等都具有重要的現(xiàn)實意義，因此成為人們關注的焦點。相比已有領域術語獲取方法——詞典方法、規(guī)則方法、簡單統(tǒng)計量方法的種種不足，比如需要領域專家參與且費時費力，或者不能融合領域術語的各類特征等，本文借鑒了統(tǒng)計學習理論和信息抽取的相關研究采用了如下的方法：基于分類的方法、基于序列數據標注的方法、基于

2、Reranking的方法進行領域術語自動獲取的研究工作。 為此本文首先對領域術語獲取進行了問題轉化，從信息抽取的角度定義了術語獲取工作的輸入輸出和任務描述，并以此為基礎提出了基于統(tǒng)計學習理論的領域術語獲取的工作機理和框架流程，同時闡明了其中文本預處理、特征表示策略、統(tǒng)計學習模型的選擇和比較是領域術語獲取工作的核心。 然后本文分別探討了分類方法、序列數據標注方法、Reranking方法的工作機理和針對術語獲取的問題分析；在

3、術語的特征表示部分，分別提出了針對上述三種方法的特征表示策略，并通過實驗說明了本文提出的方法相比Genia項目提供的baseline方法可以有效地提高領域術語自動獲取的性能評測指標。另外，針對目前還沒有使用Reranking進行術語獲取研究的現(xiàn)狀，本文借鑒了該思想方法并與序列標注模型相結合形成一個串行的處理流程，即在CRF模型的基礎上，通過排序支持向量機對候選標記序列進行重排序，將最好的候選排序到最前面，從而獲取領域術語。從實驗結果可以

4、看到在術語獲取問題上，序列數據標注方法優(yōu)于分類方法，而Reranking方法又在序列數據標注評測結果的基礎上有了一定的提高。 雖然本文采用的三種統(tǒng)計學習方法相比Genia項目報告的baseline有顯著的性能提升，但依然可以通過增加更豐富的特征和使用額外的資源庫提高性能；另外針對本文目前所使用的Reranking方法，可以將代價敏感的排序損失函數引入到ranking SVM中，用于減少排序頂部位置上的錯誤率，從而更準確地獲得文本