針對特定領域的中文新詞發(fā)現技術研究.pdf

1、隨著信息技術的發(fā)展，各個領域的電子文獻變得日益豐富，在各個專業(yè)領域，文獻數據庫中的文獻數量呈現出指數增長的趨勢，對這些文獻信息的處理難度也變得越來越大。中文有著特殊的組織結構，其信息處理對分詞技術有著較高的要求，因而中文文獻相對于英文文獻有著較高的處理難度。如何針對中文的語法特征，找出其中存在的新的專業(yè)詞匯，在信息檢索中扮演著極為重要的角色。本文的研究對象是單一特定的領域，而非多個領域。此領域具有可擴充性，可以為金融領域，也可以為IT領

2、域，根據具體需求而定。
　　在確定一個領域并給出這個領域的文獻數據集合的前提下。本文的信息處理主要分為兩個步驟進行，首先對特定領域的文獻集合進行分詞處理，在進行分詞處理方面使用了基于統(tǒng)計的N-Gram方法，較為有效地找出了詞典中所不存在地新詞匯。
　　第二個步驟為新的專業(yè)詞匯的抽取，這是一個根據已有專業(yè)詞匯來發(fā)現未知專業(yè)詞匯的過程，目的從第一步中所產生的新的詞匯中抽取出新的屬于目標領域的專業(yè)詞匯。在這個步驟中，本文使用了Ap

3、riori方法，首先發(fā)現詞匯組合中的頻繁項目集合，再生成相應的關聯(lián)規(guī)則以達到新的專業(yè)詞匯提取的目的。這個步驟涉及噪聲詞過濾的問題，考慮到低頻噪聲詞可以在使用關聯(lián)規(guī)則處理的過程中過濾掉，本文所指的噪聲詞過濾主要是對高頻噪聲詞的過濾，對于這些詞匯，本文的解決方式是使用文獻分類的方式，將一個大的領域分為多個細分領域，這樣，那些同屬于多個細分領域的詞匯就可以被看做是非專業(yè)詞匯，也就是噪聲詞，可以將這些詞匯過濾掉。
　　在研究中文分詞算法以

4、及專業(yè)詞匯提取算的基礎上，本文設計了一個原型系統(tǒng)來測試算法的有效性，該系統(tǒng)包括文獻預處理、中文分詞、文檔切割、高頻噪聲詞過濾、發(fā)現頻繁項目集、提取新詞等模塊，涵蓋了本文所研究的各個環(huán)節(jié)。測試表明，本文的中文分詞算法可以有效地發(fā)現新的詞匯，而專業(yè)詞匯提取算法也取得了良好的效果。
　　本文的創(chuàng)新之處有：
　?。?）將N-Gram方法和Apriori方法結合在一起，并對兩種方法加以改進。利用N-Gram方法結合詞典方法進行中文分詞