中文新詞語自動(dòng)檢測研究.pdf

1、隨著社會(huì)、經(jīng)濟(jì)的飛速發(fā)展,越來越多的中文新詞語出現(xiàn)在人們的生活中.新詞語的出現(xiàn)豐富了語言的色彩,同時(shí)也給扁編纂、中文自然語言處理等領(lǐng)域帶來了挑戰(zhàn).如何尋找新詞語成了一個(gè)重要的問題.然而目前新詞語并沒有一個(gè)明確的、公認(rèn)的定義,該文根據(jù)詞法分析和語言學(xué)中對(duì)于新詞語的定義,將新詞語分為命名實(shí)體、詞形新的詞語和意義用法發(fā)生變化的已有詞語這三大類.該文研究的是對(duì)于詞形新的詞語的自動(dòng)檢測.目前對(duì)于詞形新的新詞語識(shí)別研究比較少見.而且現(xiàn)有的研究所尋找

2、的新詞語都是限于領(lǐng)域或者是限于新詞語的詞長.該文提出了一個(gè)從Internet采集下來的網(wǎng)頁中尋找新詞語的方法,目標(biāo)是從一個(gè)整體角度尋找不限詞長、不限領(lǐng)域的在指定日期后出現(xiàn)的新詞語.根據(jù)該文提出的方法實(shí)現(xiàn)的整個(gè)系統(tǒng)分為三個(gè)部分:網(wǎng)頁采集、網(wǎng)頁分析和新詞語查找.在網(wǎng)頁分析部分提取網(wǎng)面的內(nèi)容和日期,對(duì)網(wǎng)頁內(nèi)容進(jìn)行分詞,查找重復(fù)串,然后將所有的詞和串帶上日期存入原始信息數(shù)據(jù)庫.在新詞語查找中,根據(jù)給定的日期將原始信息數(shù)據(jù)庫分成背景數(shù)據(jù)庫和過濾數(shù)