基于網(wǎng)絡(luò)信息的個性化用戶詞典更新方法.pdf

1、漢字輸入是中文信息處理中非常重要的問題之一,也是智能人機(jī)接口的一個重要組成部分。在漢字輸入領(lǐng)域,拼音輸入比較符合人們的使用習(xí)慣,目前已經(jīng)進(jìn)入第三代云輸入法的發(fā)展階段。目前主流輸入法強(qiáng)調(diào)個性化,個性化主要體現(xiàn)為詞頻調(diào)整和詞庫自動擴(kuò)充。詞頻調(diào)整是指根據(jù)用戶輸入的分詞統(tǒng)計(jì),隨時對詞庫的詞頻做出合理的調(diào)整,給用戶最合理的詞條排序。而詞庫自動擴(kuò)充是指通過搜索引擎或者互聯(lián)網(wǎng)抓取前所未有的超大訓(xùn)練語料(TB級別),使得各種各樣的詞語都可以統(tǒng)統(tǒng)納入詞典

2、而不受任何限制。本文正是主要從詞庫擴(kuò)充來改進(jìn)輸入法。詞庫擴(kuò)充最重要的方面是新詞發(fā)現(xiàn),這也是本文的核心內(nèi)容,針對這個問題,本文主要進(jìn)行了以下研究工作:
　　(1)網(wǎng)絡(luò)信息的提取和處理:用網(wǎng)絡(luò)爬蟲程序爬取新浪網(wǎng)頁,抽取出其中的網(wǎng)頁內(nèi)容,由于其中的網(wǎng)頁內(nèi)容還有大量垃圾信息(比如廣告,版權(quán)等信息),需要對抽取到的網(wǎng)頁內(nèi)容進(jìn)行凈化,提取其中有效信息,標(biāo)記其中重要信息。網(wǎng)頁凈化是指對原始網(wǎng)頁庫中的每一個網(wǎng)頁進(jìn)行解析和過濾,提取有效信息,標(biāo)記重

3、要信息,去掉意義不大的廣告、版權(quán)等信息的過程。原始網(wǎng)頁經(jīng)過凈化,可以轉(zhuǎn)變?yōu)橐粋€結(jié)構(gòu)清晰,內(nèi)容緊湊,信息明確的網(wǎng)頁。
　　(2)設(shè)計(jì)實(shí)現(xiàn)了新詞的提取:對凈化的網(wǎng)頁采用基于普通重復(fù)串統(tǒng)計(jì)方法提取新詞,對中文按照標(biāo)點(diǎn)和停用詞表進(jìn)行切分,然后對每個二字詞、三字詞、四字詞進(jìn)行出現(xiàn)次數(shù)的統(tǒng)計(jì),次數(shù)超過預(yù)先設(shè)置好的閾值的字串作為候選新詞,再基于重復(fù)串查找算法刪除重復(fù)子串和構(gòu)詞規(guī)則刪除垃圾串,最后將候選新詞和輸入法本身的詞庫進(jìn)行比對,形成一個新詞

4、詞庫。
　　(3)新詞分類和詞庫的個性化加載:在所得到的凈化網(wǎng)頁信息中,經(jīng)研究原始網(wǎng)頁發(fā)現(xiàn),標(biāo)題字段也含有正文的類別信息,用匹配的方法提取出類別。通過這種方法,把新詞進(jìn)行分類。根據(jù)用戶的使用習(xí)慣,有選擇的加載或刪除新詞詞庫其中的一類或者幾類,體現(xiàn)用戶的個性化特點(diǎn)。
　　最后,為了對系統(tǒng)取得真實(shí)、客觀的評價(jià),本文以準(zhǔn)確率,召回率,F值來評測新詞提取的性能,以字符準(zhǔn)確率,行準(zhǔn)確率為評價(jià)指標(biāo),對輸入法加入新詞詞庫前后的性能進(jìn)行比較