基于網(wǎng)絡(luò)信息的個(gè)性化用戶詞典更新方法.pdf

1、漢字輸入是中文信息處理中非常重要的問(wèn)題之一,也是智能人機(jī)接口的一個(gè)重要組成部分。在漢字輸入領(lǐng)域,拼音輸入比較符合人們的使用習(xí)慣,目前已經(jīng)進(jìn)入第三代云輸入法的發(fā)展階段。目前主流輸入法強(qiáng)調(diào)個(gè)性化,個(gè)性化主要體現(xiàn)為詞頻調(diào)整和詞庫(kù)自動(dòng)擴(kuò)充。詞頻調(diào)整是指根據(jù)用戶輸入的分詞統(tǒng)計(jì),隨時(shí)對(duì)詞庫(kù)的詞頻做出合理的調(diào)整,給用戶最合理的詞條排序。而詞庫(kù)自動(dòng)擴(kuò)充是指通過(guò)搜索引擎或者互聯(lián)網(wǎng)抓取前所未有的超大訓(xùn)練語(yǔ)料(TB級(jí)別),使得各種各樣的詞語(yǔ)都可以統(tǒng)統(tǒng)納入詞典

2、而不受任何限制。本文正是主要從詞庫(kù)擴(kuò)充來(lái)改進(jìn)輸入法。詞庫(kù)擴(kuò)充最重要的方面是新詞發(fā)現(xiàn),這也是本文的核心內(nèi)容,針對(duì)這個(gè)問(wèn)題,本文主要進(jìn)行了以下研究工作:
　　(1)網(wǎng)絡(luò)信息的提取和處理:用網(wǎng)絡(luò)爬蟲(chóng)程序爬取新浪網(wǎng)頁(yè),抽取出其中的網(wǎng)頁(yè)內(nèi)容,由于其中的網(wǎng)頁(yè)內(nèi)容還有大量垃圾信息(比如廣告,版權(quán)等信息),需要對(duì)抽取到的網(wǎng)頁(yè)內(nèi)容進(jìn)行凈化,提取其中有效信息,標(biāo)記其中重要信息。網(wǎng)頁(yè)凈化是指對(duì)原始網(wǎng)頁(yè)庫(kù)中的每一個(gè)網(wǎng)頁(yè)進(jìn)行解析和過(guò)濾,提取有效信息,標(biāo)記重

3、要信息,去掉意義不大的廣告、版權(quán)等信息的過(guò)程。原始網(wǎng)頁(yè)經(jīng)過(guò)凈化,可以轉(zhuǎn)變?yōu)橐粋€(gè)結(jié)構(gòu)清晰,內(nèi)容緊湊,信息明確的網(wǎng)頁(yè)。
　　(2)設(shè)計(jì)實(shí)現(xiàn)了新詞的提取:對(duì)凈化的網(wǎng)頁(yè)采用基于普通重復(fù)串統(tǒng)計(jì)方法提取新詞,對(duì)中文按照標(biāo)點(diǎn)和停用詞表進(jìn)行切分,然后對(duì)每個(gè)二字詞、三字詞、四字詞進(jìn)行出現(xiàn)次數(shù)的統(tǒng)計(jì),次數(shù)超過(guò)預(yù)先設(shè)置好的閾值的字串作為候選新詞,再基于重復(fù)串查找算法刪除重復(fù)子串和構(gòu)詞規(guī)則刪除垃圾串,最后將候選新詞和輸入法本身的詞庫(kù)進(jìn)行比對(duì),形成一個(gè)新詞

4、詞庫(kù)。
　　(3)新詞分類和詞庫(kù)的個(gè)性化加載:在所得到的凈化網(wǎng)頁(yè)信息中,經(jīng)研究原始網(wǎng)頁(yè)發(fā)現(xiàn),標(biāo)題字段也含有正文的類別信息,用匹配的方法提取出類別。通過(guò)這種方法,把新詞進(jìn)行分類。根據(jù)用戶的使用習(xí)慣,有選擇的加載或刪除新詞詞庫(kù)其中的一類或者幾類,體現(xiàn)用戶的個(gè)性化特點(diǎn)。
　　最后,為了對(duì)系統(tǒng)取得真實(shí)、客觀的評(píng)價(jià),本文以準(zhǔn)確率,召回率,F值來(lái)評(píng)測(cè)新詞提取的性能,以字符準(zhǔn)確率,行準(zhǔn)確率為評(píng)價(jià)指標(biāo),對(duì)輸入法加入新詞詞庫(kù)前后的性能進(jìn)行比較