機(jī)械領(lǐng)域文本采集和分類(lèi)的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,各行業(yè)信息化程度不斷提高,越來(lái)越多的信息積累在網(wǎng)絡(luò)上，如何在浩瀚的信息中尋找到有用的信息,一直是領(lǐng)域研究的熱點(diǎn)。本文的研究背景是陜西省教育廳專(zhuān)項(xiàng)科研項(xiàng)目“面向特定領(lǐng)域需求的概念設(shè)計(jì)方案自動(dòng)生成方法研究”。課題選擇機(jī)械領(lǐng)域?yàn)檠芯磕繕?biāo),探索如何從海量信息中搜索有用的行業(yè)信息,并將結(jié)果做進(jìn)一步分類(lèi),滿足機(jī)械行業(yè)對(duì)知識(shí)的需求。
　　本文的研究重點(diǎn)為兩個(gè)方面:主題爬蟲(chóng)和文本分類(lèi)。主題爬蟲(chóng)研究的是第一次信息抽取過(guò)程,將機(jī)

2、械領(lǐng)域文本信息從互聯(lián)網(wǎng)信息中抽取出來(lái),完成第一次的兩分類(lèi)過(guò)程。文本分類(lèi)將主題爬蟲(chóng)抽取的信息作進(jìn)一步處理,按照領(lǐng)域?qū)＜液蛯?shí)際項(xiàng)目的需求,將機(jī)械領(lǐng)域的信息細(xì)分到十個(gè)子領(lǐng)域中,完成第二次的多分類(lèi)過(guò)程。論文主要完成了以下工作:
　　(1)根據(jù)機(jī)械領(lǐng)域?qū)＜业闹笇?dǎo),完成了機(jī)械領(lǐng)域?qū)I(yè)詞庫(kù)的搭建,收錄機(jī)械領(lǐng)域十個(gè)產(chǎn)品分類(lèi)專(zhuān)業(yè)詞匯共2萬(wàn)個(gè),為后續(xù)爬蟲(chóng)主題描述、網(wǎng)頁(yè)相關(guān)度計(jì)算、中文分詞、文本描述和文本分類(lèi)工作做好基礎(chǔ)工作。
　　(2)設(shè)計(jì)了機(jī)

3、械領(lǐng)域主題爬蟲(chóng),通過(guò)主題描述,選擇適當(dāng)?shù)呐佬胁呗灾笇?dǎo)爬蟲(chóng)爬行工作,通過(guò)相關(guān)度計(jì)算,抽出合適的文本信息下載到頁(yè)面庫(kù),爬蟲(chóng)完成第一次分類(lèi)過(guò)程,頁(yè)面庫(kù)中的文本信息為機(jī)械領(lǐng)域文本信息。
　　(3)依據(jù)樸素貝葉斯原理設(shè)計(jì)分類(lèi)器,實(shí)現(xiàn)機(jī)械領(lǐng)域文本的二次分類(lèi),經(jīng)實(shí)驗(yàn)驗(yàn)證,分類(lèi)效果不理想,進(jìn)而分析造成分類(lèi)準(zhǔn)確度不高的原因。
　　(4)根據(jù)原因提出改進(jìn)方法,通過(guò)引入灰色關(guān)聯(lián)度計(jì)算和改進(jìn)權(quán)值計(jì)算方法,設(shè)計(jì)出改進(jìn)后的貝葉斯文本分類(lèi)器,實(shí)驗(yàn)驗(yàn)證分類(lèi)