基于特征抽取的企業(yè)文本數(shù)據(jù)索引系統(tǒng)的研究和實現(xiàn).pdf

1、互聯(lián)網(wǎng)正在慢慢地成為人類信息的主要載體和交流平臺，成為各種信息最大的收藏地。大數(shù)據(jù)時代逐步來臨，其中80％的信息數(shù)據(jù)是以文本的形式存儲在網(wǎng)絡(luò)上的，因此海量企業(yè)文本數(shù)據(jù)的信息挖掘?qū)ζ髽I(yè)和用戶而言已經(jīng)變得越來越重要了。
　　目前針對文本的信息挖掘是國內(nèi)外研究的熱點，然而針對企業(yè)文本的信息挖掘研究卻很少，在對于企業(yè)文本進行處理時存在如下問題：
　　1）對于某類別的企業(yè)文本分詞后，若用所有詞代表這類文本，則存在數(shù)據(jù)維度過大的問題；<

2、br>　　2）運用通用的搜索引擎來搜索企業(yè)產(chǎn)品的信息時，存在搜索內(nèi)容廣、信息過濾程度低的問題。
　　為了方便地讓用戶獲取企業(yè)的文本信息，本文針對上述兩個問題開展研究并提出了解決方案：針對分詞后企業(yè)文本數(shù)據(jù)維度過大的問題，本文在對企業(yè)文本特點總結(jié)的基礎(chǔ)上，提出了將基于規(guī)則、基于統(tǒng)計以及文本詞性標注方法相結(jié)合的企業(yè)文本特征抽取方法，該方法對于企業(yè)文本進行分詞以及詞性標注，運用規(guī)則生產(chǎn)觸發(fā)詞詞典，將觸發(fā)詞以及詞性結(jié)合起來對于企業(yè)文本進行

3、信息標注，從而得到一個觀察序列，運用統(tǒng)計模型對于觀察序列解碼從而得到需要抽取的信息，實驗表明該方法具有較高的召回率、準確率、維度縮減率；針對通用搜索引擎信息過濾率低的問題，提出了構(gòu)建面向企業(yè)的搜索引擎平臺。針對傳統(tǒng)搜索引擎排序中文本排序算法的不足，提出了將PageRank算法、分類技術(shù)、文檔詞頻-逆向詞頻值相結(jié)合來改進文本排序算法，該算法對于用戶查詢的關(guān)鍵字進行預(yù)分類，判斷用戶的輸入關(guān)鍵字最可能屬于的文本類型。基于文本類型優(yōu)先從企業(yè)文本