面向企業(yè)競爭情報的Web文本挖掘關(guān)鍵技術(shù)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,Web資源已成為企業(yè)獲得競爭情報的重要來源。但是,從Web資源中獲取的文本情報信息量往往比較大,來源廣泛,不利于閱讀分析,同時也存在著很多重復(fù)的內(nèi)容,大大降低了文本情報的利用價值。如何通過Web文本挖掘技術(shù)來提高文本情報的利用價值成為本文研究的重點。
　　 本文通過分析Web頁面結(jié)構(gòu),設(shè)計和實現(xiàn)了解析HTML文檔樹的方法,并從Web頁面中抽取出了具有真正意義的文本內(nèi)容。采用了基于字典的統(tǒng)計分詞算法對文本進(jìn)行

2、分詞處理,并在此基礎(chǔ)上去除了文本中的無意義詞。在分析已有關(guān)鍵詞提取方法的基礎(chǔ)上,引入了一種基于詞的統(tǒng)計和分布的權(quán)重計算方式實現(xiàn)了文
　　 本關(guān)鍵詞的提取。綜合考慮關(guān)鍵詞、句子在文章中的位置以及特殊標(biāo)記等因素,采取直接從文中提取句子的方法實現(xiàn)了文摘的自動獲取。針對重復(fù)的文本情報,在計算文本特征句最長公共子序列的基礎(chǔ)上實現(xiàn)了文本情報的去重。本文同時分析了SVM分類器所存在的問題,在SVM分類器兩類可分的基礎(chǔ)上通過結(jié)合二叉決策樹實現(xiàn)了