大規(guī)模Web文本快速分類關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)上的以 HTML網(wǎng)頁文本形式承載的信息，呈現(xiàn)出大規(guī)模爆炸形式的劇增，不只對(duì)分類精度提出了新的要求，更重要的是重新定義了分類速度的標(biāo)準(zhǔn)和要求。以往關(guān)于文本分類的研究側(cè)重于算法的精細(xì)設(shè)計(jì)以提高分類精度，而現(xiàn)在除了對(duì)精度有所要求，對(duì)于分類速度快速提升的需求尤其迫切。面對(duì)互聯(lián)網(wǎng)快速發(fā)展時(shí)期的這一新的挑戰(zhàn)，本文對(duì)大規(guī)模 Web文本快速分類過程中的若干關(guān)鍵問題展開了深入的研究，取得了具有一定借鑒意義的進(jìn)展。
　　本文研究了相關(guān)經(jīng)典的網(wǎng)頁

2、正文提取技術(shù)，發(fā)現(xiàn)大多數(shù)算法是需要分析 HTML標(biāo)簽意義或者 HTML結(jié)構(gòu)特點(diǎn)的，而這個(gè)分析過程會(huì)非常耗費(fèi)時(shí)間。本文提出了基于窗口長(zhǎng)度的最長(zhǎng)連續(xù)串的提取算法。該算法無需分析具體 HTML標(biāo)簽意義和結(jié)構(gòu)，只是根據(jù)字符串的長(zhǎng)度的特點(diǎn)就可以求出正文所在的位置。提取出網(wǎng)頁正文文本后，由于互聯(lián)網(wǎng)上有很多文本信息是重復(fù)的或者是相似的，為了降低計(jì)算量，需要做文本去重。算法Simhash是大規(guī)模網(wǎng)頁去重的經(jīng)典算法，但它是針對(duì)詞語的組合形式，對(duì)于詞語順序

3、排列沒有檢查，由此本文提出用 Shingle思想有序詞語的劃分作為局部語序影響因子，加入到Simhash算法中，彌補(bǔ)了Simhash算法中語序無關(guān)的不足。接下來是文本分類過程。在文本分類的幾個(gè)處理階段中，除了將各個(gè)階段算法應(yīng)用到了分布式并行化框架Hadoop中，著重的優(yōu)化了 NB算法分類。主要思想是參考信息檢索中倒排樹結(jié)構(gòu)，在索引樹節(jié)點(diǎn)中存儲(chǔ)需要重復(fù)計(jì)算的中間結(jié)果，以及使用倒排索引結(jié)構(gòu)來查詢檢索詞語及其某些分類信息，同時(shí)做了橫向和縱向的