基于組合特征的網(wǎng)頁(yè)主題塊識(shí)別算法.pdf

1、在當(dāng)今的互聯(lián)網(wǎng)時(shí)代，Web是信息的重要來(lái)源，網(wǎng)頁(yè)則是展示信息的重要媒介。網(wǎng)頁(yè)傳遞著各種信息，但是其中有大量噪音信息嚴(yán)重影響了Web信息的自動(dòng)化挖掘和采集。如何準(zhǔn)確的識(shí)別出網(wǎng)頁(yè)的主題信息成為了計(jì)算機(jī)科學(xué)的研究熱點(diǎn)。本文對(duì)各種Web頁(yè)面主題信息識(shí)別的技術(shù)進(jìn)行了分析和總結(jié)，針對(duì)僅利用視覺(jué)特征或文本特征來(lái)識(shí)別Web頁(yè)面主題信息算法的不足，提出了一種基于組合特征的主題塊識(shí)別算法，實(shí)驗(yàn)證明本算法有效的提高了網(wǎng)頁(yè)主題信息識(shí)別的準(zhǔn)確率和穩(wěn)定性。

2、　　本研究主要內(nèi)容包括：⑴實(shí)現(xiàn)并改進(jìn)了VIPS算法。改進(jìn)了網(wǎng)頁(yè)分塊規(guī)則，對(duì)網(wǎng)頁(yè)塊尺寸閾值采用了動(dòng)態(tài)調(diào)整的方式來(lái)調(diào)整分塊粒度，使得分塊后的網(wǎng)頁(yè)塊語(yǔ)義更加完整。⑵借鑒BM25算法的思想，提出了計(jì)算網(wǎng)頁(yè)塊內(nèi)容與主題相關(guān)性的算法模型BBM25。BBM25以網(wǎng)頁(yè)塊為基本單位，從核心詞的權(quán)重、網(wǎng)頁(yè)塊中核心詞的詞頻、網(wǎng)頁(yè)塊的文本內(nèi)容長(zhǎng)度等幾個(gè)方面來(lái)考慮。⑶提出了基于組合特征的主題塊識(shí)別算法。對(duì)網(wǎng)頁(yè)分塊后，利用SVM根據(jù)網(wǎng)頁(yè)塊的視覺(jué)特征預(yù)測(cè)網(wǎng)頁(yè)塊是否為