基于多特征的Web頁(yè)面分塊算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，Web已成為人們獲取信息的重要來(lái)源。為了滿足人們不斷增長(zhǎng)的從互聯(lián)網(wǎng)上獲取信息的需求，Web信息抽取技術(shù)不可避免地成為當(dāng)今研究的技術(shù)熱點(diǎn)。由于互聯(lián)網(wǎng)上的Web頁(yè)面往往具有多樣性、不規(guī)范性、包含信息復(fù)雜以及半結(jié)構(gòu)化等特性，這些特性為Web信息抽取技術(shù)帶來(lái)了很大的困難。如何使Web信息抽取技術(shù)不受Web頁(yè)面特性影響而具有通用性，并能精確地抽取頁(yè)面信息成為Web信息抽取技術(shù)亟待解決的問(wèn)題。
　　 在對(duì)復(fù)雜的Web頁(yè)

2、面進(jìn)行信息抽取的過(guò)程中，Web頁(yè)面分塊技術(shù)成為目前研究的一個(gè)方向。然而，目前的Web頁(yè)面分塊算法多數(shù)利用單一特征信息對(duì)Web頁(yè)面進(jìn)行分塊，不能很好地應(yīng)對(duì)復(fù)雜多變的Web頁(yè)面類型。針對(duì)這種情況，本文提出了基于多特征的Web頁(yè)面分塊算法，該算法先將Web頁(yè)面分成若干個(gè)相互獨(dú)立的語(yǔ)義塊，再根據(jù)應(yīng)用的需要，從中選取具有相應(yīng)語(yǔ)義特征的語(yǔ)義塊進(jìn)行信息抽取。本文首先分析了Web頁(yè)面中的布局特征、顯示特征、語(yǔ)義特征和文檔結(jié)構(gòu)特征等多特征信息，建立了基于

3、多特征的Web頁(yè)面語(yǔ)義塊模型。在此基礎(chǔ)上，本文提出了基于多特征的Web頁(yè)面分塊算法MFPS，并闡述了MFPS分塊算法的基本思想和執(zhí)行過(guò)程。然后，本文重點(diǎn)闡述了MFPS分塊算法的實(shí)現(xiàn)，其中分析并解決了相似塊識(shí)別的問(wèn)題，闡述了包括單行類型、多行類型、多塊類型、行塊交替類型等類型的結(jié)點(diǎn)序列的合并方法，給出了包括語(yǔ)義類型、分割類型、多特征信息的識(shí)別方法，給出了MFPS分塊算法的形式化描述，并對(duì)MFPS分塊算法的性能做了分析。最后，本文提出了以M