基于標簽分類內容共享平臺的網頁自動文摘模型.pdf

1、近年來，隨著Internet的發(fā)展，以及網絡帶寬越來越大，使Internet能夠給人們的生活帶來很大的便利。比如電子商務的發(fā)展，使Internet網絡成為了一種新的經濟盈利模式。但是隨著Internet網頁容量的逐步增大，又使得人們難以有效的利用網絡數(shù)據(jù)，雖然搜索引擎能夠很方便的讓人們查找有用的信息，但是目前搜索引擎基于關鍵字的搜索很難滿足大多數(shù)的要求。如何讓Internet網絡中的數(shù)據(jù)能夠得到聚合并且簡化，這成為了目前許多自然語言處理

2、領域研究者共同關注的一個話題。 隨著Web2.0的興起，對自然語言處理的要求越來越高，而基于自然語言處理的Web2.0應用在Internet環(huán)境下取得了很大的成功，而基于標簽分類的內容共享系統(tǒng)作為其中的一個典型應用，在系統(tǒng)中，用戶通過標簽來分類管理網頁內容，系統(tǒng)可以通過標簽來統(tǒng)計出用戶的喜好，并可以看出目前流行的趨勢。在此基礎上搭建更好的應用。 目前，人們使用自然語言處理對網頁文本進行分類和自動文摘，這樣極大的提高了人們

3、使用網頁資源的效率。對網頁進行歸類能夠使人們有效的整理網頁文檔，提高對網頁搜索并且利用的效率；對網頁的自動文摘，可以過濾掉許多我們不需要的信息，只關注網頁中最核心的部分，這樣極大的提供了網頁的利用率。 本文嘗試用一種新的基于Web2.0標簽分類內容共享系統(tǒng)構建自動文摘模型。由于Web2.0標簽分類內容共享系統(tǒng)中標簽信息有利于自動文摘的生成，本文在構建自動文摘時充分利用這個特性，并對模型進行了必要的優(yōu)化。 本文首先通過對自

4、動文摘目前的發(fā)展作出概述，并總結出網頁文本數(shù)據(jù)的特點，結合這兩點對目前存在的網頁自動文摘方法進行剖析。在此基礎上結合Web2.0中標簽概念提出本文的對網頁自動文摘的模型： 首先根據(jù)文獻[4]提出的模型對網頁自動文摘建立初始模型一詞頻模型。這個模型主要使用經典的TF/IDF方法計算單詞的權重，在計算IDF時，我們使用標簽分類內容共享系統(tǒng)作為一個網頁信息的主要來源，在計算單詞權重的基礎上對句子進行選擇。最后選擇權重最高的句子作為網頁

5、的摘要。 在詞頻模型的基礎上，我們對模型進行了擴展。網頁中包含了許多有用的信息，比如網頁標題，網頁中的斜體，粗體，以及下劃線的文字都是一些有用的線索。為此我們定義了一些網頁數(shù)據(jù)的特征，然后利用訓練數(shù)據(jù)對這些特征進行訓練，利用樸素貝葉斯公式對每個句子進行評價。最后選擇權重最高的句子作為網頁的摘要。 詞頻模型以及詞頻模型的優(yōu)化都是從網頁本身入手，選擇出能夠代表網頁最重要信息的句子作為文摘。結合Web2.的標簽概念，我們利用標

6、簽這個外部信息來生成文摘。由于標簽之間存在關聯(lián)，在用標簽生成文摘模型的基礎上，對模型進行了改進，對那些統(tǒng)計意義上相關聯(lián)的標簽進行了統(tǒng)一評價，這樣比較客觀地對單詞進行評價。接下來考慮到句子之間可能存在語義上的重復，我們利用余弦定理對句子進行了消重。 利用經典的召回率(Recall)、準確率(Precision)、F1和ROUGE評價模型對文摘模型進行評價。首先在現(xiàn)有的標簽分類內容共享系統(tǒng)上進行試驗，說明標簽可以很好的反映出網頁的主