基于詞匯集聚的網(wǎng)絡(luò)文本相關(guān)度計算.pdf

1、隨著Internet網(wǎng)信息的急速膨脹，各項和Web有關(guān)的服務(wù)也都逐漸增多，Web信息在很多方面得到了廣泛的應(yīng)用。在本文中，我們探索了網(wǎng)絡(luò)文本之間的相關(guān)度計算方法。重點討論了以下兩個問題：
　　首先，網(wǎng)絡(luò)文本的獲得。網(wǎng)絡(luò)文本的獲得是指從網(wǎng)頁中抽取出主題正文信息，屬于信息抽取。網(wǎng)頁具有半結(jié)構(gòu)化的特點，其內(nèi)容不光有我們所要的表達某一主題的文本，還有以盈利為目的廣告信息、用來指示與該網(wǎng)頁相關(guān)聯(lián)的網(wǎng)頁的鏈接及鏈接描述（錨文本）、給瀏覽器閱讀

2、的網(wǎng)頁源代碼等等，從中抽取出其中表達某一主題的文本，過濾掉不相干的信息，這是我們所要研究的內(nèi)容。
　　其次，文本相關(guān)度的計算。文本相關(guān)度指文本之間聯(lián)系的緊密程度。人們常?；谙蛄靠臻g模型來計算文本之間的相關(guān)度。
　　本文首次用最大熵解決了網(wǎng)絡(luò)文本的獲取問題，提出了基于最大熵的網(wǎng)頁正文信息抽取算法；對于文本相關(guān)度計算，我們研究了詞匯集聚與文本主題之間的關(guān)系，分析了詞匯集聚反應(yīng)文本主題的幾個因素，并組合了這些因素，最后我們提出了