校園網(wǎng)中課件資源的爬取與檢索.pdf

1、伴隨著人類科技的不斷的進步，互聯(lián)網(wǎng)已經成為人們獲取信息增強聯(lián)系的一個極為重要的方面。在信息增長速度驚人的今天，怎樣從如此巨大的信息量中能夠快速準確的獲取我們需要的信息，于是互聯(lián)網(wǎng)搜索引擎就作為行之有效的信息檢索工具，切合人們的需要而誕生，而web搜索引擎技術，也成為計算機科學界和信息產業(yè)界一個熱點。 在校園網(wǎng)的建設中，出于教學的需要，同時也是校園網(wǎng)特色的體現(xiàn)，對于網(wǎng)絡上優(yōu)秀課件的檢索可以更好的為老師和學生提供教學和學習上的方便。

2、課件是根據(jù)教學大綱的要求，經過教學目標確定，教學內容和任務分析，教學活動結構及界面設計等環(huán)節(jié)，而加以制作的課程軟件。它與課程內容有著直接聯(lián)系?，F(xiàn)在應用最廣泛的多媒體課件形式是PPT，除此之外還有以DOC，PDF等格式保存在網(wǎng)絡之中的課件，傳統(tǒng)的搜索在信息獲取的準確度和內容分析等方面存在著較為明顯的缺陷，所以，如何更全面、更準確地獲取網(wǎng)絡之中的課件已經成為現(xiàn)在搜索領域的一個新課題新方向，也充滿了挑戰(zhàn)和機遇。 作為一個比較新興的方向

3、，同時也存在著很多的實際問題，比如在網(wǎng)絡上課件在保存的形式以及保存格式上的不統(tǒng)一不規(guī)范，分類的不明確等等。本文將實現(xiàn)一個在校園網(wǎng)內的對課件進行定向爬取，有著良好的結構化索引，并具有較高的檢索準確率的課件檢索系統(tǒng)，從而滿足校園網(wǎng)搜索引擎的需要。 本文在研究Web搜索引擎的基本原理、核心技術和處理流程的基礎上，結合對校園網(wǎng)課件搜索引擎具體需求的分析，搭建了山東大學校園網(wǎng)課件搜索引擎系統(tǒng)。 本文詳細說明了該課件搜索引擎系統(tǒng)的開

4、發(fā)過程和方法，并對搜索引擎的內部軟件組織和數(shù)據(jù)結構、數(shù)據(jù)存儲方法等內容都進行研究、分析和設計。 本文還介紹了插件機制，在網(wǎng)絡爬蟲方面，利用到了定向的頁面爬取，通過對爬取到課件相關網(wǎng)頁進行信息的抽取建立多field的信息索引，從而用戶可以通過多條件結構化查詢方式來檢索，并通過合適的相關性算法以及網(wǎng)頁重要度的計算方法，計算出網(wǎng)頁重要度，以對檢索結果進行排序。借助了JAVA的索引軟件包lucene作為底層來實現(xiàn)，利用eclipse來完