面向Web視頻的網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf

1、計(jì)算機(jī)硬件的處理能力的不斷增強(qiáng)以及網(wǎng)絡(luò)帶寬逐年的擴(kuò)容，使人們在網(wǎng)絡(luò)上在線收看視頻甚至是高清視頻成為現(xiàn)實(shí)。網(wǎng)絡(luò)視頻開始逐漸取代了傳統(tǒng)電視的地位，成為人們觀看視頻的第一選擇。因此，人們需要一種工具來達(dá)到對網(wǎng)絡(luò)視頻進(jìn)行快速檢索的目的。
　　目前我們常用的搜索引擎大多數(shù)都是通過關(guān)鍵字來進(jìn)行檢索，但是對于具有豐富信息的視頻數(shù)據(jù)來說，用戶很難用精確的語言來概括視頻的特征，使用語言來描述具有一定的主觀性，通過這種方式往往會搜出大量無用的信息，效

2、率十分低下。因此，我們需要一種更直觀的方式來對網(wǎng)絡(luò)視頻進(jìn)行檢索?；趦?nèi)容的web視頻搜索引擎正是在這樣的需求下產(chǎn)生的?；趦?nèi)容的視頻檢索技術(shù)，是通過對視頻進(jìn)行鏡頭檢測，然后提取鏡頭關(guān)鍵幀，對特征進(jìn)行提取后，利用視頻特征進(jìn)行檢索的技術(shù)。網(wǎng)絡(luò)爬蟲是構(gòu)建基于內(nèi)容的web視頻搜索引擎的基礎(chǔ)，首先需要將網(wǎng)絡(luò)中成千上萬的視頻數(shù)據(jù)通過爬蟲收集起來，搜索引擎才能進(jìn)一步對視頻的內(nèi)容進(jìn)行分析處理，建立索引。
　　本文以實(shí)現(xiàn)基于內(nèi)容的視頻搜索引擎為目的

3、，深入研究了Heritrix爬蟲的相關(guān)技術(shù)，流式傳輸技術(shù)及網(wǎng)絡(luò)數(shù)據(jù)包的捕獲技術(shù)。由于現(xiàn)在很多視頻網(wǎng)站隱藏了視頻的真實(shí)地址，通過查看地址欄的地址或解析HTML文本都無法得到視頻的真實(shí)地址。因此，本文提出了通過分析視頻服務(wù)器與本地網(wǎng)卡的網(wǎng)絡(luò)交換數(shù)據(jù)包來獲取視頻下載地址的方法，在Heritrix爬蟲的基礎(chǔ)上實(shí)現(xiàn)了通過網(wǎng)絡(luò)爬蟲爬取視頻文件的功能，設(shè)計(jì)出了面向web視頻的網(wǎng)絡(luò)爬蟲。
　　本文首先介紹了web視頻搜索引擎系統(tǒng)的總體設(shè)計(jì)，分別介