互聯(lián)網(wǎng)視頻信息獲取技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來隨著視頻服務(wù)網(wǎng)站的蓬勃發(fā)展，對Internet上的視頻信息進(jìn)行數(shù)據(jù)集成已經(jīng)成為互聯(lián)網(wǎng)應(yīng)用的迫切需求。
　　 視頻信息分布于于無數(shù)的、結(jié)構(gòu)和內(nèi)容互異的網(wǎng)頁中，因此，為了獲取互聯(lián)網(wǎng)視頻信息，必須解決以下兩個(gè)問題：
　　 1)如何荻取這些存放視頻信息的網(wǎng)頁；
　　 2)如何從這些網(wǎng)頁中將視頻信息抽取出來。
　　 通常這兩個(gè)問題并不是孤立的。一般而言，針對某一類在結(jié)構(gòu)或內(nèi)容上具有某種特殊性的網(wǎng)頁容易設(shè)計(jì)出較

2、高效的信息抽取方法：為了設(shè)計(jì)高效而可行的信息抽取方法，也要求所處理的網(wǎng)頁并不是完全雜亂無章，而是某一類的網(wǎng)頁。
　　 本文圍繞以上兩個(gè)問題進(jìn)行了相關(guān)研究并提出了解決方案，該方案包括以下兩個(gè)方面：
　　 1)在網(wǎng)頁獲取方面，本文針對視頻服務(wù)網(wǎng)站的特點(diǎn)，將要獲取的網(wǎng)頁鎖定在搜索結(jié)果頁、視頻播放頁等兩類網(wǎng)頁，并研究相應(yīng)的獲取方法。其中搜索結(jié)果頁的獲取主要針對大型視頻服務(wù)網(wǎng)站，視頻播放頁獲取主要針對小型視頻服務(wù)網(wǎng)站。搜索結(jié)果頁獲

3、取的步驟包括：a)定位web數(shù)據(jù)庫入口；b)用模擬人工操作的方法獲得搜索結(jié)果頁，進(jìn)而獲得URL組裝機(jī)；c)用URL組裝機(jī)組裝不同搜索字對應(yīng)的搜索結(jié)果頁的URL，并獲取相應(yīng)的搜索結(jié)果頁。視頻播放頁獲取步驟為：a)利用通用網(wǎng)絡(luò)爬蟲獲取網(wǎng)頁；b)通過特征腳本URL、播放器父節(jié)點(diǎn)的HTML文本、播放頁模板集這三個(gè)要素的判定，識別網(wǎng)頁是否為視頻播放頁。
　　 2)在信息抽取方面，本文結(jié)合視頻服務(wù)網(wǎng)站中搜索結(jié)果頁的結(jié)構(gòu)特點(diǎn)以及網(wǎng)頁的視覺信息

4、，通過改進(jìn)一般的數(shù)據(jù)列表頁的信息抽取方法，提出了一種有效的信息抽取方法。該方法首先利用網(wǎng)頁視覺信息定位數(shù)據(jù)區(qū)域(data region)，然后通過子樹匹配確定數(shù)據(jù)區(qū)域中所有數(shù)據(jù)項(xiàng)的path，后續(xù)網(wǎng)頁則可以使用數(shù)據(jù)項(xiàng)的path抽取出來；結(jié)合視頻服務(wù)網(wǎng)站中視頻播放頁的特點(diǎn)，通過改進(jìn)一般的非數(shù)據(jù)列表頁的數(shù)據(jù)抽取方法，提出了在視頻播放頁中進(jìn)行視頻信息抽取的方法。該方法通過依次去除背景噪聲、隨機(jī)噪聲、殘留噪聲來實(shí)現(xiàn)。
　　 上述方法已應(yīng)用