[教育]以碎形特徵偵測鏡頭轉(zhuǎn)換

1、以碎形特徵偵測鏡頭轉(zhuǎn)換Shot Change Detection By Fractal Signature,,,問題起因,影音技術(shù)的普及+網(wǎng)路的廣泛應(yīng)用 ＝影音資料大量產(chǎn)出及散佈 副產(chǎn)物：影音資料的氾濫及冗餘新一代的影音技術(shù)在於追求快速的影音資料管理及檢索：Mpeg 7應(yīng)用: 數(shù)位圖書館，教育等的影音資料庫的存儲和檢索 多媒體編輯:個人化的電子新聞服務(wù)、媒體編輯 多媒體目錄服務(wù):

2、電話簿黃頁，遊客資訊 廣播媒體選擇:廣播頻道查尋，電視節(jié)目查尋 ……..,為何以影像內(nèi)容進(jìn)行檢索,傳統(tǒng)以人工方法對影片內(nèi)容下註解：耗費(fèi)人力、無法精準(zhǔn)反應(yīng)映片內(nèi)容。較理想方法：由電腦依影片內(nèi)容分段，取出片段內(nèi)之靜態(tài)特徵存入資料庫使用者以影片內(nèi)容對資料庫進(jìn)行搜尋,影片階層分類,鏡頭變換種類,突然鏡頭轉(zhuǎn)換(Abrupt Cut),漸進(jìn)式鏡頭轉(zhuǎn)換（Gradual Transition）,基本轉(zhuǎn)換過程表示

3、 , 為開始及目的端片段在時間t時畫面上座標(biāo)(i,j)之像素 , 為合成畫面 座標(biāo)(x,y)中開始及目的端片段所佔(zhàn)之比例,,,,,,,,,,,,,淡入淡出(fade in/fade out),溶解(dissolve),搖攝(Wipe)例子,Push,Wipe之變形，作用過程非取代而是將原畫面推擠出去,常見之判斷特徵,像素(Pixel)直方圖(His

4、tograms)邊緣追蹤(Edge Tracking),像素(Pixel),,對攝影鏡頭的動作太過敏感對畫面內(nèi)物體移動太過敏感,Kasturi ,Likelihood Ratio ,1991,,,為改善物體及鏡頭移動影響引入?yún)^(qū)塊的概念計(jì)算畫面間相對應(yīng)區(qū)塊差異值:統(tǒng)計(jì)明顯變化區(qū)塊數(shù)量，用以判別是否有鏡頭轉(zhuǎn)換,直方圖(Histograms),Nagasaka,1998,,引入?yún)^(qū)塊的概念，將原圖切割為16區(qū)塊僅取各區(qū)塊中8個差

5、值較小者並取其平均平均值和臨界值比較判別是否有鏡頭轉(zhuǎn)換,Zabith,1995,,不同類型轉(zhuǎn)換之ECR( Edge Change Ratio),動機(jī),漸進(jìn)式鏡頭轉(zhuǎn)換依然缺乏有效的解決方法漸進(jìn)式鏡頭轉(zhuǎn)換是人為刻意的安排現(xiàn)今的判斷法，必須倚靠臨界值臨界值無法反映漸進(jìn)式鏡頭轉(zhuǎn)換的變數(shù)： 影片的類型、轉(zhuǎn)換的類型、轉(zhuǎn)換時間的長度,碎形(Fractal),自我相似性影像分割Range BlockDomain Block,Vi

6、nes (1993)，碎形正交基底,利用複數(shù)個之 (Orthonormal basis vectors)去產(chǎn)生Range方塊之近似Domain方塊在同一訓(xùn)練圖I分為R、G、B三個平面訓(xùn)練Orthonormal basis vectors每個Range方塊對三個平面Orthonormal basis vectors編碼取得索引,畫面間差異量化,將比對影像之索引檔以Nonatree方法切割為兩層之子圖索引，並扣除重複者子圖之索引檔取

7、出後，搜尋比對畫面中最相似之子圖將子圖之個別差值加總即可得到兩張不同影像間之差異值,Dissolve開始及目的片段所佔(zhàn)比例由轉(zhuǎn)換時間長度及經(jīng)過時間所決定 ：轉(zhuǎn)換過程畫面上任意點(diǎn)由p轉(zhuǎn)換到q之像素在時間軸t到t+1之表示式: 時間t時之組成： 時間t+1時之組成：其差為定值：,,,,Dissolve轉(zhuǎn)換中相鄰畫面差為定值,,可能轉(zhuǎn)換過程位置,精鍊起終點(diǎn)位置,,,Fpl定義：

8、,Bpl定義:,,檢查點(diǎn)位置之影響,多個可能點(diǎn)之判斷,,量化Fpl機(jī)率：,量化Bpl機(jī)率：,,參考參數(shù),紅線：終止點(diǎn)綠線：中位點(diǎn)籃線：Corner point,多個可能點(diǎn)之判斷例子,搜尋效能,P(n)：搜尋輸出影像總數(shù) n 求得之precision值R(n)：搜尋輸出影像總數(shù) n 求得之recall值,比對方法,B. Yeo ,1995各畫面和其後第k個畫面進(jìn)行差值比對將轉(zhuǎn)過過程區(qū)域凸顯成”高原”偵測”高原”的條件：,,,Z