一種基于內(nèi)容的廣告垃圾圖像過濾方法

1、一種基于內(nèi)容的廣告垃圾圖像過濾方法,,目錄,論題意義及其必要性過濾原理與實(shí)現(xiàn)方法實(shí)驗(yàn)和結(jié)果分析,論題意義及其必要性,垃圾郵件問題日益嚴(yán)重： 2005年7月，中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）發(fā)布的《第十六次中國互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，中國網(wǎng)民平均每周收到14.5封電子郵件，其中垃圾郵件占了9.3封，垃圾郵件數(shù)量已經(jīng)大大超過了正常郵件數(shù)量。 基于文本過濾方法的局限性 ： 第一 、基于文本的過濾受到

2、文本語言種類的限制； 第二、垃圾郵件發(fā)送者（spamer）經(jīng)常使用各種各樣的騙術(shù)來迷惑基于文本的垃圾郵件過濾器，比如將文字頁面轉(zhuǎn)換為圖像；有數(shù)據(jù)顯示，包含圖像的垃圾郵件占所有垃圾郵件的25%。可見，這種欺騙手段已經(jīng)被垃圾郵件制作者們頻繁利用，如果沒有找到可行的解決辦法，這個(gè)數(shù)字還會(huì)上升。 第三、隨著因特網(wǎng)的范圍和容量不斷增長，郵件包含越來越多的多媒體信息。,一些廣告垃圾圖片的示例,,,,,,目錄,論題意義及其

3、必要性過濾原理與實(shí)現(xiàn)方法實(shí)驗(yàn)和結(jié)果分析,過濾的原理,任何廣告都需要用文字來傳播某種信息。也就是說，廣告垃圾圖像的文字區(qū)域特征具有普遍性。本文正是利用廣告垃圾圖像的文字區(qū)域特征來進(jìn)行廣告垃圾圖像過濾。 基本步驟： 1.提取圖像的邊緣信息，并把邊緣信息做二值化處理； 2.將二值化邊緣圖像進(jìn)行膨脹處理，使相鄰的字符連通起來,并把膨脹處理后 的所有連通區(qū)域作為候選文字區(qū)域記錄下來； 3.利用文字區(qū)域的特征從

4、候選文字區(qū)域中篩選出正確的文字區(qū)域； 4.根據(jù)得到的文字區(qū)域的數(shù)量和面積等特征對(duì)圖像進(jìn)行分類，把廣告垃圾圖 像和合法圖像區(qū)分開來。,彩色邊緣提取,由于廣告圖像中的文本與背景有較強(qiáng)的對(duì)比度，表現(xiàn)為在文本與背景的交界處，存在十分明顯的高頻區(qū)域，因此可以用提取邊緣的方法來大致估計(jì)出文本可能存在的區(qū)域。 由于廣告垃圾圖像大多為彩色圖像，所以本文采用張引等提出的彩色圖像邊緣提取算子來提取邊緣，利用彩色三分量的彩色邊緣

5、提取算法，充分利用了全面的色彩信息，效果優(yōu)于傳統(tǒng)的灰度邊緣提取算法。 邊緣提取的具體做法如下： 已知輸入圖像f的RGB值，其中象素（i，j）的RGB分量分別為R（i，j），G（i，j），B（i，j）。要計(jì)算圖像f的邊緣圖像Edge。 Eud（i1, j1; i2 , j2）定義為像素點(diǎn)（i1 , j1）與（i2 , j2）之間的彩色值歐氏距離。,原圖與邊緣

6、圖像,（a）原圖 （b）邊緣圖像,,,邊緣圖像二值化,閾值選取方法： 首先計(jì)算邊緣圖像Edge的歸一化灰度直方圖h（i）： 其中，ni是圖像Edge中灰度值為i的象素的個(gè)數(shù)，N是圖像象素總數(shù)。 因?yàn)槲淖謪^(qū)域邊緣十分明顯，所以本文認(rèn)為文字區(qū)域邊緣的灰度級(jí)一般比較高。于是需要找到一個(gè)灰度級(jí)k作為閾值，把灰

7、度大于k的邊緣象素點(diǎn)保留，灰度小于k的邊緣象素點(diǎn)忽略。 令 ； eh(k)表示保留的邊緣象素?cái)?shù)占圖像總象素?cái)?shù)的比例；找到一個(gè)盡可能大的灰度級(jí)k使得eh（k）大于閾值TH1；如果此時(shí)k小于下限TH2，則把TH2作為二值化的閾值，否則把k作為二值化的閾值。在實(shí)驗(yàn)中，我們?nèi)H1=0.2，TH2=120（認(rèn)為文字區(qū)域邊緣的灰度級(jí)不應(yīng)低于120）。,二值化邊緣圖像,（c

8、）二值化邊緣圖像,,,候選文本區(qū)域提取,從二值邊緣圖像中可以看出，由于文字的分布比較集中，所以文字附近的邊緣比較豐富，而且屬于同一文字區(qū)域的文字邊緣具有較小的距離。對(duì)于水平方向的文本行來說，可以用水平膨脹的方法將相鄰的邊緣連起來，形成連通的區(qū)域，從而在空間位置上將可能含有文本的區(qū)域檢測(cè)出來。 膨脹方法： 設(shè)f 為二值圖像，B為結(jié)構(gòu)元素，二值形態(tài)和（膨脹）定義如下： 其中

9、 表示以（x，y）為原點(diǎn)，形狀與結(jié)構(gòu)元素B相同的區(qū)域。膨脹運(yùn)算具有擴(kuò)大圖像的作用，膨脹可以看作是將圖像f中的每一個(gè)點(diǎn)（x，y）擴(kuò)大為 。 本文使用的結(jié)構(gòu)元素B是一條N個(gè)象素的水平線段。其中N由圖像的寬度決定，因?yàn)檩^寬的圖像里的文字的橫向間隔也會(huì)較寬。 本文中取N=imageWidth/250+1；其中imageWidth為圖像寬度 。 把膨脹操作后所得的連通區(qū)域所在的最小的矩形區(qū)域

10、記錄為候選的文字區(qū)域。,膨脹邊緣圖像,（d）膨脹邊緣圖像,,文本區(qū)域篩選,本文根據(jù)文字區(qū)域的視覺特征定義了若干約束條件，滿足所有約束條件的候選文字區(qū)域被認(rèn)為是文字區(qū)域。 本文中使用的約束條件有： （1）文字區(qū)域包含的邊緣信息豐富，因此連通區(qū)域的象素總數(shù)占連通區(qū)域所在矩形的象素總數(shù)的比例應(yīng)該大于某個(gè)閾值。 （2）文字高度不能太小，否則人眼將無法看清；也不會(huì)太大，應(yīng)在某一范圍內(nèi)。 （3

11、）因?yàn)槊總€(gè)文字區(qū)域都是同行的幾個(gè)字符粘連而形成的區(qū)域，所以文字區(qū)域的寬高比應(yīng)當(dāng)大于某一閾值。 （4）文字區(qū)域中存在一組連續(xù)的，邊緣信息相當(dāng)豐富的行。要求這段區(qū)域的高度占文字區(qū)域高度的一定比例，并且這段區(qū)域中的每一行的白點(diǎn)數(shù)目大于某一閾值。 （5）如果兩個(gè)候選文字區(qū)域具有包含關(guān)系或具有大部分重疊的關(guān)系，則保留面積較大的區(qū)域。 按照上述準(zhǔn)則，可以除掉候選文字區(qū)域中的虛假文字區(qū)域，得到了相對(duì)準(zhǔn)確的文字區(qū)域。下頁

12、的圖（e）為文字區(qū)域的提取結(jié)果，識(shí)別出的文字區(qū)域用紅色邊框標(biāo)出。,文字區(qū)域的提取結(jié)果,（e）文字區(qū)域的提取結(jié)果,,目錄,論題意義及其必要性過濾原理與實(shí)現(xiàn)方法實(shí)驗(yàn)和結(jié)果分析,實(shí)驗(yàn)和結(jié)果分析,實(shí)驗(yàn)流程如下圖所示：廣告垃圾圖像判定條件： 主要根據(jù)文字區(qū)域的數(shù)量和面積兩個(gè)特征判斷圖像是否為廣告垃圾圖像。本實(shí)驗(yàn)設(shè)定閾值th1，th2。如果圖像f的文字區(qū)域數(shù)量大于th1，或者文字區(qū)域面積占圖像總面積的比例大于th2，則

13、認(rèn)為圖像f為廣告垃圾圖像。經(jīng)實(shí)驗(yàn)證明，th1取值6，th2取值15%可以達(dá)到較實(shí)用的效果。,,文字區(qū)域提取實(shí)驗(yàn)結(jié)果,,,廣告垃圾圖像過濾實(shí)驗(yàn)結(jié)果,本文為做廣告垃圾圖像過濾實(shí)驗(yàn)，建立了一個(gè)圖像庫，分別由廣告垃圾圖像（39幀），普通圖像（1215幀）和紋理圖像（598幀）等三種圖像組成，下圖為圖像庫取樣。,廣告垃圾圖像過濾實(shí)驗(yàn)結(jié)果,實(shí)驗(yàn)數(shù)據(jù)表明，廣告垃圾圖像集合的檢出率接近80%，大部分特征明顯的廣告垃圾圖像都能被檢索出來；對(duì)普通圖像的誤檢