自然場景文本信息提取關(guān)鍵技術(shù)研究.pdf

1、圖像中的文字信息作為場景內(nèi)容的一部分,往往為人們或計(jì)算機(jī)理解場景提供了直接而關(guān)鍵的線索。比如路牌、商店招牌、交通提示牌和各種建筑物上的文字信息,這些文字信息都具有明確的含義,是場景信息的重要表現(xiàn)形式。因此,自動提取場景中的文本信息可廣泛應(yīng)用于各種需要對場景中的文本進(jìn)行分析和理解的場合,如視頻和圖像檢索系統(tǒng),涉外導(dǎo)游自動翻譯、盲人引路、機(jī)器人行走和智能監(jiān)控系統(tǒng)等。該課題目前已成為計(jì)算機(jī)視覺和文檔分析領(lǐng)域的研究熱點(diǎn)之一。本文對自然場景文本信

2、息提取的關(guān)鍵技術(shù)進(jìn)行了深入的研究,論文取得了以下主要研究成果:
　　1.從頻域出發(fā),提出了一種將紋理分析和模板匹配驗(yàn)證策略相結(jié)合的復(fù)雜文本定位方法。考慮到具有一定寬度和方向的文字筆畫可視為一種帶通信號,而小波變換在捕捉這種帶通信號方面具有較大的優(yōu)勢。首先將輸入圖像進(jìn)行小波變換,提取每個像素局部區(qū)域的紋理統(tǒng)計(jì)特征,采用蟻群聚類算法進(jìn)行聚類分析,并結(jié)合基于密度的區(qū)域生長算法得到文本候選區(qū)域;然后提取候選文本塊的LBP-HF特征,利用模

3、板匹配的方式進(jìn)行文本和非文本的確認(rèn),最后得到文本區(qū)域的位置。
　　2.針對復(fù)雜場景中文本和非文本難以有效區(qū)分的問題,將小波變換和多尺度LBP算子相結(jié)合,提出了一種能夠有效表達(dá)文本模式的WTLBP特征。在此基礎(chǔ)上,提出了一種基于WTLBP特征和支持向量機(jī)(Support Vector Machine,SVM)的復(fù)雜場景文本定位方法。算法首先根據(jù)中文文字的結(jié)構(gòu)及筆畫方向特點(diǎn),設(shè)計(jì)合適的邊緣檢測算子提取文字的筆畫邊緣,進(jìn)行形態(tài)學(xué)濾波后形

4、成備選文本區(qū)域集合;然后提取候選文字區(qū)域的WTLBP特征,結(jié)合SVM分類器實(shí)現(xiàn)文本區(qū)域的確認(rèn)。
　　3.針對文本驗(yàn)證時僅考慮其區(qū)域特征而忽視文本區(qū)域的空間位置關(guān)系的問題,提出了一種基于多特征和圖割模型的場景文本驗(yàn)證方法。算法首先分析了候選文本連通區(qū)域的空間關(guān)系及其在候選文本區(qū)域驗(yàn)證中的作用;然后根據(jù)文本區(qū)域的空間關(guān)系,建立候選文本區(qū)域的鄰域連接圖。在此基礎(chǔ)上,將候選文本區(qū)域映射為一個有權(quán)無向圖,以組合優(yōu)化的方式將候選文字區(qū)域標(biāo)記為

5、文本或背景。實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。
　　4.針對復(fù)雜場景文本難以有效分割的問題,提出了一種基于擴(kuò)展馬爾可夫隨機(jī)場(Markov Random Field,MRF)模型的場景文本分割方法。首先分析了經(jīng)典MRF模型的優(yōu)勢和不足,提出了一種擴(kuò)展的 MRF模型。其次,在分析場景文本特點(diǎn)的基礎(chǔ)上,提取文本的顏色和最大梯度差(Maximum Gradient Difference,MGD)特征,將文本的上下文信息與多特征統(tǒng)一在同一概率框

6、架下,利用圖割算法對所建立的模型進(jìn)行推斷。最后在兩種數(shù)據(jù)庫上,對算法的性能進(jìn)行了測試比較,結(jié)果表明了所提出的模型適合處理復(fù)雜情況下的文本分割問題。
　　5.針對復(fù)雜場景文本的多樣性,提出了一種基于局部顏色一致性和圖割模型的復(fù)雜場景文本分割方法。算法首先利用文字筆畫顏色一致性特點(diǎn),采用SLIC算法將輸入圖像分割為若干局部同質(zhì)區(qū)域,將局部區(qū)域代替像素點(diǎn)構(gòu)建圖模型;其次,根據(jù)文字筆畫的雙邊緣特點(diǎn),自動提取文字和背景種子點(diǎn);提出采用兩種模