自然圖像中文字檢測與識別研究.pdf

1、作為人類思想和情感的一種重要載體，文字在人類生產(chǎn)和生活的各個方面扮演著十分重要的角色。文字是普遍存在的元素，尤其是在現(xiàn)代城市環(huán)境中，文字幾乎無處不在。比如，海報、標(biāo)簽、名片、車牌、路牌和廣告牌等，都包含大量的文字。自然場景中的文字可以傳達豐富而準(zhǔn)確的高層語義信息，是理解場景內(nèi)容的關(guān)鍵元素，因此自動文字檢測和識別技術(shù)在圖像搜索、地理定位、人機交互、機器人導(dǎo)航、無人駕駛汽車和工業(yè)自動化等諸多領(lǐng)域具有廣闊的應(yīng)用前景。
　　傳統(tǒng)的光學(xué)字符

2、識別(OCR)僅針對文檔圖像。文檔圖像一般通過高精度掃描得到，分辨率高、背景簡單，其中的文字大多數(shù)情況下字體規(guī)則、色彩單一且排列整齊，因此文字分割和識別的難度較小。與之相比，自然場景中文字的檢測和識別具有相當(dāng)大的挑戰(zhàn)性：一方面，自然場景中的文字具有多樣性，它們可能具有不同的字體、顏色、大小、方向和排列方式，甚至可能屬于不同的語言；另一方面，自然場景中的復(fù)雜背景以及低分辨率、強光、陰影、噪聲、模糊和遮擋等因素，也給文字的檢測和識別帶來巨大

3、的困難。
　　本文研究與自然圖像中文字的檢測和識別相關(guān)的基本問題，重點探究新穎、有效和魯棒的文字表達方法和模型，以應(yīng)對文字檢測和識別過程中的各種困難和挑戰(zhàn)。具體而言，本文從以下三個方面開展研究：
　　(1)自然場景中的文字可能以任意方向排列，而以往的文字檢測算法假設(shè)文字以水平方向排列，因此無法處理非水平的文字。提出一種可以從自然圖像中發(fā)現(xiàn)和定位不同方向、不同尺度文字的檢測算法。基于自然場景中文字自身的本質(zhì)特性，設(shè)計兩組旋轉(zhuǎn)和

4、尺度不變的特征，并提出一種兩層分類結(jié)構(gòu)。實驗表明該算法可以檢測復(fù)雜場景中的任意方向、不同尺度的文字，同時可有效減少虛警。此外，為更好地測試、評估和比較不同的文字檢測算法，整理和發(fā)布一個包含多方向文字的自然圖像數(shù)據(jù)集并制定一套適用于多方向文字檢測的性能評價準(zhǔn)則。
　　(2)針對已有的端到端文字識別系統(tǒng)只能適應(yīng)水平排列文字的弊端，提出一個能夠處理任意方向文字的端到端識別系統(tǒng)。不同于之前的系統(tǒng)，該系統(tǒng)將文字檢測和識別作為一個整體，在檢測

5、和識別過程中共享相同的特征和分類結(jié)構(gòu)；可以定位并且識別自然場景中不同方向排列的文字；為提高文字識別精度，提出一種新的基于字典搜索的糾錯策略。整理和發(fā)布一個新的包含多方向文字的圖像數(shù)據(jù)集，用于評估端到端文字識別算法。實驗表明該系統(tǒng)在標(biāo)準(zhǔn)數(shù)據(jù)集以及發(fā)布的數(shù)據(jù)集上均取得優(yōu)異的檢測和識別性能。
　　(3)為進一步提高文字識別精度，提出一種全新的文字表達模型，稱為多尺度筆畫模型。該表達模型由一組多尺度中層視覺元素組成，這些元素通過無監(jiān)督的方