畢業(yè)答辯基于機器視覺的貼片電阻字符缺陷檢測模塊的設計與實現

1、,,,MOEMIL,答辯人：王祥舟,2015年04月23日,畢設結題答辯,,,MOEMIL,基于機器視覺的貼片電阻字符缺陷檢測模塊的設計與實現,,,MOEMIL,目 錄,背景介紹,算法流程,實驗結果,后期計劃,創(chuàng)新點,,,MOEMIL,背景介紹,,,MOEMIL,背景介紹,,貼片電阻多應用于集成芯片中，其具有體積小、重量輕、安裝密度高，抗震性強，抗干擾能力強，高頻特性好等優(yōu)點，廣泛使用在計算機、手機、電子辭典、醫(yī)療電子產品、攝錄機、電子

2、電度表及VCD機等中。目前貼片電阻主要大量應用在小型集成電路中。中國是貼片電阻生產的大國，在2008年中國的電阻器產量達到7080億只，占全球總供應量的30%。目前，中國貼片式電阻占到電阻器總產量的85%。 貼片電阻的生產過程中的質量檢測是目前亟需解決的難題，而質量檢測中關鍵的一項為貼片電阻的字符缺陷檢測。,,,MOEMIL,背景介紹,,一張電阻片長度和寬度大概在5cm到6cm之間。每張電阻片上少則800多個電阻，多則30

3、00多個電阻，每一個電阻的大小約在0.1mm量級，電阻字符大小約在0.1～0.01mm量級，電阻數量多且十分小，人工檢測難度十分大。 傳統(tǒng)的貼片電阻字符檢測方式一般是工人用顯微鏡觀察來檢測字符，這種方法檢測效率較低，并且人眼易疲勞，出錯率較高。并且不能保證實時檢測，往往是同一批產品生產結束后進行抽檢，如果出現大面積的缺陷，則該批次產品次品率較高。這些不足都影響產品的生產周期和成品率。,,,MOEMIL,背景介紹,,機器視覺

4、在工業(yè)中的應用越來越廣泛。例如大規(guī)模集成電路生產線上自動連接引線，對準芯片和封裝；工業(yè)產品的成品質量檢測：如液晶屏缺陷檢測、火花塞缺陷檢測；紡織印刷的自動分色和染色也需要機器視覺?；跈C器視覺的缺陷檢測將人從單一枯燥的產品缺陷檢測中釋放出來，對于生產商則省去了人力成本，加快了產品的生產周期。 考慮到上述問題，本文所做的主要工作是設計機器視覺模塊代替人工檢測，在保證檢測精度的同時，加快檢測速度，提高檢測效率，達到在生產線上

5、實時檢測的要求。,,,MOEMIL,背景介紹,,該論文實現的基于機器視覺的貼片電阻字符缺陷檢測識別模塊，采用工業(yè)相機批量對貼片電阻片采圖，實時在線檢測貼片電阻片的多種缺陷，并對缺陷區(qū)域進行標記，檢測速度達到實時的要求。機器視覺的實現省卻了人工檢測這一步，提高了檢測效率，加快了貼片電阻的生產速度，提高了貼片電阻生產的全自動化產線實現的可能性。,,,MOEMIL,背景介紹,,缺陷檢測類型：字符斷裂，字符污點，劃痕，字符粘連

6、 字符偏移，油墨過多,,,MOEMIL,算法流程,,,MOEMIL,算法流程,圖像預處理,單一電阻提取,單一字符提取,,,邊緣直線擬合,圖像旋轉,電阻片印刷偏移缺陷,投影法,頂帽變換,連接型,非連接型,提取方法,單一電阻缺陷檢測,油墨污漬,二值化,字符偏移,投影法,字符偏移,字符粘連,字符污點,,,,,,,,,,,,字符亮暗,二值化,字符高寬,字符填充,骨架匹配,字符缺失,字符內部填充,,,,,

7、,多線程,openmp加速,,,MOEMIL,算法流程,,(1)旋轉校正： ①圖像從邊緣開始尋找梯度變化的點 ②直線擬合：獲得電阻片邊緣直線 ③計算偏移角度，旋轉校正（雙線性插值）(2)檢測電阻片整體偏移：方法與旋轉校正相同，不同在于尋找的邊緣為第二條 邊緣，

8、計算偏移角度。(3)單個電阻提?。孩俜聪蚨祷▌h除黑色背景） ②投影法 + 標定連通區(qū)域（求每個電阻片的外接矩形） ①頂帽變換 ②二值化+閉運算+標定連通區(qū)域,,,MOEMIL,算法流

9、程,,(1)旋轉校正： ①圖像從邊緣開始尋找梯度變化的點 ②直線擬合：獲得電阻片邊緣直線 ③計算偏移角度，旋轉校正（雙線性插值）,,,MOEMIL,算法流程,,①旋轉90°,,,MOEMIL,算法流程,,①降采樣+邊緣直線,,,MOEMIL,算法流程,,②邊緣直線擬合,,,MOEMIL,算法流程,,③旋轉校正,,,MOEMIL,算法流程

10、,,(2)檢測電阻片整體偏移：方法與旋轉校正相同，不同在于尋找的邊緣為第二條 邊緣，計算偏移角度。,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(3)單個電阻提?。和队胺ǎǚ沁B接型）,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(3)單個電阻提取：投影法（連接型）,,,MO

11、EMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,題目介紹,,,,MOEMIL,算法流程,,(3)單個電阻提取：頂帽變換,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,HOG,,,,MOEMIL,算法流程,,(4)單一電阻檢測：①截取原圖像中的電阻，檢測電阻正反 ②二值化

12、（計算字符區(qū)域面積占電阻的比例：油墨過多） ③閉運算電阻圖像（連接斷裂字符） ④標定連通區(qū)域（分割單個字符） ⑤計算字符區(qū)域距離電阻邊界的像素個數（缺陷檢測） ⑥計算字符區(qū)域平均灰度值，計算字符縫隙中

13、大于平均灰度 值的點的個數，判斷是否為字符粘連。 ⑦計算單個字符的平均灰度值（過亮或過暗） ⑧污點檢測：將字符區(qū)域涂白，標定連通區(qū)域，檢測污點個數。

14、 檢測字符區(qū)域的高和寬，檢測是否有油污。,,,MOEMIL,算法流程,,(4)單一電阻檢測：①截取原圖像中的電阻，檢測電阻正反。,②電阻圖像二值化?！坝湍蹪n”缺陷：計算白點區(qū)域面積占整個電阻的比例，判斷油墨過多或過少。③閉運算電阻圖像，連接斷裂字符④連通區(qū)域標記，刪除小面積區(qū)域，去除噪聲,,,MOEMIL,算法流程,,(4)單一電阻檢測：④投影法分割電阻字符。,“字符偏移”缺陷：字符分割結束后，獲得字符區(qū)域的起點、高度和寬

15、度。 由此判斷字符距離電阻邊界的距離?！白址麢M線”缺陷：計算橫線的長度，與標準對比。,,,MOEMIL,算法流程,,(4)單一電阻檢測：“字符粘連”缺陷：計算整個電阻區(qū)域的平均灰度值，統(tǒng)計字符縫隙之間灰度值大于平均值 的“缺陷點”個數。,“字符污點”缺陷：將電阻區(qū)域灰度值設置為255后二值化，計算連通區(qū)域，統(tǒng)計每個區(qū)域

16、 的面積，刪除小面積區(qū)域(去除噪聲影響)，若連通區(qū)域大于1，則說明 在字符區(qū)域外側有白色油墨。,,,MOEMIL,算法流程,,(5)電阻字符檢測：“字符過亮/過暗”缺陷：計算每個字符的平均灰度值。,①二值化“字符高度/寬度”缺陷：將字符的高度、寬度與骨架模板高度和寬度比對。,,,MOEMIL,算法流程,,(5)電阻字符檢測

17、：②字符處理：若字符本身是斷裂的則先進行閉運算。③骨架匹配：將骨架放置在字符中心，計算匹配像素點的個數占骨架總像素點的比例。,,,MOEMIL,算法流程,,(5)電阻字符檢測： “字符填充”缺陷檢測：檢測“6”字符上部是否填充?！白址麅炔刻畛洹比毕輽z測： 檢測“6”字符內部是否填充。,,,MOEMIL,實驗結果,,,MOEMIL,實驗結果,,①檢測精度： 在已有型號的電阻片缺陷中，該

18、模塊可以實現單片電阻字符缺陷漏檢個數少于5個，誤檢個數少于3個。（即使是字符個數最多，字符面積最小的“69c”、“821”電阻）。,,,MOEMIL,實驗結果,,②檢測時間： 實際檢測中，我們對多種類型的電阻片進行檢測，每一種電阻重復檢測3000次左右，耗時最長的電阻片僅需要2s左右即可完成檢測，耗時最短的電阻1.2s即可完成檢測。,,,MOEMIL,創(chuàng)新點,,,MOEMIL,創(chuàng)新點,,創(chuàng)新點：①使用4面陣相機采圖，每個相機采集

19、電阻片1/4區(qū)域，采用多線程 同時工作和openmp加速，加快處理速度，現在每片電阻片檢測 時間最大為2秒左右。 ②模板匹配：采用的方法為骨架匹配，減少了傳統(tǒng)模板匹配的誤差。 ③缺陷檢測種類豐富，可對多種常見貼片電阻缺陷進行檢測。,,,MOEMIL,后期計劃,,,MOEMIL,后期計劃,,①對多

20、種型號的電阻建立數據庫，保存每種型號電阻的最佳參數和模板。②使用“頂帽變換法”代替“投影法”，采取GPU加速，進一步加快算法流程的檢測速度,,,MOEMIL,致謝,,致謝 我要感謝我的論文指導老師劉霖老師、劉娟秀老師和張靜老師，尤其要感謝張靜老師對我進行了無私的指導和幫助，不厭其煩的幫助進行論文的修改和改進。  感謝三位答辯老師。由于我的學術水平有限，論文有許多不足之處，感謝各位老師對我的指導