高效的工業生產需要機器視覺給出快速又精準的決策

 

在生產線上用於測量的相機要能快速判斷液位、尺chi寸cun，用yong來lai定ding位wei的de相xiang機ji係xi統tong要yao能neng快kuai速su準zhun確que的de給gei出chu正zheng確que的de物wu品pin位wei置zhi
，及ji時shi通tong知zhi機ji械xie手shou臂bi在zai哪na裏li尋xun找zhao抓zhua取qu物wu品pin，用yong作zuo計ji件jian檢jian驗yan的de相xiang機ji係xi統tong要yao能neng夠gou快kuai速su計ji算suan出chu數shu量liang，是shi否fou溢yi出chu，用yong作zuo解jie碼ma識shi別bie的de相xiang機ji係xi統tong要yao能neng夠gou快kuai速su準zhun確que識shi別bie二er維wei碼ma，字zi符fu信xin息xi等deng。相xiang機ji係xi統tong做zuo出chu快kuai速su精jing準zhun決jue策ce的de關guan鍵jian就jiu是shi圖tu像xiang能neng夠gou清qing晰xi準zhun確que的de提ti供gong這zhe些xie信xin息xi，不bu同tong的de檢jian測ce應ying用yong對dui圖tu像xiang的de分fen辨bian率lv、清晰度
、噪聲、以及相機的幀率、係統成本等都有不同的要求。

 

隨著工業自動化的發展，檢測種類的多樣性
，驅使圖像傳感器不斷的更新換代
，工藝一直在突破提升。這個發展從安森美半導體的幾代CMOS產品係列中可見一斑：在2005年推出的LUPA係列開始有了高速輸出接口
，接下來2010年推出的VITA係列在全局快門性能上有了很大了提升，支持卷簾快門和全局快門兩種模式
，在2014年推出的PYTHON係列增加了像素內圖像矯正
，有效的優化了全局快門傳感器的噪聲性能，2019年剛推出的XGS係(xi)列(lie)使(shi)用(yong)了(le)減(jian)少(shao)節(jie)點(dian)的(de)像(xiang)素(su)工(gong)藝(yi)對(dui)噪(zao)聲(sheng)和(he)圖(tu)像(xiang)一(yi)致(zhi)性(xing)更(geng)是(shi)有(you)了(le)飛(fei)躍(yue)般(ban)的(de)提(ti)升(sheng)
，今(jin)後(hou)安(an)森(sen)美(mei)半(ban)導(dao)體(ti)將(jiang)會(hui)在(zai)工(gong)業(ye)級(ji)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)使(shi)用(yong)背(bei)照(zhao)式(shi)和(he)堆(dui)棧(zhan)式(shi)工(gong)藝(yi)來(lai)推(tui)動(dong)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)的(de)進(jin)一(yi)步(bu)發(fa)展(zhan)。

 

隨sui著zhe工gong藝yi的de提ti升sheng，圖tu像xiang傳chuan感gan器qi的de像xiang元yuan越yue來lai越yue小xiao
，但dan它ta卻que可ke以yi達da到dao大da尺chi寸cun像xiang元yuan的de圖tu像xiang效xiao果guo，這zhe就jiu使shi傳chuan感gan器qi的de分fen辨bian率lv可ke以yi越yue做zuo越yue大da
，帶dai寬kuan也ye越yue來lai越yue高gao，也ye推tui動dong了le整zheng體ti相xiang機ji係xi統tong的de提ti升sheng和he發fa展zhan，來lai滿man足zu工gong業ye生sheng產chan快kuai速su精jing確que的de推tui斷duan和he決jue策ce。

 

人工智能是新工具

 

快速精確的決策需求推動整個生態係統來實現高級數據收集和推斷
，提供了真正進入工業4.0的機會，人工智能(AI)正是需要的新工具

，用來管理工業係統成像不斷增長的數據集。AI可以通過自適應製造、自動質量控製、預測性維護等方案有效地應對當今製造業麵臨的挑戰，如工廠中的PCB板檢測、鈑金缺陷檢測
、食品衛生檢測、零部件均勻度檢測、平板檢測的應用中
，工廠操作員的疲勞會影響對產品質量的一致性評估，但是機器視覺相機和深度學習解決了這個問題。如今，AI已用於60％以上的計算機視覺應用中，而AI在製造應用中的增長已超過50％年複合增長率。

 

工業中AI應用的發展給圖像傳感器帶來了更高的挑戰，包括推動了全局快門性能

、高速拍攝、高分辨率、使用不可見光譜區域和三維體積深度提供的信息進行關鍵推斷，以及神經網絡處理的發展。

 

全局快門：實現高速視覺成像的關鍵

 

傳chuan統tong的de卷juan簾lian快kuai門men圖tu像xiang傳chuan感gan器qi可ke為wei靜jing態tai或huo慢man速su移yi動dong的de物wu體ti成cheng像xiang提ti供gong出chu色se的de靈ling敏min度du。但dan全quan局ju快kuai門men在zai檢jian測ce快kuai速su移yi動dong物wu體ti的de工gong業ye應ying用yong中zhong至zhi關guan重zhong要yao。如ru高gao速su裝zhuang配pei線xian的de機ji器qi視shi覺jiao檢jian測ce之zhi類lei的de任ren務wu需xu要yao準zhun確que的de判pan斷duan
，全quan局ju快kuai門men圖tu像xiang傳chuan感gan器qi通tong過guo完wan全quan同tong時shi同tong步bu曝pu光guang捕bu獲huo所suo有you像xiang素su
，來lai消xiao除chu使shi用yong卷juan簾lian快kuai門men傳chuan感gan器qi逐zhu行xing曝pu光guang帶dai來lai的de空kong間jian失shi真zhen變bian形xing的de效xiao果guo，正zheng確que還hai原yuan了le運yun動dong物wu體ti的de真zhen實shi樣yang子zi
，接jie下xia來lai才cai能neng進jin行xing強qiang大da的deAI分類計算。如安森美半導體的全局快門圖像傳感器XGS 2000，以220 fps的速度捕獲高質量、精確和快速移動的200萬像素全局快門圖像場景，可以為物流和工業掃描儀等不同場景下應用提供清晰、低噪聲的圖像。

 

圖1：卷簾快門vs. 全局快門

 

高(gao)速(su)也(ye)是(shi)快(kuai)速(su)移(yi)動(dong)物(wu)體(ti)檢(jian)測(ce)的(de)工(gong)業(ye)應(ying)用(yong)另(ling)一(yi)個(ge)至(zhi)關(guan)重(zhong)要(yao)點(dian)。高(gao)速(su)裝(zhuang)配(pei)線(xian)的(de)機(ji)器(qi)視(shi)覺(jiao)檢(jian)查(zha)需(xu)要(yao)快(kuai)速(su)的(de)幀(zhen)率(lv)和(he)較(jiao)短(duan)的(de)積(ji)分(fen)時(shi)間(jian)，可(ke)以(yi)使(shi)用(yong)短(duan)曝(pu)光(guang)和(he)快(kuai)速(su)讀(du)出(chu)消(xiao)除(chu)圖(tu)像(xiang)模(mo)糊(hu)的(de)效(xiao)果(guo)。工(gong)廠(chang)的(de)視(shi)覺(jiao)檢(jian)測(ce)基(ji)本(ben)都(dou)是(shi)對(dui)應(ying)高(gao)速(su)移(yi)動(dong)的(de)物(wu)體(ti)
，特(te)別(bie)是(shi)工(gong)廠(chang)高(gao)速(su)運(yun)轉(zhuan)的(de)生(sheng)產(chan)線(xian)上(shang)
，傳(chuan)送(song)帶(dai)的(de)速(su)度(du)特(te)別(bie)快(kuai)，那(na)麼(me)在(zai)最(zui)短(duan)的(de)時(shi)間(jian)內(nei)成(cheng)像(xiang)讀(du)出(chu)數(shu)據(ju)，減(jian)少(shao)或(huo)消(xiao)除(chu)拍(pai)攝(she)圖(tu)像(xiang)中(zhong)的(de)運(yun)動(dong)模(mo)糊(hu)，才(cai)能(neng)利(li)用(yong)AI算法實現正確的智能判斷和快速決策。

 

市場對高分辨率的需求不斷增長

 

越來越多的應用對分辨率有了很高的需求，例如手機/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應用中，使用相機檢測顯示器的輸出，以查找顯示亮度的均勻性、顏色準確性
、線條缺陷、顆(ke)粒(li)缺(que)陷(xian)等(deng)。這(zhe)就(jiu)要(yao)求(qiu)檢(jian)測(ce)相(xiang)機(ji)提(ti)供(gong)非(fei)常(chang)高(gao)的(de)圖(tu)像(xiang)質(zhi)量(liang)和(he)高(gao)度(du)均(jun)勻(yun)性(xing)

，以(yi)確(que)保(bao)相(xiang)機(ji)中(zhong)的(de)質(zhi)量(liang)問(wen)題(ti)不(bu)會(hui)被(bei)誤(wu)解(jie)為(wei)顯(xian)示(shi)器(qi)中(zhong)的(de)產(chan)品(pin)缺(que)陷(xian)。顯(xian)示(shi)屏(ping)實(shi)際(ji)上(shang)都(dou)由(you)紅(hong)綠(lv)藍(lan)等(deng)多(duo)個(ge)LEDzixiangsuzucheng，jiancexitongxuyaonenggoujiexisuoyouzhexiezixiangsu，yibianzhengquechengxianghexianshibingquerenshebeidezhiliang，weitigaojiancedejingduhekekaoxing，xingyezhongtongchanghuishiyongtuxiangchuanganqibamiande3x3
，或者4x4, 甚至5x5個像元來識別顯示屏設備的一個LED子像素，這就需要用到更多的傳感器像元個數
，並且隨著顯示器分辨率的不斷提高-從傳統高清到4k到8k甚至更高，檢測相機所需的分辨率也在不斷提高
，才不會犧牲應用所需的高圖像質量和均勻性，為AI算法的精度提供更可靠的數據支持。

 

又如另一個常見的工業成像應用是印刷電路板檢測，以確認電路板組件上的集成元器件
、電容器、dianzuqidengyizhengqueanzhuangbinghanjiedaowei。dianlubandejiancesudushishoutuxiangfenbianlvhezhenlvdezuheyingxiang，tuxiangzhongnenggoubuhuodedianlubanchicunmianjiyueda，yicikeyijiancededianlubanjiuyueduo，tuxiangnengbuhuodeyuekuai，jiancedexiaolvjiuyuegao。suirandangqianshichangshangtigongdetuxiangchuanganqikeyimeimiaoshuchuyue500或1400個像素的數據，但是安森美半導體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數據用於算法判斷，比競爭對手快3倍以上
，圖像數據寬度可以達8000個像素。高分辨率和高帶寬的結合使這種檢測應用的AI算法可以更快，更有效地執行，從而提高了製造過程的生產率。

 

圖2：XGS 45000的演示效果

 

再(zai)如(ru)用(yong)於(yu)監(jian)控(kong)或(huo)廣(guang)播(bo)的(de)影(ying)像(xiang)應(ying)用(yong)
，圖(tu)像(xiang)需(xu)求(qiu)結(jie)合(he)了(le)上(shang)述(shu)性(xing)能(neng)
，該(gai)應(ying)用(yong)對(dui)圖(tu)像(xiang)質(zhi)量(liang)的(de)要(yao)求(qiu)非(fei)常(chang)高(gao)
，市(shi)場(chang)對(dui)分(fen)辨(bian)率(lv)的(de)需(xu)求(qiu)也(ye)不(bu)斷(duan)增(zeng)長(chang)，從(cong)高(gao)清(qing)到(dao)4K到現在的8k
，高分辨率提供了更強大的圖像結構和細節可以看到寬視野的能力，還提供了用於AI分類的裁剪開窗的選項，來放大感興趣的內容。安森美半導體的XGS 45000圖像傳感器實際上具有比8k視頻所需的分辨率更高，不僅可以使用少量裁切來提供8k視頻，還由於XGS 45000具有很高的帶寬
，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應用所需的高分辨率、高帶寬和高圖像質量。

 

值得一提的是，安森美半導體也提供完整的參考設計X-Cube，基於X-class圖像傳感器係列， 在1.1英寸光學格式提供1600萬像素分辨率，提供用於機器視覺和ITS的 29 mm x 29 mm工業相機占位所需的成像細節和性能
，且一個攝像機可支持多種分辨率，幫助設計人員加快開發。

 

圖3：高分辨率X-Cube 係統用於29 mm x 29 mm 相機設計

 

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區域信息

 

除了圖像傳感器的性能提升
，另外更為豐富的成像信息的集成也可以增強人工智能的性能，逐漸成為工業客戶做出明智決策的關鍵。

 

通過對多種模式和AI處理的投資，也使得安森美半導體具備獨特的優勢
，從僅提供三種紅綠藍(RGB)組成的成像係統發展到添加詳細的光譜特征

，這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數據，可以提高識別圖像的精度，從僅提供x、y二維定位信息到使用結合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合後帶來深度信息，可更深入地了解檢測對象的全部體積大小高度等的信息，也就是深度學習。

 

所以現在圖像傳感器的開發正在從僅捕獲RGBxinxizhuanyidaoxindexingshi，zengqiangdeshujujitigongdexinxijiangbujinjinshiyanseheerweiweizhi。tuxiangchuanganqidechangjiadouzaikaifaxinjishuyihuoqugengkekaodeshenduxinxihuozheduoguangpuquyuxinxi。birukaifatongguorongheneibubutongshujuliudeSuper Depth像元技術
，開發通過有規律的結構，調製入射光振幅或相位的衍射光柵技術
，開發基於單光子雪崩二極管(SPAD)和矽光電倍增管(SiPM)的傳感器等方式來實現為圖像提供更多的深度信息。

 

或者開發基於等離子體波導濾波片，或以法布裏-珀羅（F-P)結構原理為基礎的多通道分光濾光片製造技術實現在更多的光譜區域成像的超多光譜技術。

 

神經網絡處理

 

隨著人工智能的發展，分類係統設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)神(shen)經(jing)網(wang)絡(luo)處(chu)理(li)器(qi)，因(yin)為(wei)訓(xun)練(lian)和(he)推(tui)理(li)都(dou)需(xu)要(yao)大(da)量(liang)計(ji)算(suan)，人(ren)工(gong)智(zhi)能(neng)界(jie)正(zheng)在(zai)麵(mian)臨(lin)前(qian)所(suo)未(wei)有(you)的(de)算(suan)力(li)挑(tiao)戰(zhan)，網(wang)絡(luo)拓(tuo)撲(pu)需(xu)要(yao)數(shu)億(yi)個(ge)乘(cheng)法(fa)和(he)加(jia)法(fa)邏(luo)輯(ji)計(ji)算(suan)（MAC），需要數百萬個卷積神經網絡參數，就比如能實現分類/目標檢測/語義分割等多目標任務的MobileNetV2結構就具有3億個MAC計算和420萬個參數，但這相對於ResNet微結構，已經是減少了9倍的計算量。

 

訓練過程由於涉及海量的大數據和複雜的深度神經網絡結構
，需要的計算規模非常龐大
，通常需要GPU或雲去完成

，推斷部署環節的計算量相比訓練環節會少一些，但仍然涉及大量的矩陣運算，通常在邊緣的高功率GPU / TPU上執行以實現低延遲。麵對深度學習的訓練和推斷的算力需求
，市場上大部分使用的是NVIDIA的GPU或google的TPU來實現。

 

AI的發展

 

要真正實現快速決策，AI也需要發展。 如今，用於成像的AI決策已從雲過渡到邊緣再遷移到與成像係統本身。 比如把AI的訓練環節保留在GPU或(huo)雲(yun)端(duan)
，利(li)用(yong)堆(dui)棧(zhan)工(gong)藝(yi)可(ke)以(yi)將(jiang)決(jue)策(ce)或(huo)甚(shen)至(zhi)與(yu)之(zhi)相(xiang)關(guan)的(de)一(yi)些(xie)預(yu)處(chu)理(li)集(ji)成(cheng)到(dao)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)上(shang)，比(bi)如(ru)在(zai)傳(chuan)感(gan)器(qi)上(shang)集(ji)成(cheng)用(yong)於(yu)圖(tu)像(xiang)識(shi)別(bie)的(de)底(di)層(ceng)或(huo)者(zhe)輕(qing)算(suan)力(li)的(de)卷(juan)積(ji)神(shen)經(jing)網(wang)絡(luo)層(ceng)，集(ji)成(cheng)具(ju)有(you)內(nei)存(cun)的(de)數(shu)字(zi)矩(ju)陣(zhen)乘(cheng)法(fa)計(ji)算(suan)單(dan)元(yuan)體(ti)係(xi)結(jie)構(gou)。這(zhe)些(xie)AI功能集成在圖像傳感器中都將會實現，也已經有公司發布了內置人工智能引擎的圖像傳感器芯片。

 

如安森美半導體的融合了AI的水果新鮮度分類係統的演示，整個ECOsystem是基於安森美半導體的AR1335的相機和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結構來處理分類新鮮和腐爛的蘋果、橘子
、香蕉等6類多達上萬個CNN訓練參數，可以識別三種水果及其新鮮度
，這個係統的準確率達到97%以上。

 

圖4：AI用於機器視覺，識別水果新鮮度

 

總結

 

圖像傳感器的開發正在從僅提供RGB和二維坐標信息轉移到新的更豐富的形式。 圖像傳感器可提供更多類型的數據，無論是深度數據還是增加的光譜信息，以及AI合並這些數據集並實現高級決策，從而使係統能夠通過新的測量和決策機會提供更快、更準確的結果。安森美半導體是工業機器視覺的領袖之一，以全方位的智能感知產品陣容和領先的技術，應對工業AI應用挑戰並推進智能製造的創新。

 

 

推薦閱讀：