新的成像應用正在蓬勃發展，從工業 4.0 中zhong的de協xie作zuo機ji器qi人ren
，到dao無wu人ren機ji消xiao防fang或huo用yong於yu農nong業ye，再zai到dao生sheng物wu特te征zheng麵mian部bu識shi別bie
，再zai到dao家jia庭ting中zhong的de護hu理li點dian手shou持chi醫yi療liao設she備bei。出chu現xian這zhe些xie新xin應ying用yong程cheng序xu的de一yi個ge關guan鍵jian因yin素su是shi，嵌qian入ru式shi視shi覺jiao比bi以yi往wang任ren 何時候都更普及。嵌入式視覺不是一個新概念；它隻是定義了一個係統
，其中包括一個視覺設置，在沒有 外部計算機的情況下控製和處理數據。它已廣泛應用於工業質量控製
，最為人熟悉的例子比如“智能相機”。

 

近年源於消費類市場經濟適用硬件器件的開發，相較於以往使用電腦的方案
，這些器件大幅度減小了材料清單(BOM)成本和產品體積。舉個例子
，小型係統集成商或 OEM 現在能夠小批量采購諸如 NVIDIA Jetson 的單板機或模塊係統；而較大型的 OEM 則可以直接獲得如高通驍龍(Qualcomm Snapdragon)或英特爾(Intel) Movidius Myriad 2 等圖像信號處理器。在軟件級方麵


，市麵軟件庫能夠加快專用視覺係統的開發速度
，減小配置難度，即便是針對小批量生產。

 

第di二er個ge推tui動dong嵌qian入ru式shi視shi覺jiao係xi統tong發fa展zhan的de變bian化hua是shi機ji器qi學xue習xi的de出chu現xian，它ta使shi實shi驗yan室shi中zhong的de神shen經jing網wang絡luo能neng夠gou接jie受shou培pei訓xun，然ran後hou直zhi接jie上shang傳chuan到dao處chu理li器qi中zhong
，以yi便bian它ta能neng夠gou自zi動dong識shi別bie特te征zheng，並bing實shi時shi做zuo出chu決jue定ding。

 

能(neng)夠(gou)提(ti)供(gong)適(shi)用(yong)於(yu)嵌(qian)入(ru)式(shi)視(shi)覺(jiao)係(xi)統(tong)的(de)解(jie)決(jue)方(fang)案(an)，對(dui)於(yu)麵(mian)向(xiang)這(zhe)些(xie)高(gao)增(zeng)長(chang)應(ying)用(yong)的(de)成(cheng)像(xiang)企(qi)業(ye)來(lai)說(shuo)至(zhi)關(guan)重(zhong)要(yao)。圖(tu)像(xiang)傳(chuan)感(gan)器(qi)由(you)於(yu)能(neng)夠(gou)直(zhi)接(jie)影(ying)響(xiang)嵌(qian)入(ru)式(shi)視(shi)覺(jiao)係(xi)統(tong)的(de)效(xiao)能(neng)和(he)設(she)計(ji)
，因(yin)而(er)在(zai)大(da)規(gui)模(mo)引(yin)進(jin)中(zhong)有(you)重(zhong)要(yao)角(jiao)色(se)，而(er)它(ta)的(de)主(zhu)要(yao)推(tui)動(dong)因(yin)素(su)可(ke)概(gai)括(kuo)為(wei)：更小尺寸
、重量
、功耗和成本，英語簡稱為“SWaP-C”(decreasing Size, Weight, Power and Cost)。

 

1.降低成本至關重要

嵌入式視覺新應用的加速推動器是滿足市場需求的價格
，而視覺係統成本正是實現這要求的一個主要製肘。

 

1.1.節省光學成本

減小視覺模塊成本的第一個途徑是縮小產品尺寸， 原因有兩個：首先是圖像傳感器的像素尺寸愈小，晶圓便可以製造更多的芯片
；另一方麵傳感器可以使用更小更低成本的光學組件
，二者都能夠降低固有成本。例如 Teledyne e2v 的 Emerald 5M 傳感器把像素尺寸減小至 2.8μm
，讓 S 口(M12) 鏡頭能夠用於五百萬像素全局快門傳感器上，帶來直接的成本節省──入門級的 M12 鏡頭的價格約為 10 美元，而較大尺寸的 C 口或 F 口鏡頭成本是其 10 到 20 倍。所以減小尺寸是降低嵌入式視覺係統成本的有效方法。

對於圖像傳感器製造商來說，這種降低的光學成本對設計有另一個影響，因為一般來說，光學成本越低， 傳感器的入射角越不理想。因此，低成本光學需要在像素上方設計特定的位移微透鏡
，以補償來自廣角的畸變和聚焦光。

 

 

 

1.2.傳感器低成本接口

除了光學優化
，傳感器接口的選擇也間接影響視覺係統的成本。MIPI CSI-2 接口是實現節約成本的最合適選擇（它最初是由 MIPI 聯盟為移動行業開發的）。它已被大多數 ISP 廣泛采用
，並已開始在工業市場采用，因為它提供了一個從 NXP
、Nvidia、高通公司或 Intel 等公司的低成本的片上係統（SOC）或模塊上係統（SOM）的集成。設計一種具有 MIPI CSI-2 傳感器接口的 CMOS 圖像傳感器，無需任何中間轉換器橋
，直接將圖像傳感器的數據傳輸到嵌入式係統的主機 SOC 或 SOM，從而節省了成本和 PCB 空間，當然，在基於多傳感器的嵌入式係統（如 360 度全景係統）中


，這一優勢更為突出。

不過這些好處受到一些限製，因為 MIPI 接口的連接距離限製為 20 cm，這(zhe)在(zai)傳(chuan)感(gan)器(qi)距(ju)離(li)主(zhu)機(ji)處(chu)理(li)器(qi)較(jiao)遠(yuan)的(de)遠(yuan)程(cheng)設(she)置(zhi)中(zhong)可(ke)能(neng)不(bu)是(shi)最(zui)佳(jia)的(de)。在(zai)這(zhe)些(xie)配(pei)置(zhi)中(zhong)，以(yi)犧(xi)牲(sheng)小(xiao)型(xing)化(hua)為(wei)代(dai)價(jia)，使(shi)用(yong)集(ji)成(cheng)更(geng)長(chang)接(jie)口(kou)的(de)相(xiang)機(ji)板(ban)解(jie)決(jue)方(fang)案(an)是(shi)比(bi)較(jiao)好(hao)的(de)選(xuan)擇(ze)。一(yi)些(xie)現(xian)成(cheng)的(de)解(jie)決(jue)方(fang)案(an)可(ke)以(yi)集(ji)成(cheng)，例(li)如(ru)工(gong)業(ye)相(xiang)機(ji)製(zhi)造(zao)商(shang)（如 Flir、AVT、Basler 等）的相機板通常可在 MIPI 或 USB3 接口中使用，後者能夠達到的範圍可以超過 3 米至 5 米。

 

 

1.3.減小開發成本

在投資新產品時
，不斷上升的開發成本往往是一個挑戰；它可能會在一次性開發費上花費數百萬美元
，並 給上市時間帶來壓力。對於嵌入式視覺
，這種壓力變得更大
，因為模塊化（即產品能否切換使用多種圖像 傳感器）是集成商的重要考慮。幸運的是，通過在傳感器之間提供一定程度的交叉兼容性
，例如，通過定 義共享相同像素體係結構的組件係列以具有穩定的光電性能
，通過具有共用光學中心來共享單個前端機製， 以及通過兼容的 PCB 組件來簡化評估，集成和供應鏈，從而減小開發費用。

為簡化相機板設計（即使用於多款傳感器），youliangzhongfangfashejichuanganqifengzhuang。zhenjiaoduizhenjiaojianrongshixiangjibanshejirenyuandeshouxuansheji，yinweitanengshiduozhongchuanganqigongxiangtongyidianluhekongzhi，shidezuzhuangwanquanbushou PCB 設計影響。另一個選擇是采用尺寸兼容的傳感器，這樣同一 PCB 可以使用多款傳感器，但是這也意味著他們可能要應付每一款傳感器的接口和布線的差異狀況。

 

圖 1: 圖像傳感器可經設計提供針腳兼容(圖左)或尺寸兼容(圖右)以實現專有 PCB 布局設計

 

2.能效提供更佳單獨工作能力

微(wei)型(xing)電(dian)池(chi)驅(qu)動(dong)的(de)設(she)備(bei)是(shi)最(zui)明(ming)顯(xian)的(de)受(shou)益(yi)於(yu)嵌(qian)入(ru)式(shi)視(shi)覺(jiao)的(de)應(ying)用(yong)程(cheng)序(xu)
，因(yin)為(wei)外(wai)部(bu)計(ji)算(suan)機(ji)阻(zu)止(zhi)任(ren)何(he)便(bian)攜(xie)式(shi)應(ying)用(yong)程(cheng)序(xu)的(de)發(fa)生(sheng)。為(wei)了(le)降(jiang)低(di)係(xi)統(tong)的(de)能(neng)耗(hao)
，圖(tu)像(xiang)傳(chuan)感(gan)器(qi)現(xian)在(zai)包(bao)含(han)了(le)多(duo)種(zhong)功(gong)能(neng)，使(shi)係(xi)統(tong)設(she)計(ji)者(zhe)能(neng)夠(gou)節(jie)省(sheng)電(dian)力(li)。

 

congchuanganqijiaoduchufa，youduozhongfangfajianxiaoqianrushishijiaoxitonggonghaoerbusuncaijizhenlv。zuijiandandefangfashitongguojinkenengchangshijianshiyongdaijihuoxianzhimoshi，zaixitongjizuixiaohuachuanganqibenshendedongtaicaozuo。daijimoshitongguoguanbifangzhendianlu，bachuanganqidegonghaojiangdidaogongzuomoshide 10%以下。而閑置模式則可把功耗減半，並讓傳感器在數微秒內重新啟動獲取圖像。

 

erzaichuanganqishejijichengjienengdelingyigefangfashicaiyongxianjinguangkejiedianjishu。jishujiedianyuexiao，zhuanhuanjingtiguansuoxudedianyabianyuexiao
，youyugonghaoyudianyachengzhengbi(???????????????? ∝ ?? × ??2)
，這樣就能降低功耗。所以 10 年前使用 180nm 技術生產的像素不單把晶體管縮小到 110nm，同時也把數字電路的電壓從 1.9 伏降到 1.2 伏。下一世代的傳感器將使用 65nm 技術節點

，使得嵌入式視覺應用更省能。

 

最後一點是，通過選擇合適的圖像傳感器，可以在某些條件下降低 LED 燈的能耗。有一些係統必須使用主動照明，例如三維地圖生成
、動作停頓、或是純粹使用順序脈衝指定波長來提高反差。在這些情形下
， jiandituxiangchuanganqizaidiliangduhuanjingxiadezaoshengbiannengshixiangengdidegonghao。jianxiaolechuanganqizaosheng
，gongchengrenyuanbiankejuedingjianxiaodianliumiduqiangdu
，huoshijianxiaojichengjinqianrushishijiaoxitongde LED 燈數目。在其他情況下，當圖像捕獲和 LED 閃爍由外部事件觸發時，選擇適當的傳感器讀出結構可以顯著節省電能。使用傳統卷簾快門傳感器
，幀全曝光時 LED 燈必需全開，而全局快門傳感器則允許隻在幀的某部份開動 LED 燈。所以如使用像素內相關雙采樣(CDS)應用下，以全局快門傳感器替代卷簾快門傳感器就可以節省照明成本，同時仍保持與顯微鏡中使用的 CCD 傳感器一樣低的噪聲。

 

3.片上功能為應用程序設計的視覺係統鋪平了道路

嵌入式視覺的一些偏鋒延展概念，引導我們對圖像傳感器進行全麵定製，以 3D 堆疊方式集成所有處理功能（芯片上的係統） 以yi實shi現xian優you化hua性xing能neng和he功gong耗hao。不bu過guo
，開kai發fa這zhe一yi類lei產chan品pin的de成cheng本ben十shi分fen高gao昂ang，能neng夠gou達da到dao這zhe一yi集ji成cheng水shui平ping的de全quan定ding製zhi傳chuan感gan器qi長chang遠yuan來lai說shuo並bing非fei完wan全quan不bu可ke能neng，而er現xian在zai我wo們men正zheng處chu於yu一yi個ge過guo渡du階jie段duan，包bao含han將jiang某mou些xie功gong能neng直zhi接jie嵌qian入ru到dao傳chuan感gan器qi
，以yi減jian省sheng計ji算suan負fu載zai和he加jia快kuai處chu理li時shi間jian。

 

例如在條形碼閱讀應用
， Teledyne e2v 公司已擁有專利技術，將包含一個專有條形碼識別算法的嵌入式 功能加進傳感器芯片，這算法可以找出每一幀幅內的條形碼位置，讓圖像信號處理器隻需聚焦於這些範圍， 提高數據處理效率。

 

圖二：Teledyne e2v Snappy 五百萬像素芯片，自動識別條形碼位置

 

 

另一個減少處理負載和優化“良好”數據的功能是 Teledyne E2V dezhuanlikuaisupuguangmoshi，gaimoshishichuanganqinenggouzidongxiaozhengpuguangshijian
，yibimianzhaomingtiaojianbianhuashichuxianbaohe。zhexianggongnengyouhualechulishijian，yinweitashiyingledanzhenzhongguangzhaodebodong，erqiezhezhongkuaisufanyingzuidaxiandudijianshaolechuliqixuyaochulide“壞”圖像的數量。

 

這zhe些xie功gong能neng通tong常chang是shi特te定ding的de
，需xu要yao很hen好hao地di理li解jie客ke戶hu的de應ying用yong程cheng序xu。隻zhi要yao對dui應ying用yong程cheng序xu有you足zu夠gou的de了le解jie，就jiu可ke以yi設she計ji多duo種zhong其qi他ta片pian上shang功gong能neng來lai優you化hua嵌qian入ru式shi視shi覺jiao係xi統tong。

 

4.減小重量尺寸以配合最小應用空間

 

嵌入式視覺係統的另一主要要求是能夠配合狹小空間，或是重量要小，以便用於手持式設備/或延長電池推動產品的工作時間。這就是現在大部份嵌入式視覺係統使用隻有 1MP 到 5MP 的低分辨率小型光學格式傳感器的原因。

減小像素芯片的尺寸隻是減小圖像傳感器占位麵積和重量的第一步。現在的 65nm 工藝讓我們能夠把全局快門像素尺寸減小至 2.5μm 而不損光電性能。這種生產工藝使得諸如全高清全局快門 CMOS 圖像傳感器能夠配合手機市場要求小於 1/3 英寸的規格。

減小傳感器重量和占位麵積的另一主要技術是縮小封裝尺寸。芯片級封裝在過去數年在市場迅速成長


， 在移動
、車載電子和醫療應用中特別明顯。相較用工業市場常用的傳統陶瓷 (Ceramic Land Grid Array， 簡稱 CLGA) 封裝，芯片級扇出封裝能夠實現更高密度連接，因而是嵌入式係統圖像傳感器輕量化小型化挑戰的出色解決方案。例如 Teledyne e2v 的 Emerald 2M 圖像傳感器芯片級封裝，側高隻是陶瓷封裝的一半
，而尺寸則減小 30%。

 

圖 3：同一芯片采用 CLGA 封裝(圖左)和晶圓級扇出有機封裝(圖右)的比較。後者能夠減少占位、厚度和成本。
 

展望未來，我們預期新的技術能進一步實現嵌入式視覺係統所需的更小傳感器尺寸。

三維堆棧是讓半導體器件生產的創新技術，它的原理是在不同晶圓上製造各種電路芯片，然後利用銅對銅連接和過矽衝孔(Through Silicon Vias，簡稱 TSV)技術進行堆棧和互聯。三維堆棧因為是多層重迭芯片， 允(yun)許(xu)器(qi)件(jian)實(shi)現(xian)比(bi)傳(chuan)統(tong)傳(chuan)感(gan)器(qi)更(geng)小(xiao)的(de)占(zhan)位(wei)尺(chi)寸(cun)。而(er)在(zai)三(san)維(wei)堆(dui)棧(zhan)傳(chuan)感(gan)器(qi)中(zhong)，讀(du)出(chu)和(he)處(chu)理(li)芯(xin)片(pian)可(ke)以(yi)置(zhi)於(yu)像(xiang)素(su)芯(xin)片(pian)和(he)行(xing)譯(yi)碼(ma)器(qi)的(de)下(xia)方(fang)。這(zhe)樣(yang)，傳(chuan)感(gan)器(qi)的(de)占(zhan)位(wei)尺(chi)寸(cun)因(yin)縮(suo)小(xiao)的(de)讀(du)出(chu)和(he)處(chu)理(li)芯(xin)片(pian)而(er)減(jian)小(xiao)，並(bing)且(qie)可(ke)以(yi)在(zai)傳(chuan)感(gan)器(qi)中(zhong)加(jia)入(ru)更(geng)多(duo)處(chu)理(li)資(zi)源(yuan)以(yi)減(jian)小(xiao)圖(tu)像(xiang)信(xin)號(hao)處(chu)理(li)器(qi)的(de)載(zai)荷(he)。

 

圖 4：三維芯片堆棧技術有助於實現像素芯片
、仿真和數字電路，甚至是用於專門應用的附加處理芯片組合重迭
，減小傳感器麵積。
 

不過，要讓三維堆棧技術在圖像傳感器市場獲得廣泛應用，現在還麵對著一些挑戰。首先這是一個新興的 jishu，qicishitadechengbenjiaogao，yinweixuyaofujiadegongyibuzhou，shidexinpianchengbenbishiyongchuantongjishudexinpiangaosanbeiyishang。yinweisanweimaidiejiangzhuyaoshigaoxingnenghuofeichangxiaozhanweichicundeqianrushishijiaoxitongdexuanze。

 

 

總結而言
，嵌入式視覺係統可以歸納為一種「輕量」視覺技術，可以用於包括 OEM、係統集成商和標準相機廠商等不同類型企業。“嵌入式 “是shi一yi個ge可ke用yong於yu不bu同tong應ying用yong的de概gai括kuo性xing描miao述shu
，因yin而er不bu能neng開kai出chu列lie表biao說shuo明ming它ta的de特te征zheng。不bu過guo優you化hua嵌qian入ru式shi視shi覺jiao係xi統tong有you幾ji個ge適shi用yong法fa則ze，就jiu是shi一yi般ban而er言yan，市shi場chang推tui動dong力li並bing非fei來lai自zi超chao級ji快kuai的de速su度du或huo超chao高gao的de靈ling敏min度du，而er是shi尺chi寸cun、重量、gonghaohechengben。tuxiangchuanganqishizhexietiaojiandezhuyaotuishou
，suoyixuyaoxiaoxinxuanzeheshidetuxiangchuanganqi，yibianyuyouhuaqianrushishijiaoxitongdezongtixingneng。heshidetuxiangchuanganqinengweiqianrushishejirenyuandailaigengduolinghuoxing
，jieshengcailiaoqingdanchengben
，jianxiaozhaomingheguangxuezujiandezhanweimianji。tayerangshejirenyuanzaiwuxumianduigengduofuzaxingdeqingkuangxia，xuanzelaizixiaofeishichangdedaliangjingjishiyongbingjuyouyouhuashenduxuexigongnengdetuxiangxinhaochuliqi。