傳chuan感gan器qi融rong合he是shi指zhi從cong幾ji種zhong不bu同tong的de傳chuan感gan器qi中zhong提ti取qu數shu據ju
，以yi生sheng成cheng靠kao單dan個ge傳chuan感gan器qi無wu法fa提ti供gong的de信xin息xi。隨sui後hou，可ke以yi對dui該gai信xin息xi做zuo進jin一yi步bu處chu理li和he分fen析xi。並bing根gen據ju最zui終zhong應ying用yong
，必bi要yao時shi還hai可ke用yong傳chuan感gan器qi來lai製zhi定ding決jue策ce。傳chuan感gan器qi融rong合he分fen為wei兩liang大da類lei：

 

 

就嵌入式視覺係統和傳感器融合應用而言，大部分應用適合實時傳感器融合。

 

 

嵌入式視覺應用正在經曆迅猛增長，涉及領域廣泛，從機器人、高級駕駛員輔助係統（ADAS）daozengqiangxianshi，buyierzu。zhexieqianrushishijiaoyingyongduizuizhongyingyongdechenggongyunxingyouhendabangzhu。jiangqianrushishijiaoxitongtigongdexinxiyulaizibutongchuanganqihuoduogechuanganqidexinxijinxingronghe，youzhuyugenghaolijiehuanjing
，congertishengsuoxuanyingyongdexingneng。

 

很多嵌入式視覺應用隻使用一個圖像傳感器來監控一個方向，例如隻監測汽車的前方。利用這樣的圖像傳感器可以檢測、分(fen)類(lei)和(he)跟(gen)蹤(zong)對(dui)象(xiang)。然(ran)而(er)，由(you)於(yu)隻(zhi)使(shi)用(yong)一(yi)個(ge)傳(chuan)感(gan)器(qi)
，因(yin)此(ci)就(jiu)無(wu)法(fa)測(ce)量(liang)與(yu)圖(tu)像(xiang)中(zhong)對(dui)象(xiang)的(de)距(ju)離(li)。也(ye)就(jiu)是(shi)說(shuo)
，我(wo)們(men)可(ke)以(yi)檢(jian)測(ce)和(he)跟(gen)蹤(zong)到(dao)另(ling)一(yi)個(ge)車(che)輛(liang)或(huo)行(xing)人(ren)
，但(dan)如(ru)果(guo)不(bu)借(jie)助(zhu)另(ling)一(yi)個(ge)傳(chuan)感(gan)器(qi)，我(wo)們(men)就(jiu)無(wu)法(fa)確(que)定(ding)是(shi)否(fou)存(cun)在(zai)碰(peng)撞(zhuang)風(feng)險(xian)。本(ben)例(li)中(zhong)我(wo)們(men)需(xu)要(yao)另(ling)一(yi)個(ge)傳(chuan)感(gan)器(qi)，例(li)如(ru)RADAR或LIDAR，該傳感器能提供與已檢測到的對象的距離。由於這種方法能夠將來自多個不同類型傳感器的信息融合，因此稱為異構傳感器融合。

 

 

 

lingyizhongfanganshitigongdiergetuxiangchuanganqi，yishixianlitishijiao。zhezhongfanganshiranglianggetuxiangchuanganqichaozhexiangtongfangxiang，danfenkaiyixiaoduanjuli，jiuxiangrendelianggeyanjingnayang
，tongguoshichaquedingduixiangzaishichangzhongdeshendu。xiangzheyangshiyongduogexiangtongleixingdetuxiangchuanganqi，chengweitonggouchuanganqironghe。

 

當然，這裏需要根據駕駛條件確定架構和傳感器類型的選擇。這包括深度感的範圍、測量精度、環境光和天氣條件、實現成本以及實現複雜程度。

 

嵌入式視覺不僅可用於對象檢測和汽車防撞
，還可以作為導航係統的一部分，用來收集交通標誌信息。另外
，還可融合醫用X光、MRI和CT等多種不同圖像
，或者融合安防與監視設備中的可見光和紅外圖像。

 

我們通常認為嵌入式視覺應用隻使用可見電磁光譜，其實很多嵌入式視覺應用能融合來自可見電磁光譜以外的數據。

 

 

如(ru)果(guo)不(bu)進(jin)行(xing)融(rong)合(he)，處(chu)理(li)圖(tu)像(xiang)時(shi)就(jiu)需(xu)要(yao)相(xiang)當(dang)大(da)的(de)計(ji)算(suan)能(neng)力(li)
，這(zhe)是(shi)因(yin)為(wei)係(xi)統(tong)要(yao)執(zhi)行(xing)一(yi)係(xi)列(lie)預(yu)處(chu)理(li)功(gong)能(neng)。例(li)如(ru)在(zai)使(shi)用(yong)彩(cai)色(se)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)時(shi)，這(zhe)些(xie)處(chu)理(li)任(ren)務(wu)包(bao)括(kuo)顏(yan)色(se)濾(lv)波(bo)插(cha)值(zhi)、色彩空間轉換／重zhong采cai樣yang以yi及ji圖tu像xiang校xiao正zheng。除chu此ci之zhi外wai，我wo們men還hai要yao執zhi行xing傳chuan感gan器qi融rong合he算suan法fa本ben身shen的de處chu理li任ren務wu
，在zai之zhi前qian使shi用yong的de對dui象xiang檢jian測ce實shi例li中zhong
，我wo們men需xu要yao執zhi行xing背bei景jing減jian法fa
、閾值和輪廓檢測
，以使用最簡單方案定位對象

，或者可能需要更強的 HoG／SVM 分類器。

 

隨著幀率和圖像尺寸增加
，預處理圖像和提取信息所需的處理能力也會隨之增加。

 

然而

，從圖像中提取所需的信息還隻是任務的一部分，如果使用異構融合
，我們還需對來自第二個傳感器的信息進行配置、驅動、接收和提取。如果我們選擇同構係統，則需要為第二個圖像傳感器再次執行與第一個傳感器相同的圖像處理流水線。

 

這樣能提供兩組數據，必須對這兩組數據進行處理以確定與對象的實際距離
，這才是真正的融合。

 

 

在嵌入式視覺係統中，一般使用All Programmable FPGA或All Programmable SoC來實現圖像處理流水線。如果它們能用於傳統嵌入式視覺應用，那麼也適用於嵌入式視覺融合應用。

 

無論選擇FPGA還是SoC
，嵌入式視覺應用通常使用處理器進行監視、控製和通信。如果選用All Programmable SoC，那麼中間有一個硬核，並有很多支持外設和接口標準。如果使用All Programmable FPGA，就會使用一個軟核

，例如 MicroBlazeTM，並采用更加定製化的外設和接口支持。

 

對於嵌入式視覺傳感器融合應用
，我們可進一步利用處理器為所用的眾多傳感器提供簡單接口。例如
，加速計
、壓力計、陀螺儀和 GPS 傳感器都配有串行外設接口（SPI）和內部集成電路（I2C）接口
，都得到All Programmable Zynq?－7000和MicroBlaze軟核處理器的支持。這使軟件能夠快速
、方便地從不同類型的傳感器獲得所需信息，並提供給可擴展架構。

 

在可編程邏輯架構中可輕鬆實現用於從圖像傳感器提取信息的圖像處理流水線，此外，可編程邏輯架構還可用來為其他異構傳感器（例如 RADAR 和 LIDAR）或者同構係統中的多種情況實現處理流水線。

 

當使用All Programmable Zynq－7000 或 All Programmable UltraScale＋TMMPSoC時(shi)，處(chu)理(li)器(qi)存(cun)儲(chu)器(qi)與(yu)可(ke)編(bian)程(cheng)邏(luo)輯(ji)之(zhi)間(jian)緊(jin)密(mi)耦(ou)合(he)的(de)架(jia)構(gou)允(yun)許(xu)應(ying)用(yong)軟(ruan)件(jian)訪(fang)問(wen)所(suo)得(de)到(dao)的(de)數(shu)據(ju)集(ji)，以(yi)便(bian)進(jin)一(yi)步(bu)處(chu)理(li)和(he)製(zhi)定(ding)決(jue)策(ce)。獨(du)立(li)傳(chuan)感(gan)器(qi)鏈(lian)可(ke)在(zai)可(ke)編(bian)程(cheng)邏(luo)輯(ji)中(zhong)實(shi)現(xian)，而(er)且(qie)可(ke)並(bing)行(xing)運(yun)行(xing)，這(zhe)對(dui)於(yu)立(li)體(ti)視(shi)覺(jiao)等(deng)需(xu)要(yao)同(tong)步(bu)操(cao)作(zuo)的(de)情(qing)況(kuang)非(fei)常(chang)有(you)利(li)。

 

為了加速在可編程邏輯中實現的融合應用的交付進程，我們可利用高層次綜合（HLS）開發可直接在可編程邏輯架構中實現的算法。

 

 

開發前麵介紹的對象檢測和距離算法，利用All Programmable SoC演示同構和異構方案。盡管兩種方案使用的傳感器類型不用
，但這兩種架構的最終目標都是將兩個數據集放在處理係統的DDR內存，同時將可編程邏輯架構的性能最大化。

 

實現同構對象檢測係統需要使用相同的傳感器類型，這裏是CMOS成像傳感器。這樣做的優勢是隻需要開發一條圖像處理鏈
，這個圖像處理鏈可以為兩個圖像傳感器在可編程邏輯架構中實例化兩次。

 

同tong構gou架jia構gou實shi現xian立li體ti視shi覺jiao係xi統tong的de條tiao件jian之zhi一yi是shi要yao求qiu兩liang個ge圖tu像xiang傳chuan感gan器qi同tong步bu在zai可ke編bian程cheng邏luo輯ji架jia構gou中zhong並bing行xing實shi現xian兩liang個ge圖tu像xiang處chu理li鏈lian並bing使shi用yong具ju有you適shi當dang約yue束shu的de相xiang同tong時shi鍾zhong
，這zhe樣yang有you助zhu於yu滿man足zu這zhe一yi苛ke刻ke的de要yao求qiu。

 

盡管視差計算需要進行密集處理，但兩次實現相同的圖像處理鏈的能力可顯著節省開發成本。

 

 

上圖給出了同構方案的架構，其中兩條圖像處理鏈主要基於可用的 IP 模塊。圖像數據采用定製的傳感器接口IP 模塊捕獲，並從並行格式轉換為AXI流媒體。這樣能實現輕鬆可擴展的圖像處理鏈；我們可以利用高性能 AXI 互連以及視頻DMA將結果從圖像處理鏈傳送到PS DDR。

 

考慮采用不同類型傳感器的異構實例， 我們可將上麵介紹的圖像傳感器對象檢測架構與RADAR 距離檢測相結合。對於RADAR的實現，我們有兩個選擇：脈衝方案（多普勒）或者連續波。具體選擇哪種方案取決於最終應用要求

，不過，這兩種方法大同小異。

 

 

RADAR的架構可分成兩部分：信號生成和信號接收。信號生成部分負責生成連續波信號或者待傳輸的脈衝信號
，無論哪種方案都需要利用信號生成 IP 模塊與高速數模轉換器進行接口連接。

 

信xin號hao接jie收shou部bu分fen也ye需xu要yao使shi用yong高gao速su模mo數shu轉zhuan換huan器qi來lai捕bu獲huo接jie收shou到dao的de連lian續xu波bo或huo脈mai衝chong信xin號hao。說shuo到dao信xin號hao處chu理li
，這zhe兩liang種zhong方fang案an都dou需xu要yao使shi用yong通tong過guo可ke編bian程cheng邏luo輯ji架jia構gou實shi現xian的deFFT分析方法
；同樣

，我們可使用DMA將得到的數據集傳送到PS DDR。

 

無論選擇哪種實現架構

，兩個數據集的融合算法都是通過軟件用PS來執行。另外，這些融合算法對處理帶寬要求較高，實現更高性能的一種方法是使用現有工具集功能
，尤其是設計環境 SDSoCTM。

 

SDSoC可利用Vivado HLS和連接框架（二者對軟件開發人員都是透明的）無縫地在處理器與SoC可(ke)編(bian)程(cheng)邏(luo)輯(ji)之(zhi)間(jian)傳(chuan)輸(shu)軟(ruan)件(jian)功(gong)能(neng)。當(dang)然(ran)，我(wo)們(men)可(ke)利(li)用(yong)高(gao)層(ceng)次(ci)綜(zong)合(he)為(wei)同(tong)構(gou)和(he)異(yi)構(gou)實(shi)現(xian)方(fang)式(shi)的(de)處(chu)理(li)鏈(lian)開(kai)發(fa)功(gong)能(neng)。我(wo)們(men)還(hai)可(ke)進(jin)一(yi)步(bu)擴(kuo)展(zhan)，針(zhen)對(dui)所(suo)選(xuan)的(de)實(shi)現(xian)方(fang)案(an)創(chuang)建(jian)定(ding)製(zhi)SDSoC平台


，然後借助SDSoC功能，利用未占用的邏輯資源進一步加速整個嵌入式視覺係統性能的提升。

 

 

傳感器融合已經紮根，同時，嵌入式視覺係統正在迅速增長，傳感器快速推廣和普及。All Programmable FPGA 和 SoC 提供的功能使多種類型的傳感器可並行運行並按要求實現同步；同時，利用 SoC 處理係統或軟核處理器來執行數據融合和決策活動。

 

係統和高層次綜合工具（如 SDSoC 和 Vivado HLS），為工程設計團隊帶來了多種優勢，可確保如期進行應用開發。