【導讀】得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝(she)像(xiang)頭(tou)在(zai)工(gong)業(ye)應(ying)用(yong)，尤(you)其(qi)是(shi)機(ji)器(qi)人(ren)領(ling)域(yu)越(yue)來(lai)越(yue)受(shou)歡(huan)迎(ying)。盡(jin)管(guan)具(ju)有(you)這(zhe)些(xie)優(you)勢(shi)，但(dan)光(guang)學(xue)係(xi)統(tong)的(de)固(gu)有(you)複(fu)雜(za)性(xing)往(wang)往(wang)會(hui)約(yue)束(shu)視(shi)場(chang)
，從(cong)而(er)限(xian)製(zhi)獨(du)立(li)功(gong)能(neng)。本(ben)文(wen)中(zhong)討(tao)論(lun)的(de)3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合
，生成連續的高質量3D圖像
，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據

，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互，深度學習網絡在移動機器人應用中特別有價值。

摘要

得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝(she)像(xiang)頭(tou)在(zai)工(gong)業(ye)應(ying)用(yong)
，尤(you)其(qi)是(shi)機(ji)器(qi)人(ren)領(ling)域(yu)越(yue)來(lai)越(yue)受(shou)歡(huan)迎(ying)。盡(jin)管(guan)具(ju)有(you)這(zhe)些(xie)優(you)勢(shi)，但(dan)光(guang)學(xue)係(xi)統(tong)的(de)固(gu)有(you)複(fu)雜(za)性(xing)往(wang)往(wang)會(hui)約(yue)束(shu)視(shi)場(chang)，從(cong)而(er)限(xian)製(zhi)獨(du)立(li)功(gong)能(neng)。本(ben)文(wen)中(zhong)討(tao)論(lun)的(de)3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合，生成連續的高質量3D圖像
，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互，深度學習網絡在移動機器人應用中特別有價值。
 
簡介

飛行時間(TOF)攝像頭作為出色的測距成像係統脫穎而出，它利用TOF技術來確定攝像頭與圖像中每個點之間的距離。通過測量激光器或LED發射的人造光信號的往返時間

，便可計算出距離。TOF攝像頭提供精確的深度信息，因此在準確距離測量和3D可視化至關重要的應用中，比如在機器人和工業技術應用中
，該攝像頭是極具價值的工具，例如能夠在270°的視場(FOV)範圍執行碰撞檢測和人體檢測，從而提高安全性。
 
ADTF3175 TOF傳感器的校準FOV可達到75°。然而，當應用的FOV超(chao)出(chu)該(gai)區(qu)域(yu)時(shi)，挑(tiao)戰(zhan)出(chu)現(xian)，此(ci)時(shi)就(jiu)需(xu)要(yao)多(duo)個(ge)傳(chuan)感(gan)器(qi)。如(ru)果(guo)通(tong)過(guo)集(ji)成(cheng)各(ge)個(ge)傳(chuan)感(gan)器(qi)的(de)數(shu)據(ju)來(lai)為(wei)整(zheng)個(ge)視(shi)場(chang)提(ti)供(gong)全(quan)麵(mian)的(de)分(fen)析(xi)，這(zhe)可(ke)能(neng)會(hui)造(zao)成(cheng)困(kun)難(nan)。一(yi)個(ge)潛(qian)在(zai)解(jie)決(jue)方(fang)案(an)是(shi)讓(rang)傳(chuan)感(gan)器(qi)對(dui)部(bu)分(fen)FOV執行算法
，然後將輸出傳輸至主機以進行整理。然而
，該方法麵臨區域重疊、死區和通信延遲等問題
，導致其成為很難有效解決的複雜問題。
 
另ling一yi種zhong方fang法fa是shi將jiang從cong所suo有you傳chuan感gan器qi捕bu獲huo的de數shu據ju拚pin接jie成cheng單dan個ge圖tu像xiang，隨sui後hou在zai拚pin接jie的de圖tu像xiang上shang應ying用yong檢jian測ce算suan法fa。該gai過guo程cheng可ke卸xie載zai至zhi單dan獨du的de主zhu機ji處chu理li器qi
，從cong而er減jian輕qing傳chuan感gan器qi單dan元yuan的de計ji算suan負fu荷he，留liu出chu空kong間jian執zhi行xing高gao級ji分fen析xi和he其qi他ta處chu理li選xuan項xiang。然ran而er，值zhi得de注zhu意yi的de是shi，傳chuan統tong圖tu像xiang拚pin接jie算suan法fa本ben身shen非fei常chang複fu雜za
，會hui消xiao耗hao主zhu機ji處chu理li器qi相xiang當dang一yi部bu分fen的de計ji算suan能neng力li。此ci外wai
，由you於yu隱yin私si原yuan因yin

，在zai許xu多duo應ying用yong中zhong
，數shu據ju無wu法fa發fa送song到dao雲yun端duan進jin行xing拚pin接jie。
 
ADIgongsidesuanfajiejuefangankeshiyongshendushujudedianyuntouying，pinjielaizibutongchuanganqideshenduhehongwaituxiang。zhebaokuoshiyongshexiangtouwaibuweizhizhuanhuanbuhuodaodeshujubingjiangqitouyinghuidao2D空間，從而生成單張連續顯示的圖像。

該方法能夠大幅減少計算量，有助於在邊緣達到實時運行的速度，並確保主機處理器的計算能力仍可用於其他高級分析。

圖1.深度拚接算法。

解決方案描述

ADI的3D TOF解決方案分4個階段運行（參見圖1）：

1. 預處理紅外和深度數據：紅外和深度數據的時間同步及預處理。
2. 將深度數據投影到3D點雲：利用攝像頭內參將深度數據投影到3D點雲。
3. 轉換和合並點：使用攝像頭的外部位置對點雲進行坐標轉換，並合並重疊區域。
4. 將點雲投影到2D圖像：采用圓柱投影將點雲投影回到2D圖像。

係統與算法的挑戰及解決方案
 
主機接收深度和紅外幀

主機通過USB等高速連接方式連接到多個TOF傳感器。主機收集深度和紅外幀，並將其存儲在隊列中。
 
同步深度和紅外數據

zhujijieshoudaodelaizimeigechuanganqideshenduhehongwaizhenzaibutongshijianshilibeibuhuo。weilebimianyinwutiyidongerzaochengdeshijianbupipei
，suoyouchuanganqideshuruxuyaotongbudaotongyishijianshili。shiyongshijiantongbuqimokuai
，gaimokuaigenjulaiziduiliedeshijianchuopipeichuanrudezhen。
 
投影到點雲

通過使用每個傳感器的同步深度數據
，在主機上生成點雲。然後，每個點雲根據其各自在真實場景中的攝像頭位置（參見圖2）進行轉換（平移和旋轉）。接著，這些轉換後的點雲合並形成單個連續點雲，覆蓋傳感器的組合FOV（參見圖3）。

圖2.相機外參。
 圖3.合並的點雲。

3D到2D投影

通過使用圓柱投影算法

，也稱為前視圖投影
，FOV的組合點雲投影到2D畫布上（參見圖4）。換言之，該算法將合並點雲的每個點投影到2D平麵的像素上，從而生成單一連續全景圖，覆蓋所有傳感器的組合視場。這會產生兩個2D拚接圖像：一個用於拚接的紅外圖像，另一個用於投影到2D平麵的拚接深度圖像。

圖4.圓柱投影算法。 

提高投影質量

將3D組合點雲投影到2D圖tu像xiang仍reng無wu法fa生sheng成cheng高gao質zhi量liang圖tu像xiang。圖tu像xiang存cun在zai失shi真zhen和he噪zao點dian。這zhe不bu僅jin影ying響xiang視shi覺jiao質zhi量liang，對dui投tou影ying上shang運yun行xing的de任ren何he算suan法fa也ye會hui產chan生sheng不bu利li影ying響xiang。以yi下xia章zhang節jie記ji錄lu了le3個關鍵問題（參見圖5）及其解決方法。

圖5.2D投影問題。

投影無效深度區域

對於超出傳感器工作範圍(8000 mm)的點
，ADTF3175的深度數據的無效深度值為0 mm。這會導致深度圖像上出現大片空白區域
，並形成不完整的點雲。將深度值8000 mm（攝像頭支持的最大深度）分配給深度圖像上的所有無效點，並利用該值生成點雲。這確保了點雲沒有間隙。
 
填充未映射的像素

將3D點雲投影到2D平麵時，2D圖像中存在未映射/未填充的區域。許多點雲(3D)像素映射至同一個2D像素，因此多個2D像素仍是空白。這就會產生如圖6所示的拉伸圖案。為解決該問題，我們使用3 × 3過濾器，用其相鄰的8個具備有效值的像素的平均紅外/深度值來填充未映射的像素。這樣便可獲得更完整的輸出圖像，並消除偽影（參見圖6）。
 
重疊點產生的噪點

得益於圓柱投影算法
，重疊區域上的許多點最終在2D投tou影ying輸shu出chu上shang獲huo得de相xiang同tong的de靜jing止zhi坐zuo標biao。由you於yu背bei景jing像xiang素su與yu前qian景jing像xiang素su重zhong疊die，因yin此ci會hui產chan生sheng噪zao點dian。為wei解jie決jue該gai問wen題ti，我wo們men將jiang每mei個ge點dian的de徑jing向xiang距ju離li與yu現xian有you點dian進jin行xing比bi較jiao

，僅jin當dang與yu攝she像xiang頭tou原yuan點dian的de距ju離li小xiao於yu現xian有you點dian時shi，才cai會hui替ti換huan該gai點dian。這zhe有you助zhu於yu僅jin保bao留liu前qian景jing點dian，並bing提ti高gao投tou影ying質zhi量liang（參見圖7）。

圖6.填充未映射的像素。
 
 圖7.重疊噪點修複。

結論

該算法能夠以小於5°的重疊度拚接來自不同攝像頭的圖像
，相比之下
，傳統關鍵點匹配算法至少需要20°的(de)重(zhong)疊(die)度(du)。該(gai)方(fang)法(fa)所(suo)需(xu)的(de)計(ji)算(suan)量(liang)極(ji)少(shao)，因(yin)此(ci)非(fei)常(chang)適(shi)用(yong)於(yu)邊(bian)緣(yuan)係(xi)統(tong)。由(you)於(yu)沒(mei)有(you)圖(tu)像(xiang)失(shi)真(zhen)，深(shen)度(du)數(shu)據(ju)在(zai)拚(pin)接(jie)後(hou)仍(reng)具(ju)有(you)完(wan)整(zheng)性(xing)。該(gai)解(jie)決(jue)方(fang)案(an)進(jin)一(yi)步(bu)支(zhi)持(chi)了(le)ADTF3175傳感器的模塊化實現，以極小的損失獲得所需FOV。
 
FOV的擴展不限於水平維度，相同技術也可用於在垂直方向上擴展視場
，從而獲得真正的球形視覺。該解決方案可以在連接了4個傳感器的Arm® V8 6核邊緣CPU上以10 fps的速度運行，提供275°的FOV。當僅使用兩個傳感器時
，幀速率可達30 fps。
 
該方法的主要優勢之一是實現了巨大的計算效率增益
，基本計算效率的增益超過3倍（參見表1）。

圖8和圖9展示了使用該解決方案獲得的一些結果。

表1.計算複雜性比較：針對512 × 512 QMP輸入，傳統算法與本文所提算法比較
 
圖8.拚接的紅外數據提供210°的FOV。

參考文獻

“ADI公司的3DToF ADTF31xx”。GitHub, Inc.
“ADI公司3DToF地麵探測器”。GitHub, Inc.
“ ADI公司3DToF圖像拚接”。GitHub, Inc.
“ ADI公司3DToF安全氣泡探測器”。GitHub, Inc.
“ ADI公司3D ToF軟件套件”。GitHub, Inc.
He、Yingshen
、Ge Li
、Yiting Shao

、Jing Wang、Yueru Chen和Shan Liu.“通過球麵投影的點雲壓縮框架”。2020年IEEE視覺通信和圖像處理國際會議，2020年。
工業視覺技術。
ADI公司
Topiwala、Anirudh。“點雲的球麵投影”。Towards Data Science，2020年3月。

圖9.具有278° FoV的拚接紅外和深度圖像。

關於ADI公司

Analog Devices, Inc. (NASDAQ: ADI)是全球領先的半導體公司
，致力於在現實世界與數字世界之間架起橋梁，以實現智能邊緣領域的突破性創新。ADI提供結合模擬、數字和軟件技術的解決方案，推動數字化工廠
、汽車和數字醫療等領域的持續發展

，應對氣候變化挑戰，並建立人與世界萬物的可靠互聯。ADI公司2024財年收入超過90億美元，全球員工約2.4萬人。ADI助力創新者不斷超越一切可能。更多信息，請訪問www.analog.com/cn。

作者簡介

Rajesh Mahapatra擁有超過30年的工作經驗，目前就職於班加羅爾ADI公司的軟件和安全部門。他熱衷於使用基於ADI硬ying件jian解jie決jue方fang案an的de算suan法fa和he嵌qian入ru式shi軟ruan件jian來lai幫bang助zhu客ke戶hu解jie決jue問wen題ti。他ta與yu非fei政zheng府fu組zu織zhi密mi切qie合he作zuo
，植zhi樹shu造zao林lin，並bing為wei城cheng市shi裏li經jing濟ji困kun難nan的de人ren群qun提ti供gong培pei訓xun，幫bang助zhu他ta們men謀mou生sheng。他ta在zai係xi統tong、圖像處理和計算機視覺領域擁有5項專利。
 
Anil Sripadarao於2007年加入ADI公司，目前就職於班加羅爾ADI公司的軟件和安全部門。他感興趣的領域包括音頻/視頻編解碼器
、AI/ML
、計算機視覺算法和機器人技術。他在圖像處理和計算機視覺領域擁有6項專利。
 
Swastik Mahapatra是軟件和安全部門的高級機器學習工程師。他於2018年加入ADI公司


，致力於開發各種計算機視覺技術和機器人安全解決方案。他在深度學習邊緣推理框架開發、機器人應用開發方麵擁有豐富的經驗，並精通卷積神經網絡。他的專業領域包括計算機視覺
、3D視覺、機器學習和機器人的算法開發。

(來源：ADI公司，作者：Rajesh Mahapatra
，高級經理,Anil Sripadarao

，首席工程師,Swastik Mahapatra，高級工程師)

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息

，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

安全設計降壓前置穩壓器
，為汽車電源保駕護航！

交流電源係統中的過流保護

柵極驅動器選得好，SiC MOSFET高效又安全

集成開/關控製器如何提升係統能效

充電器 IC 中的動態電源路徑管理