ToF 3D圖像傳感器正在改變我們參與攝影和混合現實的方式
發布時間:2023-06-13 來源:英飛淩 責任編輯:wenwei
【導讀】視頻技術的問世掀起了一場席卷全球的視聽通信革命。今天,整個世界都非常依賴照片和視頻媒體來實現各種目的,包括商業、通信、教育和娛樂。采集和顯示視頻的機製也突飛猛進。而3D攝像頭的采用,使用戶可以以前所未有的信息量觀察事物。
這個過程所不可或缺的一環,就是給數字視頻添加深度信息,使其更接近真實。本文探討了如何使用飛行時間(ToF)傳感器實現此目的,以及ToF傳感器正在如何改變我們與VR和其他視頻技術的交互方式。
ToF 3D圖像傳感器簡介
總的來說,飛行時間(或 ToF)是一種基於光的飛行時間測量物體距離的方法。ToF傳chuan感gan器qi或huo攝she像xiang頭tou會hui發fa射she調tiao製zhi紅hong外wai光guang束shu,並bing測ce量liang從cong不bu同tong距ju離li的de不bu同tong表biao麵mian接jie收shou到dao的de光guang的de相xiang位wei差cha。該gai數shu據ju被bei轉zhuan換huan為wei距ju離li,並bing為wei照zhao明ming場chang景jing提ti供gong深shen度du。ToF傳感器使用逐像素處理,這需要複雜的算法,但由於其廣泛的適用性,愈發受到物流、汽車和消費電子領域的親睞。通過在三個維度上進行掃描,ToF傳感器可以創建目標對象的 3D 圖像。
ToF傳感器工作原理
3D ToF圖像傳感器的操作非常簡單。它根據光子混合器設備(PMD)的原理進行檢測。ToF傳感器主要分為兩類:直接傳感器和間接傳感器。直接ToF傳感器的工作原理是通過發射光、收集反射信號,然後測量信號延遲[圖1];接著,用光飛行時間來測量距離,從而實現場景的3D重建。
圖1 直接ToF傳感器的工作原理(簡版)(圖源:作者)
間接ToFchuanganqidegongzuoyuanlishi,buduanfashetiaozhixinhaobingfenxifanshexinhao,yiquedingxiangweicha。lianggejieshouqiyitiaozhiguangdepinlvbuduandidakaiheguanbi,qizhongyigejieshouqiyulingyigejieshouqidecaozuoxiangweibutong。yinci,meigejieshouqidouhuishoudaobufenfanshexinhao,binggenjujieshoudaodeguangdeshuliang,laiquedingxiangweicha,rutu 2 所示。
圖2 兩個檢測器交替收集感興趣物體的光(圖源:作者)
優勢及應用
ToF傳感器可以在不影響圖像分辨率的情況下,擴大測量範圍,並在低成本、可靠和緊湊的封裝中提供全部數字細節,這為3D增強型攝影提供了優化解決方案。最新的ToF傳感器功耗較低,對移動設備來說,是一個具有吸引力的選擇。此外,與結構光發射等技術相比,ToF傳感器對精確的機械對準的依賴程度較低。新型ToF傳感器允許使用更高的調製頻率,因此,顯著提高了精度。
Stratview Research的數據顯示,從2021到2026年,ToF的年增長率有望達到16.8%(1)。ToF攝像頭的應用主要集中在消費電子行業和物流行業的3D成像和掃描。它有望通過以低成本提供豐富的3D視覺效果來徹底革新3D檢測和成像。
ToF傳感器可以用於輔助麵部識別、安全跟蹤、庫存管理,以及環境和建築物映射等應用。在現代車輛中,ToF傳感器可實現近距離環境映射、輔助泊車以及車內的許多其他功能,例如:駕駛員監控或手勢控製。不過,最有趣的應用要數消費電子和混合現實。憑借小巧的外形和較高的能效,ToF傳感器可能是唯一一項準備進軍消費電子領域的3D成像技術。
案例研究:增強AR/ MR體驗
將3D ToF傳感器整合到消費電子領域,仍是一個尚未開發的市場,具有顛覆性的意義。Counterpoint Research稱,在智能手機中整合ToF攝像頭,有望成為未來的主要趨勢之一(2)。在最近的一場網絡研討會上,來自TECNO、三星和DXOMARK Image Labs的專家聲稱,ToF和動態視覺傳感器(DVS)等功能可以使手機攝像頭的性能勝過數碼單反相機(DSLR)(3)。在過去,智能手機和遊戲設備將3D ToF攝像頭用於高度逼真的增強顯示/混合現實(AR/MR)應用。AR/MR應用將現實世界與虛擬元素相融合,為用戶帶來了更好的商業互動、3D設計和遊戲娛樂體驗。
盡管AR/MR尚未成為主流,但隨著這些技術背後的工具的迅猛發展,AR/MR成為智能手機日常用途的代名詞指日可待。
實現MR體驗所需的兩大要素分別是:zhinengshoujishexiangtouyijikeyijianceyonghuzhouweihuanjingbingjiangqixianshizaipingmushangdeyingyongchengxu。tongguozhezhongfangshi,jiukeyiyingshexianshishijie,ranhoujiangxunituxiangfangruqizhong。weishixianzheyidian,zhinengshoujishexiangtoubixunenggouduisaomiaoquyutigongshenduhexijietuxiang。
ToF傳感器通過準確映射物體及其周圍環境,成為該場景中的主角。MR是大有前途的3D設計輔助技術,例如:室內設計師可以使用自己的手機繪製房間,並進行數字化家具布置。同樣,真實世界的物體也可以使用ToF傳感器攝像頭進行3D映射和數字化處理。市麵上已經有了很多這類商用移動應用程序,但卻因攝像頭而無法實現逼真的映射效果(4)。
ToF將顯著增強深度信息,而映射圖像又為創新和快速的 3D設計帶來了無限可能。混合現實的另一個應用是商業交互,專業人士可以借此展示逼真的場地/項目圖像,來加深理解。
MR還被用於創建真實的商業背景,也就是將人們插入一個人的視野中,並將虛擬會議變成真實會議。ToF傳感器是這個操作的核心,因為隻有3D成像提供的深度信息才能使這種體驗更加逼真。最近,由社交網絡巨頭推出的元宇宙概念就將利用這一精確技術,這將促進對ToF傳感器的需求和創新。
遊戲是另一個利用AR/MR ToF優勢的領域。遊戲設備和現在的智能手機正在使用ToF傳感器的手勢識別功能來實現完全沉浸式的體驗。當ToF傳感器被集成到移動設備的前置攝像頭時,就可以大幅增強麵部識別等安全措施。通過在後置攝像頭中使用3D技術,ToF傳感器有望實現出色的計算攝影和沉浸式VR體驗。無需大量後期處理,ToF傳感器就可以在圖像和視頻中有效地渲染背景虛化效果。
在理想的情況下,混合現實要比虛擬現實和增強現實技術先進得多。它對處理能力提出了較為苛刻的要求,需要實時獲取高精度3D深度數據。此外,光照條件是實現MR所需的逼真感的一大挑戰。不論是房屋和車輛等室內環境,還是光照受天氣影響的室外環境,強大的ToF攝像頭都必須能夠在所有光線條件下捕獲準確的深度數據。
在商業交互和日常生活中使用MR技ji術shu,對dui許xu多duo人ren來lai說shuo似si乎hu為wei時shi過guo早zao。然ran而er,在zai新xin冠guan疫yi情qing期qi間jian,整zheng個ge世shi界jie對dui模mo糊hu虛xu擬ni世shi界jie和he現xian實shi世shi界jie邊bian界jie的de服fu務wu需xu求qiu呈cheng指zhi數shu級ji增zeng長chang,這zhe促cu使shi非fei麵mian對dui麵mian服fu務wu加jia速su發fa展zhan。因yin此ci,我wo們men可ke以yi合he理li地di預yu期qi,在zai不bu遠yuan的de將jiang來lai,增zeng強qiangAR/MR技術將成為工作和娛樂所不可或缺的技術。更不用說ToF這類技術,它作為愈發強大的MR性能的支柱性技術,將變得更加重要。
英飛淩ToF傳感器
英飛淩與pmdtechnologies合作推出了REAL3™圖像傳感器係列,pmdtechnologies是一家專注於 ToF 技術的德國公司,在該領域處於領先地位。這係列傳感器使用紅外光進行飛行時間(ToF)傳感,並為每個像素配備一個微透鏡,因此,幾乎沒有光能損失,而且準確性更高。英飛淩第六代REAL3™ 3D ToF傳感器特別專注於消費類應用,例如:智能手機應用,特別是基於AR/MR的拍照和攝像。該傳感器的功耗比前幾代產品低40%,這對於需要長時間開啟ToF攝像頭的遊戲等應用來說非常重要,可以保護電池壽命。考慮到現代智能設備對尺寸的嚴格限製,ToF傳感器的設計占用麵積僅為4.4 × 4.8 mm²,與前幾代產品相比縮小了35%。
REAL3™圖像傳感係統的另一個突出特點是,增大了傳感範圍,可達10 m。調製頻率越高,ToF傳感器的深度精度就越好,但這會影響傳感器的測量範圍。因此,REAL3™圖(tu)像(xiang)傳(chuan)感(gan)器(qi)使(shi)用(yong)兩(liang)個(ge)調(tiao)製(zhi)頻(pin)率(lv),並(bing)對(dui)收(shou)集(ji)到(dao)的(de)數(shu)據(ju)進(jin)行(xing)細(xi)致(zhi)的(de)後(hou)期(qi)處(chu)理(li),以(yi)便(bian)在(zai)不(bu)影(ying)響(xiang)深(shen)度(du)質(zhi)量(liang)的(de)情(qing)況(kuang)下(xia),實(shi)現(xian)相(xiang)當(dang)大(da)的(de)測(ce)量(liang)範(fan)圍(wei)。這(zhe)些(xie)傳(chuan)感(gan)器(qi)還(hai)配(pei)備(bei)了(le)pmdtechnologies的背景照明抑製(SBI)技術,可降低像素飽和度,使攝像頭能夠在各種光照條件下運行。傳感器還可以通過 I2C jiekoudongtaidizhongxinpeizhi,yishiyingxindecaozuohuanjing。tongguojiangsuoyouzhexiegongnengzhenghedaoyigechengxiangxitongzhong,kansibukenengdeyingyongxianzaisihuyijingchengweiyigequedingdexianshi。yinci,shejishixuyaoliuyiyingfeilingzaigaojingdu3D圖像傳感器方麵的最新創新。
參考文獻
1.Stratview Research. Time-of-Flight (ToF) Sensor Market | Market Size, Share & Forecast Analysis | 2021-26 [Internet]. 2022 Jul [cited 2022 Jul 31].
Available from: https://www.stratviewresearch.com/1731/time-of-flight-(ToF)-sensor-market.html
2.Counterpoint Research. Brighter, steadier, smarter: How smartphone cameras will improve in 2022 [Internet]. BBC Future. [cited 2022 Aug 20].
Available from: https://www.bbc.com/storyworks/future/looking-ahead-with-tecno/brighter-steadier-smarter-how-smartphone-cameras-will-improve-in-2022
3.Counterpoint Research. Global Mobile Camera Trends 2022: Innovation Talk [Internet]. Counterpoint Research. 2021 [cited 2022 Aug 20].
Available from: https://www.counterpointresearch.com/global-mobile-camera-trends-2022-innovation-talk/
4.Velichko Y. How AR Fills Your Room with Virtual Decor [Internet]. PostIndustria. 2021 [cited 2022 Jul 31].
Available from: https://postindustria.com/how-ar-fills-your-room-with-virtual-decor-top-home-virtual-furniture-placement-apps-ar-furniture/
免責聲明:本文為轉載文章,轉載此文目的在於傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請聯係小編進行處理。
推薦閱讀:
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
- 貿澤EIT係列新一期,探索AI如何重塑日常科技與用戶體驗
- 算力爆發遇上電源革新,大聯大世平集團攜手晶豐明源線上研討會解鎖應用落地
- 創新不止,創芯不已:第六屆ICDIA創芯展8月南京盛大啟幕!
- AI時代,為什麼存儲基礎設施的可靠性決定數據中心的經濟效益
- 矽典微ONELAB開發係列:為毫米波算法開發者打造的全棧工具鏈
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall


