這種經典的機器視覺架構具有如下幾個方麵的缺點：

 

第一，高像素傳感器拍(pai)攝(she)帶(dai)來(lai)大(da)量(liang)信(xin)息(xi)使(shi)其(qi)難(nan)以(yi)實(shi)現(xian)極(ji)高(gao)速(su)的(de)圖(tu)像(xiang)或(huo)視(shi)頻(pin)數(shu)字(zi)化(hua)存(cun)儲(chu)和(he)分(fen)析(xi)，尤(you)其(qi)在(zai)使(shi)用(yong)移(yi)動(dong)設(she)備(bei)和(he)電(dian)池(chi)供(gong)電(dian)的(de)設(she)備(bei)時(shi)更(geng)是(shi)帶(dai)來(lai)了(le)能(neng)耗(hao)和(he)性(xing)能(neng)的(de)平(ping)衡(heng)問(wen)題(ti)；

 

第di二er
，所suo捕bu獲huo的de圖tu像xiang通tong常chang包bao含han許xu多duo對dui機ji器qi學xue習xi任ren務wu無wu用yong的de冗rong餘yu信xin息xi，帶dai來lai了le後hou端duan處chu理li器qi某mou種zhong程cheng度du上shang的de性xing能neng負fu擔dan，和he資zi源yuan浪lang費fei
，從cong而er導dao致zhi在zai功gong耗hao和he內nei存cun需xu求qiu方fang麵mian效xiao率lv低di下xia。

 

第三
，在可見光的波長以外的電磁波段製造高像素數圖像傳感器（如手機相機中的傳感器）具有很大的挑戰性
，且其成本十分昂貴，因而也限製了機器視覺係統在更長波段（如太赫茲）上的應用。

 

最近，加州大學洛杉磯分校（UCLA）的研究人員開發了一種新的單像素機器視覺係統，通過引入光學神經網絡（名詞解釋⏬）的方式規避了傳統機器視覺係統的諸多缺點。

 

圖1 來lai自zi加jia州zhou大da學xue洛luo杉shan磯ji分fen校xiao的de研yan究jiu人ren員yuan發fa明ming了le一yi個ge新xin型xing單dan像xiang素su機ji器qi視shi覺jiao係xi統tong
，該gai係xi統tong可ke以yi將jiang物wu體ti的de空kong域yu信xin息xi編bian碼ma為wei功gong率lv譜pu，從cong而er實shi現xian對dui圖tu像xiang進jin行xing分fen類lei和he重zhong建jian。

 

該成果以Spectrally encoded single-pixel machine vision using diffractive networks為題發表在Science Advances。

 

研究人員借助深度學習技術，設計了一個由多個衍射層組成的衍射光學神經網絡（Diffractive Optical Neural Networks）（拓展閱讀⏬），這些衍射層由計算機自動優化設計，可將經過的輸入光場調製成一定的目標分布，從而能夠執行計算和統計推斷任務。

 

與yu常chang規gui的de基ji於yu鏡jing頭tou模mo組zu的de相xiang機ji不bu同tong，該gai衍yan射she光guang學xue神shen經jing網wang絡luo以yi被bei寬kuan帶dai光guang照zhao明ming的de物wu體ti作zuo為wei其qi輸shu入ru
，將jiang物wu體ti的de空kong域yu特te征zheng信xin息xi提ti取qu並bing編bian碼ma到dao衍yan射she光guang的de光guang譜pu上shang
，而er後hou光guang譜pu信xin號hao由you具ju有you頻pin譜pu探tan測ce能neng力li的de單dan像xiang素su超chao快kuai傳chuan感gan器qi所suo收shou集ji。通tong過guo將jiang物wu體ti對dui應ying的de不bu同tong的de類lei別bie分fen配pei給gei不bu同tong波bo長chang的de光guang頻pin譜pu分fen量liang
，該gai係xi統tong僅jin使shi用yong單dan像xiang素su傳chuan感gan器qi探tan測ce到dao的de輸shu出chu光guang譜pu即ji可ke自zi動dong對dui輸shu入ru對dui象xiang完wan成cheng分fen類lei，從cong而er無wu需xu圖tu像xiang傳chuan感gan器qi陣zhen列lie和he後hou端duan數shu字zi處chu理li。這zhe種zhong框kuang架jia實shi現xian了le全quan光guang學xue推tui理li和he機ji器qi視shi覺jiao，在zai幀zhen速su率lv、內存需求和功耗效率方麵具有明顯優勢，這些特點對於移動計算應用而言尤為重要。

 

圖2. 該係統使用寬帶光對物體進行照明。係統分類結果取決於單像素傳感器測得的輸出光功率譜上10個(ge)波(bo)長(chang)位(wei)置(zhi)上(shang)最(zui)強(qiang)的(de)信(xin)號(hao)
，其(qi)波(bo)長(chang)對(dui)應(ying)的(de)類(lei)別(bie)即(ji)是(shi)分(fen)類(lei)預(yu)測(ce)結(jie)果(guo)。功(gong)率(lv)譜(pu)信(xin)號(hao)還(hai)可(ke)以(yi)輸(shu)入(ru)到(dao)數(shu)字(zi)神(shen)經(jing)網(wang)絡(luo)中(zhong)被(bei)用(yong)於(yu)重(zhong)建(jian)物(wu)體(ti)本(ben)身(shen)的(de)圖(tu)像(xiang)。

 

為驗證這一概念
，研究人員通過使用單像素傳感器和3D打印的衍射層對使用手寫數字圖像數據集（MNIST）的所構建的物體進行分類


，在實驗中證明了該框架在太赫茲波段下的性能。研究者基於提前選定的10個波長對實驗係統進行了設計

，這10個波長被逐一分配給輸入物的不同類別（對應手寫數字的0到9），對物的分類結果取決於傳感器輸出功率譜上10個波長位置上信號最強者的波長對應的類別。

 

實驗係統中的單像素探測方案基於太赫茲時域光譜術實現
，照明光為極短的太赫茲脈衝
，網絡的推理以光速在瞬時間完成。

 

最終，該係統在手寫數字分類任務中實現了超過96%的分類精度，實驗結果也與數值模擬非常吻合

，證明了該單像素機器視覺框架在構建低延遲、gaoxiaodejiqixuexixitongfangmiandekexingxing。chuwutifenleiwai，yanjiurenyuanhaijiangciyansheshenjingwangluodeshuchuyuyigejiandandequanlianjieshuzishenjingwangluoxianglianjie
，jintongguogonglvpushang10個波長處的信號強度來快速重建此輸入物的圖像
，從而實現了圖像的重建或“解壓縮”。

 

總而言之
，這種單像素對象分類和圖像重建框架可以為新的機器視覺係統的開發鋪平道路。該係統具有低像素數
、低延遲、低功耗和低成本的特點，以高效
、節省資源的獨特優勢通過將物體信息進行頻譜編碼來實現特定的推理任務，有望廣泛應用於移動計算、邊緣計算等領域。

 

此外，該新框架還可以擴展到各種光譜域測量係統
，例如光學相幹斷層掃描、紅外波段成像等
，有助於構建基於衍射神經網絡的光譜和空間信息編碼集成的新型3D傳感和成像方式。