汽qi車che工gong業ye的de最zui新xin發fa展zhan引yin起qi了le科ke研yan人ren員yuan對dui疲pi勞lao駕jia駛shi監jian測ce的de研yan究jiu興xing趣qu，意yi圖tu開kai發fa一yi種zhong有you效xiao的de駕jia駛shi員yuan監jian測ce係xi統tong
，能neng及ji時shi發fa現xian心xin理li物wu理li狀zhuang態tai異yi常chang，減jian少shao疲pi勞lao駕jia駛shi引yin起qi的de交jiao通tong事shi故gu。現xian在zai許xu多duo文wen獻xian特te別bie專zhuan注zhu於yu生sheng理li信xin號hao的de研yan究jiu，通tong過guo測ce量liang心xin率lv變bian異yi性xing（HRV）來得到有關心髒運動的信息。事實上，HRV還是一個有效的評估生理壓力的指標，因為它可以提供與自主神經係統支配的心血管係統活動相關的信息。

 

1   前言

 

困(kun)倦(juan)是(shi)一(yi)種(zhong)生(sheng)理(li)狀(zhuang)態(tai)
，其(qi)特(te)征(zheng)是(shi)人(ren)的(de)意(yi)識(shi)程(cheng)度(du)降(jiang)低(di)，難(nan)以(yi)保(bao)持(chi)清(qing)醒(xing)狀(zhuang)態(tai)。根(gen)據(ju)國(guo)家(jia)安(an)全(quan)委(wei)員(yuan)會(hui)的(de)調(tiao)查(zha)，在(zai)美(mei)國(guo)

，疲(pi)勞(lao)駕(jia)駛(shi)導(dao)致(zhi)的(de)致(zhi)命(ming)性(xing)事(shi)故(gu)的(de)占(zhan)比(bi)正(zheng)在(zai)顯(xian)著(zhu)上(shang)升(sheng)[1]。因此
，開發一種可以提前發現駕駛員生理狀況不適宜開車的有效預警係統將具有重要意義。據報道，有研究顯示
，心率變異性（HRV）與駕駛員的注意力程度相關聯[2]。準確的講，心率變異性是一個代表個體的生理適應能力和行為靈活性的重要指標。評估心髒運動的方法是使用PPG信號測量血壓，由此再評估心率變異性。具體地說
，PPG信號是由代表逐次心動周期的血管容積峰值組成，PPG檢測方法是，使用LED光源照射皮膚的不同部位，再用光電二極管評價光的反射強度[3]。盡管生理信號使我們能夠監測困倦程度
，但是最近的研究方向主要是使用計算機視覺技術評估駕駛員的疲勞程度[4]。雖然在汽車環境中開發人臉檢測係統肯定具有挑戰性，但仍有許多方法使用攝像頭確定眨眼率
，由此來評估疲勞程度[5]。與(yu)其(qi)它(ta)研(yan)究(jiu)不(bu)同(tong)，我(wo)們(men)的(de)方(fang)法(fa)側(ce)重(zhong)於(yu)利(li)用(yong)計(ji)算(suan)機(ji)視(shi)覺(jiao)技(ji)術(shu)來(lai)檢(jian)測(ce)和(he)提(ti)取(qu)人(ren)臉(lian)特(te)征(zheng)點(dian)，通(tong)過(guo)分(fen)析(xi)先(xian)前(qian)錄(lu)製(zhi)的(de)視(shi)頻(pin)序(xu)列(lie)的(de)像(xiang)素(su)強(qiang)度(du)變(bian)化(hua)，來(lai)定(ding)義(yi)人(ren)臉(lian)特(te)征(zheng)點(dian)的(de)時(shi)間(jian)序(xu)列(lie)。更(geng)具(ju)體(ti)地(di)說(shuo)，我(wo)們(men)的(de)方(fang)法(fa)的(de)基(ji)本(ben)原(yuan)理(li)也(ye)是(shi)通(tong)過(guo)“視頻放大”來揭示血壓變化引起的麵部細微運動。本研究的目的是通過定義人臉特征點時間序列而不是使用傳感器來構建PPG信號。

 

本文後麵的結構如下：第二部分介紹相關的研究成果；第三部分概述PPG信xin號hao，並bing介jie紹shao我wo們men的de基ji於yu長chang期qi短duan記ji憶yi和he卷juan積ji神shen經jing網wang絡luo的de管guan道dao。第di四si部bu分fen解jie釋shi實shi驗yan過guo程cheng。最zui後hou
，第di五wu部bu分fen討tao論lun我wo們men方fang法fa的de優you點dian和he未wei來lai研yan究jiu方fang向xiang。

 

2   相關研究

 

zaiyiwangfabiaodelunwenzhuzuozhong，dabufenshitongguoshenglixinhaojiancejiashiyuankunjuan
，qudelehengaodejiancejingdu。shishishang，henduoyanjiuzhengming，jinjiyujisuanjishijiaojishudejiashiyuanpilaojiancejiejuefangankenengbuyidingxingzhiyouxiao，youqishicezhongyufenxijiaotongbiaozhideshijiaofangfa，zailukuangbujiashi
，wangwanghuishibai。

 

一部分科研人員曾公布了一項光體積描述信號(PPG) 檢測研究成果[6]，作者使用低功率無線PPG傳感器取得了很好的檢測效果。另一種方法 [7] 是作者利用在手指和耳垂檢測到的低頻和高頻PPG信號來評估疲勞程度。本文引用的研究成果主要是通過研究ECG和PPG信號來評估HRV信(xin)號(hao)。不(bu)過(guo)，本(ben)文(wen)所(suo)引(yin)用(yong)的(de)方(fang)法(fa)對(dui)計(ji)算(suan)性(xing)能(neng)有(you)較(jiao)高(gao)的(de)要(yao)求(qiu)
，需(xu)要(yao)在(zai)車(che)上(shang)集(ji)成(cheng)昂(ang)貴(gui)的(de)檢(jian)測(ce)設(she)備(bei)。盡(jin)管(guan)集(ji)成(cheng)的(de)傳(chuan)感(gan)器(qi)不(bu)一(yi)定(ding)是(shi)直(zhi)接(jie)測(ce)量(liang)工(gong)具(ju)
，但(dan)為(wei)了(le)準(zhun)確(que)地(di)獲(huo)取(qu)生(sheng)理(li)信(xin)號(hao)
，駕(jia)駛(shi)員(yuan)還(hai)是(shi)需(xu)要(yao)將(jiang)手(shou)或(huo)身(shen)體(ti)的(de)其(qi)它(ta)部(bu)分(fen)（例如耳垂或手指）放(fang)在(zai)傳(chuan)感(gan)器(qi)上(shang)，這(zhe)對(dui)於(yu)在(zai)汽(qi)車(che)上(shang)推(tui)廣(guang)應(ying)用(yong)是(shi)一(yi)個(ge)限(xian)製(zhi)。本(ben)文(wen)另(ling)辟(pi)蹊(qi)徑(jing)，提(ti)出(chu)一(yi)個(ge)創(chuang)新(xin)的(de)框(kuang)架(jia)，基(ji)本(ben)原(yuan)理(li)是(shi)抓(zhua)取(qu)司(si)機(ji)麵(mian)部(bu)圖(tu)像(xiang)，采(cai)集(ji)人(ren)臉(lian)特(te)征(zheng)點(dian)，重(zhong)建(jian)PPG信號
，以此評估HRV信號和疲勞程度。

 

3   背景和管道方案

 

如前所述
，我們提出了一種創新的駕駛員困倦狀態監測方法，而無需使用傳感器來獲取PPG信號。部分學者的研究成果[8]闡(chan)述(shu)了(le)視(shi)頻(pin)放(fang)大(da)方(fang)法(fa)是(shi)如(ru)何(he)通(tong)過(guo)放(fang)大(da)普(pu)通(tong)視(shi)頻(pin)圖(tu)像(xiang)來(lai)揭(jie)示(shi)人(ren)臉(lian)麵(mian)部(bu)的(de)運(yun)動(dong)變(bian)化(hua)，因(yin)為(wei)逐(zhu)次(ci)心(xin)動(dong)周(zhou)期(qi)中(zhong)的(de)血(xue)壓(ya)變(bian)化(hua)會(hui)引(yin)起(qi)皮(pi)膚(fu)不(bu)同(tong)部(bu)位(wei)的(de)顏(yan)色(se)變(bian)化(hua)。研(yan)究(jiu)證(zheng)明(ming)，自(zi)主(zhu)神(shen)經(jing)係(xi)統(tong)活(huo)動(dong)可(ke)調(tiao)節(jie)某(mou)些(xie)生(sheng)理(li)過(guo)程(cheng)，例(li)如(ru)
，血(xue)壓(ya)和(he)呼(hu)吸(xi)速(su)率(lv)，通(tong)過(guo)評(ping)估(gu)心(xin)率(lv)變(bian)異(yi)性(xing)信(xin)號(hao)可(ke)以(yi)間(jian)接(jie)測(ce)量(liang)這(zhe)些(xie)生(sheng)理(li)過(guo)程(cheng)，因(yin)為(wei)心(xin)率(lv)變(bian)異(yi)性(xing)信(xin)號(hao)在(zai)生(sheng)理(li)壓(ya)力(li)、極度疲勞和困倦期間會出現變化。

 

評估HRV心率變異性需要使用生物反饋工具或軟件，以及檢測心電信號的高質量傳感器，還需要功能強大的處理器來管理大量的數據。ECG信號是傳統的心率變異性評估方法，不過，這種方法在使用上存在某些缺陷，盡管檢測效果良好，但是在數據采集（數據采樣）過程中，人體的細微運動會導致信號內出現一些噪聲和偽影。為了克服ECG的問題，業界提出PPG信號是可靠的解決方案
，檢測血液容積變化的能力使PPG能夠有效地檢測裸眼難以觀察到的皮膚細微運動。特別是，通過分析PPG信號
，我們能夠界定在特定時段內的心率變化
，顯示自主神經係統的兩個分支（副交感神經和交感神經）是否都在正常工作。通常
，HRV值小，表示心率間隔恒定
；HRV值(zhi)大(da)
，則(ze)表(biao)示(shi)心(xin)率(lv)間(jian)隔(ge)異(yi)常(chang)。非(fei)常(chang)正(zheng)常(chang)的(de)心(xin)律(lv)和(he)心(xin)率(lv)的(de)細(xi)微(wei)變(bian)化(hua)可(ke)以(yi)確(que)定(ding)注(zhu)意(yi)力(li)是(shi)否(fou)因(yin)為(wei)慢(man)性(xing)生(sheng)理(li)壓(ya)力(li)而(er)降(jiang)低(di)。但(dan)是(shi)，不(bu)存(cun)在(zai)一(yi)個(ge)標(biao)準(zhun)的(de)HRV值，因為HRV值因人而異。

 

考慮到這一點，我們采用長期短記憶（LSTM）神經網絡[9]與卷積神經網絡（CNN）[10]相結合的方法開發了一個駕駛員困倦監測係統。本文提出的管道機製代表心髒運動評估方法取得了進步，因為它是使用一個低幀率（25fps）攝像頭檢測和提取人臉圖像中的關鍵特征點，並分析每個視頻幀的像素變化。準確地講，LSTM是評估數據之間隱藏的非線性相關性的有力解決方案。

具體地講
，LSTM管道的輸出是綜合傳感器檢測到的原始PPG目標數據後預測的人臉特征點時間序列。

此外
，CNN模型的準確分類表示LSTM預測有效

，可以確定汽車駕駛員的注意力程度。

 

4   實驗

 

總共有71個對象參與了我們的LSTM-CNN管道運行。更具體地說，數據集是來自不同性別、年齡（20至70歲之間）和病理的病患/駕駛員的PPG樣本。在這種情況下，我們不僅采集健康對象的數據，還收集高血壓

、糖尿病等病患的數據。考慮到這兩種困倦狀態的差異
，分別測量了兩種困倦各自的PPG信號樣本。具體地而言，我們模擬被同步ECG采樣信號證實的完全清醒和困倦兩種情景，其中Beta和Alpha波形分別證實大腦在喚醒和困倦時的活動狀態。每種情景的模擬間隔設為5分鍾，以確保係統有充足的時間完成初步校準和實時連續學習。同時，我們使用低幀率（25fps）全高清攝像機記錄一段駕駛員的麵部視頻
，如前文所述，我們先用基於Kazemi和Sullivan機器學習算法 [11] 的dlib庫ku


，檢jian測ce先xian前qian錄lu製zhi的de視shi頻pin幀zhen，提ti取qu人ren臉lian麵mian部bu特te征zheng點dian，然ran後hou，計ji算suan與yu每mei個ge特te征zheng點dian關guan聯lian的de像xiang素su強qiang度du，以yi及ji每mei幀zhen像xiang素su強qiang度du的de變bian化hua，確que定ding人ren臉lian特te征zheng點dian的de時shi間jian序xu列lie，將jiang其qi輸shu入ruLSTM神經網絡。

 

4.1   CNN管道

 

本節將更詳細地介紹實驗中使用的CNN模型架構。本文提出的CNN架構為驗證LSTM預測結果提供有力的證據。具體地講
，我們的CNN模型能夠跟蹤和學習汽車駕駛員的麵部表情
，從而提高困倦檢測水平。為了訓練模型，我們將批大小(batch size)設為32，初始學習率設為0.0001。此外

，我們在隱藏層中使用了32個神經元，在二進製分類中使用了2個輸出神經元。

我們非常看好實驗結果，因為準確率達到80％。

 

4.2   長短期記憶網絡（LSTM，Long Short-Term Memory）管道

 

圖. 1. LSTM管道

 

關於長短期記憶網絡（LSTM
，Long Short-Term Memory）檢測順序數據（時間序列）的關聯性的能力，我們構建了一個LSTM模型，用麵部特征點時間序列作為輸入數據，原始PPG信號作為目標數據，重建PPG信號（圖1）。在使用MinMaxScaler算法調整（0.2，0.8）範圍內的所有時間序列值後，綜合考慮以下參數
，我們進行了模型訓練。模擬訓練采用256個神經元
，批大小(batch size)128，初始學習率和輟學率分別設為0.001和0.2。為了評估PPG重構信號的魯棒性，我們計算了PPG最小點的頻率（傅裏葉頻譜）
，我們特別分析了這些點的頻率，比較了原始PPG最小點的頻率與重構PPG最小點的頻率。

 

5  結論

 

 

圖2.原始PPG最小點的快速傅立葉變換（FFT）頻譜（藍色）和重建PPG最小點的快速傅立葉變換（綠色）。

 

最後，我們提供了一種基於LSTM-CNN的有效的監測係統，通過PPG信號評估心髒活動來確定駕駛員的困倦程度。與其它方法不同，我們的方法是利用麵部特征點數據重建PPG信號，不涉及傳感器係統。如前文所述，我們構建了LSTM管道，用麵部特征點時間序列作為輸入數據

，傳感器檢測到的PPG作為目標數據
，證明PPG重構信號的魯棒性。此外，我們還構建了CNN模型
，不僅可以對駕駛員的生理狀態進行分類，還可以驗證LSTM的預測結果。最後，我們計算了原始PPG最小點的快速傅立葉變換（FFT）頻譜和重構的PPG最小點的FFT頻譜（圖2）。實驗結果證明，我們的方法有廣闊的應用前景
，因為我們能夠區分瞌睡的對象與清醒的對象，準確率接近100％
，這與科學文獻報道的類似管道取得的平均成績一致。使用改進的PPG傳感器[12]
，以及利用Stacked-AutoEconder架構[13]學會的特殊功能對PPG信號進行深度處理，將會給本文提出的管道帶來哪些改進，是本文作者目前正在研究的方向。

 

參考文獻

 

[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates 

[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436. 

[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5. 

[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;

[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012) 

[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.

 

 

推薦閱讀：