【導讀】本篇文章我們將介紹瑞薩為R-Car V4H提供的三種類型的DNN開發模擬器，以及它們的使用情況和特點。

背景

用於汽車SoC實時處理的深度學習的模型轉換

深度學習是使用底層軟件（深度學習框架）開發的，如TensorFlow和PyTorch。

僅僅通過移植在深度學習框架中學習到的模型，不可能在R-Car這樣的車載SoC上shang進jin行xing實shi時shi處chu理li
，因yin為wei深shen度du學xue習xi的de推tui斷duan過guo程cheng需xu要yao大da量liang的de計ji算suan和he內nei存cun使shi用yong。因yin此ci
，有you必bi要yao對dui所suo學xue模mo型xing進jin行xing非fei等deng價jia的de模mo型xing壓ya縮suo，如ru量liang化hua和he剪jian枝zhi，以yi及ji使shi用yong深shen度du學xue習xi編bian譯yi器qi進jin行xing性xing能neng優you化hua。

首先
，讓我們討論一下模型壓縮。在量化中，通常以浮點計算的推斷過程被轉換為近似的整數運算，如8位(wei)。通(tong)過(guo)將(jiang)對(dui)識(shi)別(bie)結(jie)果(guo)貢(gong)獻(xian)較(jiao)小(xiao)的(de)權(quan)重(zhong)設(she)置(zhi)為(wei)零(ling)並(bing)跳(tiao)過(guo)對(dui)這(zhe)些(xie)權(quan)重(zhong)的(de)計(ji)算(suan)，修(xiu)剪(jian)減(jian)少(shao)了(le)計(ji)算(suan)和(he)內(nei)存(cun)的(de)使(shi)用(yong)。這(zhe)兩(liang)種(zhong)轉(zhuan)換(huan)都(dou)是(shi)對(dui)原(yuan)始(shi)推(tui)斷(duan)過(guo)程(cheng)的(de)非(fei)等(deng)效(xiao)的(de)算(suan)法(fa)轉(zhuan)換(huan)
，因(yin)此(ci)很(hen)可(ke)能(neng)會(hui)降(jiang)低(di)識(shi)別(bie)的(de)準(zhun)確(que)性(xing)。

在(zai)性(xing)能(neng)優(you)化(hua)方(fang)麵(mian)，深(shen)度(du)學(xue)習(xi)編(bian)譯(yi)器(qi)可(ke)以(yi)對(dui)訓(xun)練(lian)過(guo)的(de)模(mo)型(xing)的(de)推(tui)斷(duan)過(guo)程(cheng)進(jin)行(xing)程(cheng)序(xu)轉(zhuan)換(huan)，以(yi)便(bian)在(zai)深(shen)度(du)學(xue)習(xi)加(jia)速(su)器(qi)上(shang)進(jin)行(xing)更(geng)快(kuai)的(de)處(chu)理(li)，或(huo)者(zhe)應(ying)用(yong)內(nei)存(cun)可(ke)以(yi)進(jin)行(xing)優(you)化(hua)，例(li)如(ru)將(jiang)分(fen)配(pei)給(gei)一(yi)個(ge)層(ceng)的(de)輸(shu)出(chu)數(shu)據(ju)的(de)快(kuai)速(su)小(xiao)型(xing)SRAM重新用於另一個層的輸出數據。

應用這種轉換可以在車載SoC上進行實時處理。

在R-Car中使用瑞薩工具和軟件的推斷流程

瑞薩的R-Car中的H/W加速器CNN-IP，出於計算效率的考慮，可以使用整數值進行推斷操作。由於這個原因，用戶必須使用瑞薩公司提供的R-Car CNN工具來進行量化，這是上述模型轉換中的一種。

首先
，在實際執行量化之前，必須進行校準
，以計算量化參數（刻度和零點）

，用於將浮動數轉換為整數。為此，一個外部工具（如TFMOT
、ONNX runtime）
，根據網絡模型的格式，從大量的輸入圖像中找到每一層的最大/最小輸出值。從這些最大/最小值中，可以計算出比例/零點等量化參數；R-Car CNN工具使用這些量化參數來量化每一層的參數。

R-Car CNN工具然後從網絡模型和每層的量化參數中創建一個命令列表。命令列表是二進製數據，用於指示CNN-IP執行哪些命令和設置哪些參數（每個量化層的參數）。通過向CNN-IP提供該命令列表並運行它

，可以進行推斷。

命(ming)令(ling)列(lie)表(biao)是(shi)由(you)網(wang)絡(luo)模(mo)型(xing)和(he)量(liang)化(hua)參(can)數(shu)唯(wei)一(yi)確(que)定(ding)的(de)，因(yin)此(ci)它(ta)隻(zhi)需(xu)要(yao)事(shi)先(xian)創(chuang)建(jian)一(yi)次(ci)。上(shang)述(shu)命(ming)令(ling)列(lie)表(biao)可(ke)以(yi)對(dui)每(mei)個(ge)圖(tu)像(xiang)執(zhi)行(xing)，以(yi)便(bian)在(zai)實(shi)際(ji)設(she)備(bei)上(shang)進(jin)行(xing)推(tui)斷(duan)。

使用瑞薩工具和軟件對R-Car V4H進行推斷的框圖見圖1。

圖1 使用瑞薩工具和軟件進行推斷的方框圖

關於每個模擬器

每個模擬器的概述和特點

瑞薩電子準備了模擬器來解決以下兩個用戶挑戰：

A）在開發一個應用程序之前，用戶希望檢查由於量化而導致的精度變化

B）想在不使用實際設備的情況下使用命令列表檢查和調試用戶應用程序

瑞薩的模擬器有三種類型，每種類型解決不同的任務，具有不同的功能。各自的特點見表1。每一種都在準確性和處理速度上有所不同。對於每一種情況，都會參照框圖介紹其特點和使用情況的細節。

表1 各模擬器的概述和特點

（*1）命令列表是使用R-Car CNN工具創建的，基於網絡模型和量化參數，使用與上述實際機器上的推斷相同的程序。

（*2）Accurate Simulator在R-Car CNN工具中運行。用戶向R-Car CNN工具提供網絡模型和量化參數

，該工具會自動計算每一層的量化參數，然後將其輸入到Accurate Simulator。

ISS

該模擬器旨在使用與實際設備盡可能相同的軟件配置和輸入數據（命令列表
，主要是寄存器設置）來調試輸出結果。它不能重現計時，也不打算用於計時驗證。

結果與實際設備完全相同，速度比Accurate Simulator慢，因為它以指令為基礎重現輸出。

圖2 使用ISS的係統方框圖

精確的模擬器

該gai模mo擬ni器qi將jiang網wang絡luo模mo型xing作zuo為wei輸shu入ru，用yong於yu精jing度du驗yan證zheng，無wu需xu使shi用yong實shi際ji設she備bei。對dui於yu每mei一yi層ceng，都dou要yao實shi現xian一yi種zhong算suan法fa，使shi其qi輸shu出chu與yu設she備bei的de計ji算suan算suan法fa完wan全quan匹pi配pei。由you於yu執zhi行xing速su度du比biISS快10倍左右
，所以在隻驗證精度的情況下，它是很有用的。

圖3 使用Accurate Simulator的係統框圖

快速仿真器

該模擬器用於檢查大量圖像的定量誤差。

Fast Simulator擴展了深度學習框架（R-Car V4H中的Tensor Flow）

，zaimeicengtuiduancaozuohoudouyouyigeweilianghuagongneng
，bingdaiyoufudianshuzi。weiliangzihuashiyizhongzhongxianfudianshudeweiliangzihuawuchadefangfa
，zaifudianshurengranshifudianshudeqingkuangxia，jiaruyuliangzihuadaozhidejingduxiajiangxiangtongdewucha。

可以隻在Tensor Flow中添加一個偽量化功能，其運行速度與Tensor Flow相似，但速度更快。

另外
，由於輸入/輸出接口與深度學習框架是通用的，所以用戶在切換到深度學習框架時很容易檢查出量化錯誤。

然而
，由於每層的推斷操作和偽量化都會產生一個小的浮點算術誤差，所以結果與實際的機器結果並不完全匹配。

圖4 使用快速仿真器的係統框圖

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

為什麼逆導型IGBT可以用於大功率CCM模式 PFC電路

一文了解控製係統及DC-DC轉換器控製環路設計推薦

芯片溫度檢測，什麼方法最有效？

三款產品，看國巨集團如何定義優秀的電子元件！

醫療電子領域電感器應用指南