中心議題：

• 虛擬觸摸屏係統概述
• 虛擬觸摸屏係統的實現方案

解決方案：

• 虛擬觸摸屏初始定位
• 虛擬觸摸屏手指識別
• 虛擬觸摸屏手指定位
• 虛擬觸摸屏點擊判定

1 引言

觸摸屏是繼鍵盤
、shubiaozhihouzuiweipubianjieshoudeshurufangshi，tafangbianlerenmenduijisuanjidecaozuo，yonghuzhiyaoyongshouzhiqingqingdichupengjisuanjixianshipingshangdetufuhuowenzijiunengshixianduizhujicaozuo
，congershirenjijiaohugengweizhijieledang，feichangshiheduomeitixinxizhaxun，shiyizhongjiyoufazhanqiantudejiaohushishurushebei。muqian
，putongchumopingzhuyaoyouhongwaixianshi
、電阻式、表麵聲波式、電容式等類型，然而這些類型的大屏幕尤其是超大屏幕觸摸屏產品，均存在價格昂貴、通用性差、穩定性差、準zhun確que性xing差cha的de問wen題ti。現xian在zai實shi現xian了le一yi種zhong基ji於yu攝she像xiang頭tou的de虛xu擬ni觸chu摸mo屏ping係xi統tong，改gai變bian了le傳chuan統tong的de觸chu摸mo屏ping的de實shi現xian技ji術shu，它ta由you多duo個ge攝she像xiang頭tou拍pai攝she手shou指zhi在zai虛xu擬ni觸chu摸mo屏ping上shang的de移yi動dong和he點dian擊ji操cao作zuo
，從cong拍pai攝she的de圖tu像xiang中zhong將jiang人ren手shou區qu域yu分fen割ge出chu來lai
，進jin而er提ti取qu手shou指zhi的de邊bian緣yuan輪lun廓kuo

，將jiang手shou指zhi輪lun廓kuo的deB 樣條曲線的第4 gekongzhidiandingyiweishouzhiweizhi，youerweizuobiaosheyingbianhuangongshizhuanhuanjinerhuodeshouzhizaixianshipingmushangdeweizhizuobiao。zheyijishufanganbenzhishiyongduogeshexiangtoujiangshouzhijichumopingdesanweituxiangzhuanhuanchengduogeerweituxiang，jinercongzhexieerweituxiangzhongshibiechushouzhijishouzhideyidong
、點擊等動作。yinweipaishedetuxiangbixubaohanxianshipingmu，suoyishexiangtoubixufangzhizaixianshipingmudeqianfang，duiyudapingmuchumopingbirancunzairentizhedangwufashibieshouzhidewenti。gaiwenshejidexunichumopingxitongyouyiweituxiangcaijizhuangzhicaijishouzhizaixunichumopingshangdeyiweishuju
，youduogeyiweishujushibieshouzhizaierweixunichumopingshangdeweizhizuobiao，congerwanchengrenjijiaohu。

2 係統概述

虛擬觸摸屏係統由至少兩個一維圖像采集裝置

、顯(xian)示(shi)屏(ping)和(he)數(shu)據(ju)處(chu)理(li)裝(zhuang)置(zhi)組(zu)成(cheng)。一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)設(she)置(zhi)在(zai)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)的(de)四(si)周(zhou)，每(mei)個(ge)一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)獲(huo)取(qu)的(de)一(yi)維(wei)圖(tu)像(xiang)所(suo)在(zai)麵(mian)與(yu)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)處(chu)於(yu)同(tong)一(yi)平(ping)麵(mian)；虛xu擬ni觸chu摸mo屏ping與yu顯xian示shi屏ping幕mu的de形xing狀zhuang和he尺chi寸cun完wan全quan相xiang同tong
，虛xu擬ni觸chu摸mo屏ping與yu顯xian示shi屏ping幕mu處chu在zai同tong一yi平ping麵mian內nei，或huo虛xu擬ni觸chu摸mo屏ping處chu於yu顯xian示shi屏ping幕mu的de正zheng前qian方fang且qie平ping行xing於yu顯xian示shi屏ping幕mu
；duogeyiweituxiangcaijizhuangzhijiangshouzhizaixunichumopingshangdeweizhihedianjidongzuozhuanhuanchengduogeyiweituxiangzhongdedianjidiandeyouwu，shujuchulizhuangzhigenjuyiweituxiangzhongdiandexinxishibieshouzhizaixunichumopingzhongdeliangweizhijiaozuobiao，bingzhixingxiangyingdecaozuo，wanchengrenjijiaohugongneng。tajiegoujiandan，shixianfangbian，zaojiadilian，jiejueleshiyongtuxiangjishushixiandeputongchumopingcunzaiderentizhedangshouzhidewenti，tebieshiyongyudapingmuchumoxitong。yiweituxiangcaijizhuangzhicaiyongyiweixianxing傳感器
，配合設置鏡頭、信號轉換和接口電路實現；或采用兩維圖像采集裝置攝像頭
，以攝像頭采集到的兩維圖像中的一行或一列的圖像數據作為所需的一維圖像數據。

係統結構如圖1所示。

[page]

與已有技術相比，該設計的優點體現在：
（1）圖tu像xiang采cai集ji裝zhuang置zhi設she置zhi在zai虛xu擬ni觸chu摸mo屏ping的de四si周zhou
，其qi拍pai攝she方fang向xiang與yu虛xu擬ni觸chu摸mo屏ping平ping行xing
，從cong根gen本ben上shang解jie決jue了le人ren體ti遮zhe擋dang引yin起qi手shou指zhi無wu法fa識shi別bie的de問wen題ti，尤you其qi是shi因yin其qi避bi免mian了le人ren體ti遮zhe擋dang的de問wen題ti，因yin而er可ke以yi擴kuo展zhan到dao投tou影ying屏ping幕mu、普通牆麵等任何大屏幕，通用性好。
（2）隻需進行一維圖像數據的處理，相比於二維圖像的數據處理，其過程大為簡化、算法簡單。
（3）采用一維線性傳感器，配合設置鏡頭、信號轉換和接口電路，其配置簡單，價格便宜。
（4）也可以采用兩維圖像采集裝置攝像頭，以兩維圖像中的一行或一列的圖像數據作為所需的一維圖像數據，易於實施。
（5）一(yi)般(ban)情(qing)況(kuang)下(xia)隻(zhi)要(yao)使(shi)用(yong)兩(liang)個(ge)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)。使(shi)用(yong)兩(liang)個(ge)以(yi)上(shang)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)可(ke)以(yi)減(jian)小(xiao)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)與(yu)顯(xian)示(shi)屏(ping)之(zhi)間(jian)的(de)距(ju)離(li)
，對(dui)於(yu)較(jiao)大(da)屏(ping)幕(mu)來(lai)說(shuo)
，可(ke)以(yi)使(shi)整(zheng)個(ge)係(xi)統(tong)更(geng)加(jia)緊(jin)湊(cou)。

3 實現原理

由(you)於(yu)攝(she)像(xiang)頭(tou)價(jia)格(ge)便(bian)宜(yi)
，易(yi)於(yu)獲(huo)得(de)
，於(yu)是(shi)將(jiang)係(xi)統(tong)結(jie)構(gou)圖(tu)中(zhong)的(de)一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)由(you)攝(she)像(xiang)頭(tou)來(lai)替(ti)代(dai)，由(you)其(qi)拍(pai)攝(she)的(de)二(er)維(wei)圖(tu)像(xiang)中(zhong)的(de)一(yi)維(wei)圖(tu)像(xiang)數(shu)據(ju)來(lai)識(shi)別(bie)二(er)維(wei)顯(xian)示(shi)屏(ping)幕(mu)上(shang)的(de)位(wei)置(zhi)坐(zuo)標(biao)。由(you)於(yu)攝(she)像(xiang)頭(tou)鏡(jing)片(pian)與(yu)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)垂(chui)直(zhi)
，當(dang)用(yong)戶(hu)進(jin)行(xing)手(shou)指(zhi)觸(chu)摸(mo)操(cao)作(zuo)時(shi)
，手(shou)指(zhi)的(de)運(yun)動(dong)平(ping)麵(mian)與(yu)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)行(xing)，因(yin)此(ci)手(shou)指(zhi)在(zai)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)上(shang)的(de)運(yun)動(dong)軌(gui)跡(ji)一(yi)直(zhi)顯(xian)示(shi)在(zai)攝(she)像(xiang)頭(tou)所(suo)拍(pai)攝(she)圖(tu)像(xiang)的(de)某(mou)條(tiao)確(que)定(ding)直(zhi)線(xian)上(shang)。手(shou)指(zhi)在(zai)二(er)維(wei)顯(xian)示(shi)屏(ping)幕(mu)平(ping)麵(mian)上(shang)的(de)運(yun)動(dong)
，轉(zhuan)換(huan)為(wei)手(shou)指(zhi)點(dian)在(zai)攝(she)像(xiang)頭(tou)拍(pai)攝(she)的(de)兩(liang)幅(fu)圖(tu)像(xiang)的(de)某(mou)條(tiao)確(que)定(ding)直(zhi)線(xian)上(shang)的(de)移(yi)動(dong)。左(zuo)右(you)攝(she)像(xiang)頭(tou)拍(pai)攝(she)的(de)兩(liang)幅(fu)圖(tu)像(xiang)中(zhong)直(zhi)線(xian)上(shang)的(de)點(dian)和(he)二(er)維(wei)顯(xian)示(shi)屏(ping)平(ping)麵(mian)中(zhong)的(de)某(mou)點(dian)存(cun)在(zai)一(yi)一(yi)對(dui)應(ying)的(de)關(guan)係(xi)。如(ru)圖(tu)3suoshi
，wentijizhuanhuanweigenjuliangfutuxiangzhongshouzhiyidongzhixianshangdediandeweizhilaiweiyiquedingyonghushouzhichumodeerweipingmianshangdedianzuobiao。qishizhiweiyoulianggeyiweizuobiaodianheyixiechushijiaoduzhilaiweiyiquedingerweipingmianneideyidianzuobiao。

[page]

下麵以左邊攝像頭為例說明轉換過程，右邊攝像頭類似。

假設虛擬觸摸屏是如圖4所示的矩形區域，以左下角為原點，建立二維坐標平麵x
、y。左邊攝像頭c1位於虛擬觸摸屏左上角某處，其視角範圍應包含整個矩陣區域
，將c1與矩形的4個頂點連接構成攝像頭拍攝各點的光線方向，以經過左下角和右上角頂點的光線方向為腰，c1為頂點作一個等腰三角形，底為虛線所示的（u1，u2）。當dang手shou指zhi在zai矩ju形xing區qu域yu內nei任ren意yi一yi點dian觸chu摸mo時shi，其qi在zai攝she像xiang頭tou所suo拍pai攝she的de圖tu像xiang中zhong均jun表biao現xian為wei虛xu線xian上shang的de一yi點dian，手shou指zhi在zai二er維wei虛xu擬ni觸chu摸mo屏ping上shang的de移yi動dong投tou影ying到dao圖tu像xiang上shang不bu會hui超chao過guo這zhe條tiao虛xu線xian（u1，u2）範圍，這是算法關注的興趣區域
，區域以外的部分不需要處理。因此以u1為原點沿著虛線方向建立一維坐標x1，右邊攝像頭拍攝圖像中的一維坐標x2類似設立。

具體實施中，為準確識別手指位置，將虛擬觸摸屏劃分為n×n 的棋盤格，如圖5 suoshi，youyushexiangtouliqipangejulijiaoyuan，qiemeigeqipangezugouxiao
，yushikeyijiashezaiqipangenei
，shexiangtoupaishedeguangxianshipingxingde
，yijianhuadianweizhidezhuanhuan。

該設計數據處理裝置綜合應用的識別算法包括：初始定位算法、手指識別算法、手指定位算法、點擊判定算法等。

3.1 初始定位
初始定位時，用戶在虛擬觸摸屏n×n 的(de)棋(qi)盤(pan)格(ge)的(de)每(mei)個(ge)頂(ding)點(dian)上(shang)均(jun)觸(chu)摸(mo)一(yi)次(ci)
，以(yi)確(que)定(ding)每(mei)個(ge)棋(qi)盤(pan)格(ge)在(zai)攝(she)像(xiang)頭(tou)拍(pai)攝(she)圖(tu)像(xiang)一(yi)維(wei)坐(zuo)標(biao)上(shang)的(de)位(wei)置(zhi)範(fan)圍(wei)，即(ji)建(jian)立(li)每(mei)個(ge)棋(qi)盤(pan)格(ge)編(bian)號(hao)及(ji)其(qi)投(tou)影(ying)的(de)起(qi)始(shi)位(wei)置(zhi)和(he)終(zhong)止(zhi)位(wei)置(zhi)坐(zuo)標(biao)的(de)對(dui)照(zhao)表(biao)。例(li)如(ru)：（i，x11，x12，x21
，x22）記錄的是第i個棋盤格在x1坐標軸上的起始位置為x11
，終點位置為x12，在x2坐標軸上的起始位置為x21，終點位置為x22。

[page]

同時初始設置時可以根據虛擬觸摸屏的長寬和每個棋盤格在圖像上的投影確定攝像頭拍攝的每個棋盤格平行光的斜率。放大圖5 中的棋盤格s
，得到圖6。假設攝像頭c1以斜率k平行拍攝由頂點v1、v2、v3、v4組成的棋盤格s，其邊（v4，v3）的長度為a，在圖像平麵上的投影（v3
，v5）的長度為a′，其邊（v1
，v4）的長度為b
，在圖像平麵的投影（v1，v5）的長度為b′。已知虛擬觸摸屏的長寬
，每個棋盤格的長a 和寬b 分別為其1/n，a′
、b′可從拍攝的圖像上獲得，於是從攝像頭拍攝該棋盤格的平行光的斜率k 可由下式獲得：

將每個棋盤格的平行光的斜率構造一張斜率表，例如：（i，k）表示攝像頭拍攝第i 個棋盤格的平行光的斜率。

另(ling)外(wai)
，初(chu)始(shi)設(she)置(zhi)時(shi)可(ke)以(yi)確(que)定(ding)手(shou)指(zhi)觸(chu)摸(mo)投(tou)影(ying)到(dao)圖(tu)像(xiang)上(shang)的(de)直(zhi)線(xian)的(de)位(wei)置(zhi)。如(ru)果(guo)在(zai)該(gai)直(zhi)線(xian)上(shang)識(shi)別(bie)出(chu)手(shou)指(zhi)，則(ze)認(ren)為(wei)用(yong)戶(hu)進(jin)行(xing)了(le)觸(chu)摸(mo)操(cao)作(zuo)。該(gai)直(zhi)線(xian)實(shi)際(ji)上(shang)就(jiu)是(shi)一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)需(xu)要(yao)采(cai)集(ji)的(de)一(yi)維(wei)數(shu)據(ju)。雖(sui)然(ran)使(shi)用(yong)二(er)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)攝(she)像(xiang)頭(tou)來(lai)拍(pai)攝(she)二(er)維(wei)圖(tu)像(xiang)
，但(dan)隻(zhi)使(shi)用(yong)其(qi)中(zhong)的(de)一(yi)維(wei)圖(tu)像(xiang)數(shu)據(ju)，即(ji)這(zhe)條(tiao)直(zhi)線(xian)上(shang)的(de)圖(tu)像(xiang)數(shu)據(ju)。

3.2 手指識別
xuyaozaichushidingweishiquedingdetuxiangdezhixianshangjinxingshouzhishibie，pandingyonghushifoujinxingledianjicaozuo，yincishibiechushouzhizaiyiweizuobiaoshangdeweizhi，shishouzhidingweideqiantihejichu。anzhaorenshoujiancedefangfahuoderenshouquyujiqishouzhideculveweizhi。jiangqiyuzhixianxiangjiao，dedaodedianjiweiyiweizuobiaodian。

3.3 手指定位
genjulianggeshexiangtoutongshipaishedetuxiangzhixianshangdeliangdian，fenbiejianlixunichumopingpingmianneideliangtiaozhixianfangcheng，erzhexiangjiaodedianjiweixunichumopingpingmianshangdedian。dangmoudianshuyuruogangeqipangeshi，xujinxingteshuchuli，jisuanchudianzuobiao
，jianzhaqishifouzaigaiqipangenei，ruoshi，zedechudianzuobiao；否則，保留直線方程，選擇一個離棋盤格中心點距離最近的點作為點坐標。直線方程y=k·x+b （2）其中

，k 表示斜率
，b 表示截距。

具體方法如下：首先根據兩幅圖像中手指點的一維坐標來確定觸摸的二維平麵的棋盤格範圍。查坐標對照表
，如果該點既在x1軸上第i 個棋盤格的範圍內
，又在x2軸上第i 個棋盤格的範圍內
，則該點屬於第i 個棋盤格。

確定棋盤格後，查斜率表可獲得直線方程的斜率k，接下來需要求出截距b。如圖7 所示
，當用戶在某點觸摸時，表現為圖像中直線上的某點v′
，它是由虛擬觸摸屏平麵內過棋盤格內對角線上的點v、斜率為k 的直線上的任意一點產生的，其中點v 是由v′作攝像頭拍攝光的平行線與棋盤格的對角線的交點。
由於，
根據v1的坐標和下式：

可求出v 點的二維坐標
，於是以斜率k、點v 的坐標代入直線方程y=k·x+b 求出截距b於是

，圖像中的任意一點v′，實際上是手指在直線方程為y=k·x+b 的直線上的運動產生的。其中k 是該棋盤格內平行光的斜率，b 是通過v 點直線方程的截距。

同(tong)時(shi)在(zai)右(you)邊(bian)攝(she)像(xiang)頭(tou)拍(pai)攝(she)的(de)圖(tu)像(xiang)中(zhong)的(de)對(dui)應(ying)點(dian)可(ke)以(yi)獲(huo)得(de)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)麵(mian)內(nei)的(de)另(ling)外(wai)一(yi)條(tiao)直(zhi)線(xian)，兩(liang)條(tiao)直(zhi)線(xian)相(xiang)交(jiao)，即(ji)可(ke)根(gen)據(ju)兩(liang)幅(fu)圖(tu)像(xiang)中(zhong)的(de)點(dian)坐(zuo)標(biao)求(qiu)得(de)手(shou)指(zhi)觸(chu)摸(mo)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)平(ping)麵(mian)上(shang)的(de)點(dian)坐(zuo)標(biao)。

3.4 點擊判定
點dian擊ji判pan定ding算suan法fa根gen據ju不bu同tong時shi間jian的de手shou指zhi位wei置zhi檢jian測ce是shi否fou產chan生sheng點dian擊ji操cao作zuo。如ru果guo在zai初chu始shi定ding位wei時shi設she置zhi的de直zhi線xian位wei置zhi上shang一yi定ding時shi間jian內nei識shi別bie到dao手shou指zhi的de有you無wu
，則ze表biao明ming進jin行xing了le點dian擊ji操cao作zuo。

4 結語

設(she)計(ji)了(le)一(yi)種(zhong)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)係(xi)統(tong)，其(qi)特(te)色(se)在(zai)於(yu)由(you)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)獲(huo)取(qu)的(de)一(yi)維(wei)圖(tu)像(xiang)數(shu)據(ju)來(lai)確(que)立(li)用(yong)戶(hu)手(shou)指(zhi)觸(chu)摸(mo)二(er)維(wei)虛(xu)擬(ni)觸(chu)摸(mo)屏(ping)上(shang)的(de)位(wei)置(zhi)坐(zuo)標(biao)。前(qian)提(ti)是(shi)一(yi)維(wei)圖(tu)像(xiang)采(cai)集(ji)裝(zhuang)置(zhi)的(de)安(an)裝(zhuang)位(wei)置(zhi)，它(ta)從(cong)根(gen)本(ben)上(shang)解(jie)決(jue)了(le)大(da)屏(ping)幕(mu)觸(chu)摸(mo)屏(ping)中(zhong)人(ren)體(ti)遮(zhe)擋(dang)手(shou)指(zhi)無(wu)法(fa)識(shi)別(bie)的(de)問(wen)題(ti)，且(qie)其(qi)進(jin)行(xing)的(de)是(shi)一(yi)維(wei)數(shu)據(ju)的(de)處(chu)理(li)，相(xiang)比(bi)於(yu)二(er)維(wei)圖(tu)像(xiang)處(chu)理(li)算(suan)法(fa)更(geng)加(jia)簡(jian)單(dan)。