蘋果公司AR觸摸檢測(cè)專利：使用深度映射相機(jī)和ML

近期，美國(guó)專利及商標(biāo)局公布了一批全新的AR/VR專利，其中包括Magic Leap專利，是一種基于眼動(dòng)追蹤的動(dòng)態(tài)顯示器校準(zhǔn)；Facebook專利，用于深度感測(cè)的非機(jī)械波束控制方案；高通專利，是魚眼虛擬現(xiàn)實(shí)視頻的增強(qiáng)型高級(jí)信令；索尼專利，通過(guò)生物識(shí)別傳感器和語(yǔ)言處理減輕頭顯的影響；其中，還有蘋果公司的AR專利：基于深度的觸控檢測(cè)。

“未來(lái)蘋果發(fā)展的核心將是AR”，在2019年蘋果投資者大會(huì)上，CEO庫(kù)克曾明確提出。而今，這一新的AR專利的爆出，更加印證了蘋果在AR道路上的堅(jiān)定決心。

目前來(lái)看，正如iPhone和iPad，蘋果的硬件很大程度上依賴于手指靠在屏幕上這種對(duì)直接觸摸輸入的準(zhǔn)確檢測(cè)。

近日，蘋果獲得的這項(xiàng)關(guān)鍵技術(shù)的專利，是使用深度映射攝像頭和機(jī)器學(xué)習(xí)去檢測(cè)用戶的觸摸。

按照該專利的描述信息，蘋果這個(gè)檢測(cè)系統(tǒng)相當(dāng)簡(jiǎn)單。當(dāng)外部攝像頭在實(shí)時(shí)環(huán)境中協(xié)同工作的時(shí)候，會(huì)生成三維深度圖，通過(guò)測(cè)量物體（比如手指）與可觸摸表面的距離，然后確定物體何時(shí)接觸該表面。最重要的一點(diǎn)是，這種距離測(cè)量設(shè)計(jì)即便是在攝像頭改變位置時(shí)也能使用，一部分是依賴對(duì)機(jī)器學(xué)習(xí)的模型進(jìn)行訓(xùn)練以此識(shí)別觸摸的輸入。

圖片:a8ec8a13632762d00a0fcd952b0140fc503dc6df.jpeg

這項(xiàng)技術(shù)的插圖顯示，三個(gè)外部攝像頭協(xié)同工作，以確定手指的相對(duì)位置，這一概念對(duì)于了解蘋果三攝像頭iPhone 11 Pro這種機(jī)型的用戶來(lái)說(shuō)可能有些熟悉。類似的多攝像頭陣列預(yù)計(jì)將出現(xiàn)在未來(lái)的蘋果設(shè)備中，包括新的iPad Pro和AR眼鏡，使每個(gè)攝像頭都能通過(guò)深度映射場(chǎng)景和應(yīng)用ML知識(shí)判斷手指位置變化的意圖來(lái)確定手指輸入。

有了這項(xiàng)技術(shù)，未來(lái)的AR眼鏡可以消除對(duì)物理鍵盤和觸控板的需求，取而代之的是，只有用戶才能看到和正確互動(dòng)的數(shù)字版本。另外，它們還可以使用戶界面錨定到其他表面，比如墻壁，可以想象地創(chuàng)建一個(gè)安全電梯，并且只能通過(guò)AR按鈕的操作或帶到特定樓層。

蘋果公司獲得的US10572072專利，這項(xiàng)專利是基于Sunnyvale公司的Lejing Wang和Daniel Kurz發(fā)明的技術(shù)。這項(xiàng)專利于2017年9月底首次提出申請(qǐng)，其中包括對(duì)這項(xiàng)技術(shù)進(jìn)行實(shí)際測(cè)試的照片，這在蘋果公司中并不常見(jiàn)。