科學(xué)家推出使用單臺(tái)相機(jī)的可穿戴式動(dòng)作捕捉技術(shù)

通常情況下，動(dòng)作捕捉系統(tǒng)僅限于一個(gè)包含多臺(tái)攝像機(jī)的工作室，并且要求拍攝對(duì)象穿上裝有傳感器的服裝。然而，一種新的設(shè)置是基于一個(gè)單一的胸前安裝的攝像頭。該實(shí)驗(yàn)系統(tǒng)被稱(chēng)為MonoEye，由東京工業(yè)大學(xué)的一個(gè)團(tuán)隊(duì)設(shè)計(jì)。該團(tuán)隊(duì)由Hideki Koike教授領(lǐng)導(dǎo)，并與卡內(nèi)基梅隆大學(xué)的研究人員合作。

它包含一個(gè)裝有超廣角鏡頭的照相機(jī)，戴在拍攝對(duì)象的胸前。通過(guò)280度的視場(chǎng)角，該攝像頭不僅能拍攝到被拍攝對(duì)象前方的環(huán)境，還能拍攝到他們的手臂、腿部和面部。

圖片:搜狗截圖_2020-10-22_12-10-45.png

通過(guò)三個(gè)特別設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)對(duì)視頻進(jìn)行分析，分別估計(jì)出被拍攝對(duì)象的三維身體姿勢(shì)、頭部姿勢(shì)以及攝像頭在周?chē)�環(huán)境中的方位。這些數(shù)據(jù)被用來(lái)建立主體的動(dòng)畫(huà)線(xiàn)框計(jì)算機(jī)模型，復(fù)制他們的動(dòng)作。

到目前為止，MonoEye的神經(jīng)網(wǎng)絡(luò)已經(jīng)在一個(gè)由68萬(wàn)張不同體型和尺寸的人進(jìn)行各種活動(dòng)的渲染數(shù)據(jù)集上進(jìn)行了訓(xùn)練，所以在系統(tǒng)優(yōu)化用于物理身體之前，還需要做一些工作。

不過(guò)最終，人們希望這項(xiàng)技術(shù)可能會(huì)被改進(jìn)成像領(lǐng)帶夾或胸針一樣小巧的東西。然后，它可以作為傳統(tǒng)動(dòng)作捕捉系統(tǒng)的一個(gè)更便宜、更簡(jiǎn)單的替代品。

這項(xiàng)研究將在本周通過(guò)第33屆ACM用戶(hù)界面軟件和技術(shù)在線(xiàn)研討會(huì)發(fā)表。