計算機視覺life”，選擇“星標(biāo)”

快速獲得最新干貨

本文轉(zhuǎn)載自知乎：披星戴月的奔波，我愛計算機視覺整理

三維全身人體網(wǎng)格重建(3D Whole-Body Mesh Recovery)是三維人體重建領(lǐng)域的一個基礎(chǔ)任務(wù)，是人類行為建模的一個重要環(huán)節(jié)，用于從單目圖像中捕獲出準(zhǔn)確的全身人體姿態(tài)和形狀，在人體重建、人機交互等許多下游任務(wù)中有著廣泛的應(yīng)用。

來自粵港澳大灣區(qū)研究院(IDEA)與清華大學(xué)深研院的研究者們提出了首個用于全身人體網(wǎng)格重建的一階段算法OSX，通過模塊感知的Transformer網(wǎng)絡(luò)，高效、準(zhǔn)確地重建出全身人體網(wǎng)格，并提出了一個大規(guī)模、關(guān)注真實應(yīng)用場景的上半身人體重建數(shù)據(jù)集UBody.

本文提出的算法從投稿至今(2022.11~2023.04)，是AGORA榜單SMPL-X賽道的第一名。該工作已經(jīng)被計算機視覺頂會CVPR2023接收，算法代碼和預(yù)訓(xùn)練模型已經(jīng)全部開源。

文章：https://arxiv.org/abs/2303.16160

代碼：https://github.com/IDEA-Research/OSX

項目主頁：https://osx-ubody.github.io/

單位：IDEA，清華大學(xué)深研院

三維全身人體網(wǎng)格重建(3D Whole-Body Mesh Recovery)是人類行為建模的一個重要環(huán)節(jié)，用于從單目圖像中估計出人體姿態(tài)(Body Pose), 手勢(Hand Gesture)和臉部表情(Facial Expressions)，該任務(wù)在許多下游現(xiàn)實場景中有著廣泛的應(yīng)用，例如動作捕捉、人機交互等。得益于SMPLX等參數(shù)化模型的發(fā)展，全身人體網(wǎng)格重建精度得到了提升，該任務(wù)也得到越來越多的關(guān)注。

展開全文

相比于身體姿態(tài)估計(Body-Only Mesh Recovery)，全身人體網(wǎng)格重建需要額外估計手和臉部的參數(shù)，而手和臉部的分辨率往往較小，導(dǎo)致難以通過一個一階段的網(wǎng)絡(luò)，將全身參數(shù)估計出來。之前的方法大多采用多階段的復(fù)制-粘貼(Copy-Paste)框架，提前檢測出手和臉的包圍框(Bounding Box)，將其裁剪出來并放大，輸入三個獨立的網(wǎng)絡(luò)，分別估計出身體(Body), 手(Hand), 和臉(Face)的參數(shù)，再進行融合。這種多階段的做法可以解決手和臉分辨率過小的問題，然而，由于三部分的參數(shù)估計相對獨立，容易導(dǎo)致最后的結(jié)果以及三部分之間的連接不夠自然和真實，同時也會增加模型的復(fù)雜度。為了解決以上問題，我們提出了首個一階段的算法OSX，我們使用一個模塊感知的Transformer模型，同時估計出人體姿態(tài), 手勢和臉部表情。該算法在較小計算量和運行時間的情況下，在3個公開數(shù)據(jù)集(AGORA, EHF, 3DPW)上，超過了現(xiàn)有的全身人體網(wǎng)格重建算法.

我們注意到，目前的全身人體網(wǎng)格重建數(shù)據(jù)集，大部分是在實驗室環(huán)境或者仿真環(huán)境下采集的，而這些數(shù)據(jù)集與現(xiàn)實場景有著較大的分布差異。這就容易導(dǎo)致訓(xùn)練出來的模型在應(yīng)用于現(xiàn)實場景時，重建效果不佳。此外，現(xiàn)實中的許多場景，如直播、手語等，人往往只有上半身出現(xiàn)在畫面中，而目前的數(shù)據(jù)集全部都是全身人體，手和臉的分辨率往往較低。為了彌補這方面數(shù)據(jù)集的缺陷，我們提出了一個大規(guī)模的上半身數(shù)據(jù)集UBody，該數(shù)據(jù)集涵蓋了15個真實場景，包括100萬幀圖片和對應(yīng)的全身關(guān)鍵點(2D Whole-Body Keypoint), 人體包圍框(Person BBox)、人手包圍框(Hand BBox)以及SMPLX標(biāo)簽。下圖是UBody的部分?jǐn)?shù)據(jù)可視化。

圖1 UBody數(shù)據(jù)集展示

本工作的貢獻點可以概括為：

我們提出了首個一階段的全身人體網(wǎng)格重建算法OSX，能夠用一個簡單、高效的方式，估計出SMPLX參數(shù)。

我們的算法OSX在三個公開數(shù)據(jù)集上，超過了現(xiàn)有的全身人體網(wǎng)格重建算法。

我們提出了一個大規(guī)模的上半身數(shù)據(jù)集UBody，用以促進全身人體網(wǎng)格重建這個基礎(chǔ)任務(wù)在現(xiàn)實場景中的應(yīng)用。

我們提出了首個一階段的全身人體網(wǎng)格重建算法OSX，能夠用一個簡單、高效的方式，估計出SMPLX參數(shù)。

我們的算法OSX在三個公開數(shù)據(jù)集上，超過了現(xiàn)有的全身人體網(wǎng)格重建算法。

我們提出了一個大規(guī)模的上半身數(shù)據(jù)集UBody，用以促進全身人體網(wǎng)格重建這個基礎(chǔ)任務(wù)在現(xiàn)實場景中的應(yīng)用。

如下圖所示，我們提出了一個模塊感知(Component-Aware)的Transoformer模型，來同時估計全身人體參數(shù)，再將其輸入SMPLX模型，得到全身人體網(wǎng)格。我們注意到，身體姿態(tài)(Body Pose)估計需要利用到全局的人體依賴信息，而手勢(Hand Gesture)和臉部表情(Facial Expression)則更多的聚焦于局部的區(qū)域特征。因而，我們設(shè)計了一個全局編碼器和一個局部解碼器，編碼器借助于全局自注意力機制(Global Self-attention)，捕獲人體的全身依賴關(guān)系，估計出身體姿態(tài)和形狀(Body Pose and Shape)，解碼器則對特征圖進行上采樣，使用關(guān)鍵點引導(dǎo)的交叉注意力機制(Cross-Attention)，用以估計手和臉部的參數(shù)。

圖2 OSX網(wǎng)絡(luò)結(jié)構(gòu)示意圖 2.2 全局編碼器

在全局編碼器中，人體圖片首先被切為多個互不重蛩的塊，這些塊通過一個卷積層，加上位置編碼，轉(zhuǎn)換為特征令牌(Feature Token) ，接著，我們再將其與若干個由可學(xué)習(xí)參數(shù)構(gòu)成的人體令牌(Body Token) 進行連接，輸入全局編碼器。全局編碼 器由多個Transformer塊組成，每個塊包含一個多頭自注意力、一個前饋網(wǎng)絡(luò)和兩個層歸一化模塊(Layer Normization). 經(jīng)過這些 塊之后，人體各個部分之間的信息得到了交互，body token 捕捉了人體的全身依賴關(guān)系，輸入全連接層，回歸出人體姿態(tài)和 形狀. Feature token則進行重組(Reshape)，轉(zhuǎn)換為特征圖，供解碼器使用。

2.3 高分辨率局部解碼器

在解碼器中，我們首先對特征圖進行上采樣，以解決手和臉分辨率過低的問題。具體的，我們使用一個可微分的感興趣區(qū)域?qū)R (Region of Interest Alignment)操作，將手和臉部的特征圖進行上采樣，因而獲得多尺度的手、臉高分辨率特征 。接著，我們定義多個模塊令牌(Component Token) ，每一個token代表一個關(guān)鍵點，將這些token輸入解碼器，通過關(guān)鍵點 引導(dǎo)的交叉注意力機制，從高分辨率特征中捕獲有用的信息，更新Component Token:

最終，這些模塊token通過全連接層，轉(zhuǎn)換為手勢和臉部表情，并與身體姿態(tài)和形狀一起，輸入SMPLX模型，轉(zhuǎn)換為人體網(wǎng)格。

3. 上半身數(shù)據(jù)集UBody介紹 3.1 數(shù)據(jù)集亮點

為了縮小全身人體網(wǎng)格重建這一基礎(chǔ)任務(wù)與下游任務(wù)的差異，我們從15個現(xiàn)實場景，包括音樂演奏、脫口秀、手語、魔術(shù)表演等，收集了超過100萬的圖片，對其進行標(biāo)注。這些場景與現(xiàn)有的數(shù)據(jù)集AGORA相比，由于只包含上半身，因而手和臉的分辨率更大，具有更加豐富的手部動作和人臉表情。同時，這些場景含有非常多樣的遮擋、交互、切鏡、背景和光照變化，因而更加具有挑戰(zhàn)性，更加符合現(xiàn)實場景。此外，UBody是視頻的形式，每個視頻都包含了音頻(Audio)，因而未來也可以應(yīng)用于多模態(tài)等任務(wù)。

圖3 UBody 15個場景展示 3.2 IDEA自研高精度全身動捕標(biāo)注框架

為了標(biāo)注這些大規(guī)模的數(shù)據(jù)，我們提出了一個自動化標(biāo)注方案，如下圖所示，我們首先訓(xùn)練一個基于ViT的關(guān)鍵點估計網(wǎng)絡(luò)，估計出高精度的全身人體關(guān)鍵點。接著，我們使用一個多階段漸進擬合技術(shù)(Progreesive Fitting)，將OSX輸出的人體網(wǎng)格轉(zhuǎn)換為三維關(guān)鍵點(3D Keypoints)，并投影到圖像平面，與估計的二維關(guān)鍵點(2D Keypoints)計算損失，用以優(yōu)化OSX網(wǎng)絡(luò)參數(shù)，直至估計出來的網(wǎng)格與2D關(guān)鍵點能夠高度貼合。

圖4 全身動捕標(biāo)注框架圖

以下是UBody數(shù)據(jù)集的15個場景及其標(biāo)注結(jié)果的展示：

SignLanguage Singing OnlineClass Olympic Entertainment Fitness LiveVlog Conference TVShow ConductMusic Speech TalkShow MagicShow 4. 實驗結(jié)果 4.1 定量實驗對比

OSX從投稿至今(2022.11~2023.04)，是AGORA榜單上SMPLX賽道的榜首，在AGORA-test (https://agora-evaluation.is.tuebingen.mpg.de/)上的定量對比結(jié)果如下表所示：

表1 OSX與SOTA算法在AGORA-test上的定量結(jié)果

在AGORA-val上的定量對比結(jié)果如下表所示：

表2 OSX與SOTA算法在AGORA-val上的定量結(jié)果

在EHF和3DPW的定量結(jié)果如下：

表3 OSX與SOTA算法在EHF及3DPW上的定量結(jié)果

可以看出，OSX由于使用了模塊感知的Transformer網(wǎng)絡(luò)，能夠同時保證全局依賴關(guān)系的建模和局部特征的捕獲，在現(xiàn)有數(shù)據(jù)集，特別是AGORA這一較為困難的數(shù)據(jù)集上，顯著超過了之前的方法。

4.2 定性實驗對比

在AGORA上的定性對比結(jié)果如圖所示：

從左到右依次為：輸入圖, ExPose, Hand4Whole, OSX(Ours)

在EHF上的定性對比結(jié)果如圖所示：

從左到右依次為：輸入圖, ExPose, Hand4Whole, OSX(Ours)

在UBody數(shù)據(jù)集上的對比結(jié)果如圖所示：

從左到右依次為：輸入圖, ExPose, Hand4Whole, OSX(Ours)

可以看出，我們的算法OSX能夠估計出更加準(zhǔn)確的身體姿勢，手部動作和臉部表情，重建出來的人體網(wǎng)格更加準(zhǔn)確，與原圖貼合的更好，更加魯棒。

5. 總結(jié)

OSX是首個一階段全身人體網(wǎng)格重建的算法，通過一個模塊感知的Transformer模型，同時估計了body pose, hand pose和facial experssion，在三個公開榜單上取得了目前最好whole-body mesh recovery最好的結(jié)果。此外，我們提出了一個大規(guī)模的上半身場景數(shù)據(jù)集UBody，用以促進人體網(wǎng)格重建任務(wù)在下游場景中的應(yīng)用。我們的代碼已經(jīng)進行了開源，希望能夠推動該領(lǐng)域的發(fā)展。

6. 聯(lián)系我們

我們團隊正在招聘有才華、有自驅(qū)力、有創(chuàng)造力的研究型實習(xí)生，主要研究以人為中心的視覺理解和生成任務(wù)。有興趣的同學(xué)可以發(fā)送簡歷至zengailing@idea.edu.cn。

我們建立了全國最大的機器人SLAM開發(fā)者交流社區(qū)，包括小白入門圖文/視頻教程、學(xué)習(xí)過程疑難點解答、每日最新論文/開源代碼/數(shù)據(jù)集分享、在線學(xué)習(xí)小組、筆試面試題、實習(xí)/校招/社招崗位推薦、星主直播交流等。

2018 年創(chuàng)立、 4600+ 會員、 7500+ 主題分享、 9900+ 問答評論、 170+ 教學(xué)視頻

領(lǐng)域 ： 機器人SLAM、三維視覺、自動駕駛、增強現(xiàn)實、無人機、圖像處理

直播 ： 每月 6/16/26日 固定直播，涵蓋大佬分享、學(xué)習(xí)經(jīng)驗、求職面試、實習(xí)歷程、行業(yè)內(nèi)幕

教程 ：圖文視頻教程：涉及 代碼調(diào)試、OpenCV、PCL、G2O、Ceres、視覺SLAM十四講、LVISAM、R3LIVE……

答疑 ：每日星主答疑、嘉賓答疑、星友互助答疑，搜索關(guān)鍵字幾乎所有問題都能找到答案

資訊 ：每日 論文分享 、 行業(yè)資訊 匯總、每周匯總、精華匯總

活動 ：學(xué)習(xí)小組、行業(yè)資源對接、會員激勵、有償招募助教/兼職

求職 ：經(jīng)驗分享、內(nèi)推職位、SLAM面試題、筆試練習(xí)

……

現(xiàn)在加入免費送5年SLAM答疑精華手冊（共938頁）

學(xué)機器人SLAM/3D視覺，就上 cvlife.net ！

點擊領(lǐng)取學(xué)習(xí)資料 → 機器人SLAM學(xué)習(xí)資料大禮包

獨家重磅課程官網(wǎng)：cvlife.net

全國最大的機器人SLAM開發(fā)者社區(qū)

技術(shù)交流群

— 版權(quán)聲明 —

本公眾號原創(chuàng)內(nèi)容版權(quán)屬計算機視覺life所有；從公開渠道收集、整理及授權(quán)轉(zhuǎn)載的非原創(chuàng)文字、圖片和音視頻資料，版權(quán)屬原作者。如果侵權(quán)，請聯(lián)系我們，會及時刪除。