東京工業大學做了一個能預測對象0.5秒後動作的系統


東京工業大學的研究組製作了一款名為“FuturePose”的系統,該系統可實時預判偵測對象0.5秒後的動作。據組內人員介紹,FuturePose 是為了格鬥項目的深度訓練開發的。

FuturePose 的基礎原理是用相機實時記錄下對象的運動,並推測未來動作的系統。

首先用 RGB 圖像推測對象 2D 關節的位置,然後把對象 2D 關節的位置輸入至利用長短期記憶網絡,從時間上分析其特徵,從而預測對象 2D 關節未來所處的位置。為了得到更加準確的結果,在樣型式別方面採用了光流法,並使用晶格光流來降低計算成本。最後把預測的 2D 關節位置可視化,構築成 3D 骨架模型。用戶可通過 VR 顯示設備體驗。

研究組成員也進行了實驗。實驗時所配戴的 VR 設備為 HTC Vive,讓佩戴者躲避對方的拳腳動作。預測的 3D 骨骼影像和現實中對方的影像可同時顯示。 30fps 的視頻可以提前15幀預測出對方0.5秒後的動作。實驗結果是未使用 FuturePose 人員做出迴避動作的平均反應時間為0.62秒,使用 FuturePose 系統成員的反應時間為0.42或0.41秒


東京工業大學做了一個能預測對象0.5秒後動作的系統 1

雖然東京工業大學製作 FuturePose 的初衷是為了格鬥訓練,但他們也希望通過不斷完善這項技術,讓 FuturePose 可以應用於其他競技體育或娛樂項目中。

FuturePose 的論文已發表至 IEEE XPlore(英文),感興趣的朋友可以了解一下。

https://ieeexplore.ieee.org/abstract/document/8658594

.

發表留言