蘋果機器學習研究團隊近日發布博文，展示了全新的生成式 AI 技術-- HUGS，能夠在 30 分鐘內分析短視頻，然后映射創建新的動作和角度。

　　蘋果研究員 Anurag Ranjan 發布推文，表示 HUGS 的全稱叫作 Human Gaussian Splats，使用機器學習和計算機視覺，在原始輸入數據較少的情況下，創建出逼真的人像元素。

　　蘋果官方介紹中表示神經渲染技術目前已經有了長足的進步，但最適合的場景依然是靜態場景的攝影測量，還無法推廣到環境中自由移動的人類。

　　HUGS 使用 3D Gaussian Splatting 的技術，在場景中創建可移動的人類。

　　該方法本身需要少量的主體視頻，通常在場景中運動，并顯示盡可能多的表面供系統工作。

　　在某些情況下，該技術對源輸入數據的要求很低，最少可以低至 50 到 100 幀的單目視頻，相當于 2 到 4 秒的 24fps 視頻。

　　蘋果聲稱，該系統已經過訓練，可以“在 30 分鐘內解開靜態場景和完全可動畫化的人類化身”。

　　蘋果表示 SMPL 體模型雖然用于初始化人類高斯模型，但無法捕獲每個細節。對于未建模的元素(如布料和頭發)，該過程可以偏離 SMPL 模型，來填補模型捕獲中的空白。

　　蘋果官方表示從訓練視頻到以 60fps 的渲染速度輸出，能夠在半小時完成人體建模和“最先進的渲染質量”動畫，這比 NeuMan 和 Vid2Avatar 等其它方法快 100 倍。