Neural Parametric Gaussian Avatars 🔴 🔴 🔴 ( NPGA )

The creation of high-fidelity digital human heads is crucial for integrating virtual elements into daily life, demanding photo-realism and real-time rendering.

Neural Parametric Gaussian Avatars (NPGA) use a data-driven approach with 3D Gaussian splatting for efficient rendering and topological flexibility, conditioning avatar dynamics on neural parametric head models (NPHM).

Evaluations on the NeRSemble dataset show NPGA outperforms previous methods in self-reenactment tasks and demonstrates accurate animations from monocular videos.

🧙Paper Authors: Minghan Qin1, Wanhua Li2†, Jiawei Zhou1, Haoqian Wang1†, Hanspeter Pfister2 ( indicates equal contribution, † means Co-corresponding author) 1Tsinghua University, 2Harvard University

• 1️⃣Read the Full Paper here: https://arxiv.org/abs/2405.19331
• 2️⃣Project Page: https://simongiebenhain.github.io/NPGA/
• 3️⃣Code: Coming 🔜

Translate to Korean

고충실도 디지털 휴먼 헤드의 생성은 가상 요소를 일상 생활에 통합하는 데 매우 중요하며, 포토 리얼리즘과 실시간 렌더링이 요구됩니다.

NPGA(Neural Parametric Gaussian Avatars)는 효율적인 렌더링과 토폴로지 유연성을 위해 3D 가우스 스플래팅과 함께 데이터 기반 접근 방식을 사용하여 NPHM(Neural Parametric Head Model)에서 아바타 역학을 조절합니다.

NeRSemble 데이터 세트에 대한 평가에 따르면 NPGA는 자체 재연 작업에서 이전 방법을 능가하며 단안 비디오의 정확한 애니메이션을 보여줍니다.