3D Language Gaussian Splatting ( LangSplat )

Having semantic in a 3D reconstruction is extremely powerful as it can be used for segmentation or connected to a LLM to retrieve localised information. Could we do that for 3D gaussian splatting?

Take a look at “LangSplat: 3D Language Gaussian Splatting” from Tsinghua University and Harvard University

This method ground CLIP features into a set of 3D language Gaussians, which attains precise 3D language fields while being 199 × faster than LERF.

They propose to learn hierarchical semantics using SAM, thereby eliminating the need for extensively querying the language field across various scales and the regularization of DINO features

I overlooked this method now accepted to CVPR 2024 but I’m glad I found it again. Have a look as well.

🧙Paper Authors: Minghan Qin1, Wanhua Li2†, Jiawei Zhou1, Haoqian Wang1†, Hanspeter Pfister2 ( indicates equal contribution, † means Co-corresponding author) 1Tsinghua University, 2Harvard University

• 1️⃣Read the Full Paper here: https://arxiv.org/pdf/2312.16084
• 2️⃣Project Page: https://langsplat.github.io/
• 3️⃣Code: https://github.com/minghanqin/LangSplat

Translate to Korean

3D 재구성에서 시맨틱을 갖는 것은 세그멘테이션에 사용하거나 LLM에 연결하여 현지화된 정보를 검색할 수 있기 때문에 매우 강력합니다. 3D 가우시안 스플래팅에 대해 그렇게 할 수 있습니까?

Tsinghua University 및 Harvard University 의 “LangSplat: 3D 언어 Gaussian Splatting”을 살펴보십시오.

이 방법은 CLIP 기능을 3D 언어 가우시안 세트로 접지하여 LERF보다 199× 빠르면서 정확한 3D 언어 필드를 얻습니다.

그들은 SAM을 사용하여 계층적 의미론을 학습할 것을 제안하므로 다양한 규모에 걸쳐 언어 필드를 광범위하게 쿼리하고 DINO 기능을 정규화할 필요가 없습니다

현재 CVPR 2024에 승인된 이 방법을 간과했지만 다시 발견하게 되어 기쁩니다. 당신도 보세요.