요약본 (Summary):
The paper proposes a method called “Frequency Consolidation Priors” (FCP) to improve the representation of high-frequency components in neural implicit functions, which struggle with representing sharp structures. FCP learns a mapping from low frequency observations to full frequency coverage and introduces embeddings for frequency components, allowing for sharper and more complete surfaces through self-reconstruction during testing. The method is evaluated on widely used benchmarks and real scenes, showing superior accuracy and generalization compared to latest methods.
이 논문은 신경 함정 기능에서 고주파 성분의 표현을 개선하기 위해 “주파수 통합 사전”(FCP)이라는 방법을 제안하며, 이는 날카로운 구조를 나타내는 데 어려움을 겪고있다. FCP는 저주파 관측에서 전체 주파수 커버리지로의 매핑을 배우고 주파수 구성 요소에 대한 임베딩을 도입하여 테스트 중에 자체 재구성을 통해 더 선명하고 완전한 표면을 허용합니다. 이 방법은 널리 사용되는 벤치 마크 및 실제 장면에서 평가되며 최신 방법에 비해 우수한 정확도와 일반화를 보여줍니다.
Excerpt from PDF:
Sharpening Neural Implicit Functions with Frequency Consolidation Priors Chao Chen1, Yu-Shen Liu1*, Zhizhong Han2 1School of Software, Tsinghua University, Beijing, China 2Department of Computer Science, Wayne State University, Detroit, USA chenchao19@tsinghua.org.cn, liuyushen@tsinghua.edu.cn, h312h@wayne.edu Abstract Signed Distance Functions (SDFs) are vital implicit represen- tations to represent high fidelity 3D surfaces. Current meth- ods mainly leverage a neural network to learn an SDF from various supervisions including signed distances, 3D point clouds, or multi-view images. However, due to various rea- sons including the bias of neural network on low frequency content, 3D unaware sampling, sparsity in point clouds, or low resolutions of images, neural implicit representations still struggle to represent geometries with high frequency com- ponents like sharp structures, especially for the ones learned from images or point clouds. To overcome this challenge, we introduce a method to sharpen a low frequency SDF observa- tion by recovering its high frequency components, pursuing a sharper and more complete surface. Our key idea is to learn a mapping from a low frequency observation to a full frequency coverage in a data-driven manner, leading to a prior knowl- edge of shape consolidation in the frequency domain, dubbed frequency consolidation priors. To better generalize a learned prior to unseen shapes, we introduce to represent frequency components as embeddings and disentangle the embedding of the low frequency component from the embedding of the full frequency component. This disentanglement allows the prior to generalize on an unseen low frequency observation by sim- ply recovering its full frequency embedding through a test- time self-reconstruction. Our evaluations under widely used benchmarks or real scenes show that our method can recover high frequency component and produce more accurate sur- faces than the latest methods. The code, data, and pre-trained models are available at https://github.com/chenchao15/FCP. Introduction Singed distance Functions (SDFs) can represent high fidelity 3D surfaces with arbitrary topology. An SDF is an implicit function that can predict signed distances at arbitrary 3D query locations. It describes a distance field in the 3D space hosting a surface, where we have iso-surfaces or level sets, each of which has the same signed distance values. One can *The corresponding author is Yu-Shen Liu. This work was supported by National Key R&D Program of China (2022YFC3800600), the National Natural Science Foundation of China (62272263, 62072268), and in part by Tsinghua-Kuaishou Institute of Future Media Data. Copyright © 2025, Association for the Advancement of Artificial Intelligence (www.aaai.org). All rights reserved. Input Ours GT Frequency Frequency Frequency Frequency Frequency Frequency Figure 1: The concept of frequency consolidation priors. We also show averaged frequency weights across a band. extract the surface as the zero level set of the SDF using the marching cubes algorithm (Lorensen and Cline 1987). Recent methods (Mildenhall et al. 2020; Oechsle, Peng, and Geiger 2021; Takikawa et al. 2021,?) use a neural net- work to learn an SDF from 3D supervision (Jiang et al. 2020a; Park et al. 2019; Ouasfi and Boukhayma 2022; Takikawa et al. 2021; Liu et al. 2021), 3D point clouds …더보기
This paper was uploaded based on materials provided by arXiv.
This paper is an open academic resource, and the original text can be accessed on arXiv.
Source: arXiv – A free repository for scientific and technical researchers.
This paper is provided for academic research purposes, and the original can be downloaded from arXiv.
Visit arXiv to explore more recent papers!
번역 (Translation):
주파수 통합을 가진 신경 암시 적 기능을 선명하게하는 chao chen1, yu-shen liu1*, Zhizhong Han2 1S Software, Tsinghua University, Beijing, Beijing, Computer Science, Wayne State University, USA Chenchao19/Tsinghua.org.cn, 웨인 스테이트 대학교 컴퓨터 과학의 소프트웨어 1S. liuyushen@tsinghua.edu.cn, h312h@wayne.edu 초록 서명 된 거리 함수 (SDFS)는 높은 충실도 3D 표면을 나타내는 데 중요한 암시 적 표현입니다. 현재의 방법은 주로 신경망을 활용하여 서명 된 거리, 3D 포인트 클라우드 또는 멀티 뷰 이미지를 포함한 다양한 감독에서 SDF를 학습합니다. 그러나 저주파 콘텐츠에 대한 신경망의 편향, 3D 인식 샘플링, 포인트 구름의 희소성 또는 낮은 해상도의 이미지에 대한 신경 암시 적 표현은 여전히 이미지 또는 포인트 클라우드에서 배운 것들에 대해 날카로운 구조와 같은 고주파수의 기하학을 나타내는 데 어려움을 겪고 있습니다. 이 도전을 극복하기 위해, 우리는 고주파수 구성 요소를 복구하고 더 선명하고 완전한 표면을 추구함으로써 저주파 SDF 관측치를 선명하게하는 방법을 소개합니다. 우리의 주요 아이디어는 저주파 관측에서 데이터 중심 방식으로 전체 주파수 커버리지로의 매핑을 배우는 것입니다. 주파수 도메인에서 주파수 도메인의 사전 지식이 주파수 통합 영역으로 표시됩니다. 보이지 않는 모양 이전에 배운 것을 더 잘 일반화하기 위해, 우리는 주파수 성분을 내장으로 표현하고 전체 주파수 성분의 내장으로부터 저주파 성분의 임베딩을 풀기 위해 소개합니다. 이 분리는 이전에 시험 시간 자체 재구성을 통해 전체 주파수 임베딩을 회복함으로써 보이지 않는 저주파 관측을 일반화 할 수있게한다. 널리 사용되는 벤치 마크 또는 실제 장면에서 우리의 평가에 따르면 우리의 방법은 고주파 구성 요소를 복구하고 최신 방법보다 더 정확한 표면을 생성 할 수 있음을 보여줍니다. 코드, 데이터 및 미리 훈련 된 모델은 https://github.com/chenchao15/fcp에서 제공됩니다. 소개 노래하는 거리 함수 (SDF)는 임의의 토폴로지를 가진 높은 충실도 3D 표면을 나타낼 수 있습니다. SDF는 임의의 3D 쿼리 위치에서 서명 된 거리를 예측할 수있는 암시 적 함수입니다. 표면을 호스팅하는 3D 공간의 거리 필드를 설명하며, 여기서 ISO 수면 또는 레벨 세트가 있으며 각각은 동일한 서명 된 거리 값을 갖습니다. 해당 저자는 Yu-Shen Liu입니다. 이 작업은 중국의 국가 키 R & D 프로그램 (20222YFC3800600), 중국 국립 자연 과학 재단 (62272263, 62072268) 및 미래 미디어 데이터의 Tsinghua-kuaishou 연구소에 의해 지원되었습니다. Copyright © 2025, 인공 지능 발전 협회 (www.aaai.org). 모든 권리 보유. 입력 GT 주파수 주파수 주파수 주파수 주파수 주파수 그림 1 : 주파수 통합 사전의 개념. 우리는 또한 밴드에서 평균 주파수 가중치를 보여줍니다. 마칭 큐브 알고리즘을 사용하여 SDF의 제로 레벨 세트로 표면을 추출하십시오 (Lorensen and Cline 1987). 최근의 방법 (Mildenhall et al. 2020; Oechsle, Peng 및 Geiger 2021; Takikawa et al. 2021,?)는 신경망을 사용하여 3D 감독에서 SDF를 배우고 있습니다 (Jiang et al. 2020a; Park et al. 2019; Ouasfi and Boukhayma 2022; 2021; 2021; 2021; 3d 포인트 구름 … 더보기
이 논문은 arXiv에서 제공되는 자료를 바탕으로 업로드되었습니다.
본 논문은 공개된 학술 자료이며, 원문은 arXiv에서 확인할 수 있습니다.
출처: arXiv – 과학 및 기술 연구자들을 위한 무료 논문 저장소.
이 논문은 학술 연구 목적으로 제공되며, 원문은 arXiv에서 다운로드할 수 있습니다.
더 많은 최신 논문을 보려면 arXiv를 방문하세요!
