본 게시물은 AI를 활용하여 논문 “HSPACE: Synthetic Parametric Humans Animated in Complex Environments”에 대한 주요 내용을 요약하고 분석한 결과입니다. 심층적인 정보는 원문 PDF를 직접 참고해 주시기 바랍니다.
📄 Original PDF: Download / View Fullscreen
영문 요약 (English Summary)
This paper presents HSPACE, a large-scale dataset that contains dynamic scenes with multiple moving people placed in realistic environments under complex lighting conditions. Human animations are driven by GHUM and for each frame we provide pose ground truth along with other rich image annotations such as human segmentation, body part localisation semantics, temporal correspondences, etc., which can be used to sustain progress in the field towards photo-realistic visu-alisation capabilities. HSPACE is practical, scalable and essential for bridging sim-to-real gap, ingesting real-world image data with high accuracy ground truth joints [4]. All these datasets contain real people scans but have limited variability [27, 39, 42, 51], or rely on game engine. Our contribution is the construction of a large scale au-tomatic system, which requires considerable time as well as human and material resources in order to perfect. The dataset also features occlusion due to other people, objects, or environment, and camera motion. HSPACE diversifies over people, poses, motions, scenes, etc., all into various scenes. We then render the resulting scenes for realistic rendering environments using a rich set of 2D and 3d annotations. Our methodology consists of procedures to fit GHUM body model to dressed human scans with repose logic along with re-aligning SMPL [40] meshes, which can be used in the wild natural for single or multiple subjects.
한글 요약 (Korean Summary)
이 논문은 복잡한 조명 조건 하에서 현실적인 환경에 배치 된 여러 움직이는 사람들과 동적 장면을 포함하는 대규모 데이터 세트 인 HSPACE를 제시합니다. 인간 애니메이션은 Ghum에 의해 주도되며 각 프레임에 대해 우리는 인간 세분화, 신체 부위 현지화 시맨틱, 시간적 서신 등과 같은 다른 풍부한 이미지 주석과 함께 포즈 그라운드 진실을 제공하며, 이는 현실의 비현실적 인시 기능을 향한 분야의 진전을 유지하는 데 사용할 수 있습니다. HSPACE는 실용적이고 확장 가능하며 SIM-to REAL GAP를 연결하는 데 필수적이며 정확도가 높은지면 진실 조인트로 실제 이미지 데이터를 수집합니다 [4]. 이 모든 데이터 세트에는 실제 사람 스캔이 포함되어 있지만 변동성이 제한되어 있거나 [27, 39, 42, 51] 또는 게임 엔진에 의존합니다. 우리의 기여는 대규모 Au-tomatic 시스템의 구성으로, 완벽하게하기 위해서는 인적 및 물질 자원뿐만 아니라 상당한 시간이 필요합니다. 데이터 세트에는 다른 사람, 물체 또는 환경 및 카메라 모션으로 인한 폐색이 있습니다. HSPACE는 사람들, 포즈, 움직임, 장면 등을 다양한 장면으로 다양 화합니다. 그런 다음 풍부한 2D 및 3D 주석 세트를 사용하여 현실적인 렌더링 환경의 결과 장면을 렌더링합니다. 우리의 방법론은 단일 또는 다수의 피험자에게 야생 자연에서 사용될 수있는 SMPL [40] 메시와 함께 Repose Logic과 함께 옷을 입은 인간 스캔에 Ghum 바디 모델에 맞는 절차로 구성됩니다.
주요 기술 용어 설명 (Key Technical Terms)
이 논문의 핵심 개념을 이해하는 데 도움이 될 수 있는 주요 기술 용어와 그 설명을 제공합니다. 각 용어 옆의 링크를 통해 관련 외부 자료를 검색해 보실 수 있습니다.
- Human Animations Synthetic Parametric Humans Animated in Complex Environments Eduard Gabriel Bazavan Andrei Zanfir Mihai Zanfir William T. Freeman Rahul Sukthankar Cristian Sminchisescu Google Research {egbazavan, andreiz, mihaiz, wfreeman, sukthankar, sminchisescu}@google.com 2022 Jan 6 [cs.CV] Figure 1 [Wikipedia (Ko)] [Wikipedia (En)] [나무위키] [Google Scholar] [Nature] [ScienceDirect] [PubMed]
설명: HSPACE는 복잡한 조명 조건에서 다양한 신체 모양과 포즈를 가진 여러 움직이는 사람들과 동적 장면을 포함하여 복잡한 조명 조건에서 인간 애니메이션은 신체 비율의 통계적 변형, 100 개가 넘는 배경 이미지로 애니메이션, HDRI 배경 또는 3D 장면을 사용하여 CMU HU- MOVENTIONTS에서 100 차원의 모션 및 100 차원의 동작 및 3D 장면을 적용하여 얻어집니다. 궤적 [4]. 우리의 방법론은 단일 또는 다수의 피험자에게 야생 자연에서 사용될 수있는 SMPL [40] 메시와 함께 Repose Logic과 함께 옷을 입은 인간 스캔에 Ghum 바디 모델에 맞는 절차로 구성됩니다.
(Original: HSPACE contains dynamic scenes with multiple moving people, with diverse body shapes and poses, placed in realistic environ- ments, under complex lighting conditions Human animations are obtained by fitting a statistical variation of body proportions, animated with over a hundred background images, HDRI backdrops or 3d scenes with real human motion capture snaps (from the CMU hu- move capture dataset), and placed in 100 different simulations to recover human motions and trajectories [4]. Our methodology consists of procedures to fit GHUM body model to dressed human scans with repose logic along with re-aligning SMPL [40] meshes, which can be used in the wild natural for single or multiple subjects.) - Ground Truth [Wikipedia (Ko)] [Wikipedia (En)] [나무위키] [Google Scholar] [Nature] [ScienceDirect] [PubMed]
설명: {Concise English Explanation 2} 우리의 기여는 대규모 AU-Tomatic 시스템의 구성으로, 완벽하게하기 위해서는 인적 및 물질 자원뿐만 아니라 상당한 시간이 필요합니다. 데이터 세트에는 다른 사람, 물체 또는 환경 및 카메라 모션으로 인한 폐색이 있습니다. HSPACE는 사람들, 포즈, 움직임, 장면 등을 다양한 장면으로 다양 화합니다. 그런 다음 풍부한 2D 및 3D 주석 세트를 사용하여 현실적인 렌더링 환경의 결과 장면을 렌더링합니다. 우리의 방법론은 단일 또는 다수의 피험자에게 야생 자연에서 사용될 수있는 SMPL [40] 메시와 함께 Repose Logic과 함께 옷을 입은 인간 스캔에 Ghum 바디 모델에 맞는 절차로 구성됩니다.
(Original: {Concise English explanation 2} Our contribution is the construction of a large scale au-tomatic system, which requires considerable time as well as human and material resources in order to perfect. The dataset also features occlusion due to other people, objects, or environment, and camera motion. HSPACE diversifies over people, poses, motions, scenes, etc., all into various scenes. We then render the resulting scenes for realistic rendering environments using a rich set of 2D and 3d annotations. Our methodology consists of procedures to fit GHUM body model to dressed human scans with repose logic along with re-aligning SMPL [40] meshes, which can be used in the wild natural for single or multiple subjects.) - Parametric Variation [Wikipedia (Ko)] [Wikipedia (En)] [나무위키] [Google Scholar] [Nature] [ScienceDirect] [PubMed]
설명: {Concise English Explanation 3} 우리의 기여는 대규모 Au-Tomatic 시스템의 구성으로, 완벽한 인간 및 물질적 자원뿐만 아니라 상당한 시간이 필요합니다. 데이터 세트에는 다른 사람, 물체 또는 환경 및 카메라 모션으로 인한 폐색이 있습니다. HSPACE는 사람들, 포즈, 움직임, 장면 등을 다양한 장면으로 다양 화합니다. 그런 다음 풍부한 2D 및 3D 주석 세트를 사용하여 현실적인 렌더링 환경의 결과 장면을 렌더링합니다. 우리의 방법론은 단일 또는 다수의 피험자에게 야생 자연에서 사용될 수있는 SMPL [40] 메시와 함께 Repose Logic과 함께 옷을 입은 인간 스캔에 Ghum 바디 모델에 맞는 절차로 구성됩니다.
(Original: {Concise English explanation 3} Our contribution is the construction of a large scale au-tomatic system, which requires considerable time as well human and material resources to perfect. The dataset also features occlusion due to other people, objects, or environment, and camera motion. HSPACE diversifies over people, poses, motions, scenes, etc., all into various scenes. We then render the resulting scenes for realistic rendering environments using a rich set of 2D and 3d annotations. Our methodology consists of procedures to fit GHUM body model to dressed human scans with repose logic along with re-aligning SMPL [40] meshes, which can be used in the wild natural for single or multiple subjects.)
원문 발췌 및 번역 보기 (Excerpt & Translation)
원문 발췌 (English Original)
HSPACE: Synthetic Parametric Humans Animated in Complex Environments Eduard Gabriel Bazavan Andrei Zanfir Mihai Zanfir William T. Freeman Rahul Sukthankar Cristian Sminchisescu Google Research {egbazavan, andreiz, mihaiz, wfreeman, sukthankar, sminchisescu}@google.com 2022 Jan 6 [cs.CV] Figure 1. HSPACE contains dynamic scenes with multiple moving people, with diverse body shapes and poses, placed in realistic environ- ments, under complex lighting. Human animations are driven by GHUM [41]. For all frames we provide 3d pose and shape ground truth, as well as other rich image annotations including human segmentation, body part localisation semantics, and temporal correspondences. Abstract consistent scene placement of multiple moving people. As- sets are generated automatically, at scale, and are compati- ble with existing real time rendering and game engines. The Advances in the state of the art for 3d human sensing dataset1 with evaluation server will be made available for are currently limited by the lack of visual datasets with 3d research. Our large-scale analysis of the impact of synthetic ground truth, including multiple people, in motion, operat- data, in connection with real data and weak supervision, ing in real-world environments, with complex illumination underlines the considerable potential for continuing quality or occlusion, and potentially observed by a moving cam- improvements and limiting the sim-to-real gap, in this prac- era. Sophisticated scene understanding would require esti- tical setting, in connection with increased model capacity. mating human pose and shape as well as gestures, towards representations that ultimately combine useful metric andarXiv:2112.12867v2 behavioral signals with free-viewpoint photo-realistic visu- alisation capabilities. To sustain progress, we build a large- scale photo-realistic dataset, Human-SPACE (HSPACE), of 1. Introduction animated humans placed in complex synthetic indoor and Progress in 3d human pose and shape estimation has outdoor environments. We combine a hundred diverse indi- been sustained over the past years as several statistical 3d…
발췌문 번역 (Korean Translation)
HSPACE : 복잡한 환경에서 생성 된 합성 파라 메트릭 인간 에두아드 가브리엘 바자바 바자 바자 바자 바자 바자 바다 바자 바자 바다 바자 (Andrei Zan) 미하이 Zan 파이프 윌리엄 T. Freeman Rahul sukthankar cristian sminchisescu Google Research {egbazavan, andreiz, mihaiz, wfreeman, sukthankar, sminchisescu} sminchisescu. [CS.CV] 그림 1. HSPACE에는 복잡한 조명 아래에서 현실적인 환경에 배치 된 다양한 신체 모양과 포즈가있는 여러 움직이는 사람들과 동적 장면이 포함되어 있습니다. 인간 애니메이션은 Ghum에 의해 주도된다 [41]. 모든 프레임에 대해 우리는 3D 포즈 및 형태의지면 진실과 인간 세분화, 신체 부위 국소화 시맨틱 및 시간적 서신을 포함한 다른 풍부한 이미지 주석을 제공합니다. 여러 움직이는 사람들의 일관된 장면 배치. AS 세트는 자동으로, 규모로 자동으로 생성되며 기존 실시간 렌더링 및 게임 엔진과 호환됩니다. 평가 서버를 사용한 3D 인간 감지 데이터 세트 1에 대한 ART의 발전은 현재 3D 리서치가있는 시각적 데이터 세트의 부족으로 제한 될 것입니다. 실제 데이터 및 약한 감독과 관련하여 여러 사람, 운동, 수술 데이터를 포함한 합성 근거 진실의 영향에 대한 우리의 대규모 분석, 실제 환경에서의 실제 환경에서의 약한 감독과 관련하여 수술 데이터는 지속적인 품질이나 폐색에 대한 상당한 잠재력을 강조하고,이 PRAC- ERA에서 움직이는 캠-개선에 의해 지속적으로 관찰되며 잠재적으로 관찰됩니다. 정교한 장면 이해는 모델 용량 증가와 관련하여 유망한 설정이 필요합니다. 인간 포즈와 모양과 제스처를 짝짓기, 궁극적으로 유용한 메트릭 안드릭 안드릭 앤 XIV : 2112.12867V2 행동 신호를 자유 뷰 포인트 사진 현실의 시행 능력과 결합하는 표현. 진전을 유지하기 위해 우리는 1. 소개 애니메이션 인간의 복잡한 합성 실내에 배치되었으며 3D 인간 포즈 및 모양 추정의 진보에는 야외 환경이 있습니다. 우리는 지난 몇 년 동안 여러 통계 3D로 100 개의 다양한 정보를 결합했습니다.
출처(Source): arXiv.org (또는 해당 논문의 원 출처)
답글 남기기