< Summary (English) >
GriSPy is a new regular grid search algorithm for efficient fixed-radius nearest neighbor lookup developed in Python.
It indexes a set of k-dimensional points in a regular grid with optional periodic conditions and provides a fast approach to nearest neighbors queries.
The package includes three types of queries: bubble, shell, and nth-nearest, using metrics such as Euclidean, haversine, and Vincenty for astronomy applications.
GriSPy is particularly useful for large datasets where brute-force search becomes impractical.
It indexes a set of k-dimensional points in a regular grid with optional periodic conditions and provides a fast approach to nearest neighbors queries.
The package includes three types of queries: bubble, shell, and nth-nearest, using metrics such as Euclidean, haversine, and Vincenty for astronomy applications.
GriSPy is particularly useful for large datasets where brute-force search becomes impractical.
< 요약 (Korean) >
GriSPy는 Python에서 효율적인 고정 반지름 가장 가까운 이웃 검색을 위한 새로운 정규 격자 검색 알고리즘입니다.
이 패키지는 k-차원 점 집합을 정규 격자에 인덱싱하며, 기본 조건으로 주기적 조건을 제공하고 가장 가까운 이웃 쿼리에 대한 빠른 접근 방식을 제공합니다.
패키지는 굴착, 쉘, 및 nth-가장 가까운 쿼리를 사용하여 유클리디안, 하버신, 및 빈슨티에이 메트릭을 위한 아스트로노미 애플리케이션입니다.
GriSPy는 대규모 데이터셋에서 브루트 포스 검색이 불가능해질 때 매우 유용합니다.
sehr klein.
이 패키지는 k-차원 점 집합을 정규 격자에 인덱싱하며, 기본 조건으로 주기적 조건을 제공하고 가장 가까운 이웃 쿼리에 대한 빠른 접근 방식을 제공합니다.
패키지는 굴착, 쉘, 및 nth-가장 가까운 쿼리를 사용하여 유클리디안, 하버신, 및 빈슨티에이 메트릭을 위한 아스트로노미 애플리케이션입니다.
GriSPy는 대규모 데이터셋에서 브루트 포스 검색이 불가능해질 때 매우 유용합니다.
sehr klein.
< 기술적 용어 설명 >
* 정규 격자: 정규 격자는 공간의 구조를 표현하고, 가장 가까운 이웃 검색을 위한 데이터 구조입니다. * 주기적 조건: 주기적 조건은 정규 격자에서 데이터를 처리하는 데 사용되며, 데이터의 반복을 나타냅니다. * 가장 가까운 이웃 검색(Nearest Neighbor Search): 가장 가까운 이웃 검색은 주어진 집합에서 입력된 점의 가장 가까운 지점을 찾는 문제입니다. * 굴착(bubble): 굴착은 가장 가까운 이웃 검색에서 사용되는 쿼리 유형으로, 지정된 반경 내의 모든 점을 찾습니다. * 쉘(shell): 쉘은 가장 가까운 이웃 검색에서 사용되는 쿼리 유형으로, 지정된 반경 내의 특정 레벨의 점을 찾습니다. * nth-가장 가까운(nth-nearest): nth-가장 가까운은 가장 가까운 이웃 검색에서 사용되는 쿼리 유형으로, n번째로 가장 가까운 점을 찾습니다. * Euclidean: Euclidean은 공간의 거리를 계산하는 메트릭입니다. * haversine: haversine은 지구 표면에서 두 지점 사이의 거리를 계산하는 메트릭입니다. * Vincenty: Vincenty는 지구 표면에서 두 지점 사이의 거리를 계산하는 메트릭입니다.
< 참고 논문 또는 관련 자료 >
[1] GriSPy: A Python package for Fixed-Radius Nearest Neighbors Search, Martin Chalelaa, Emanuel Silleroa, Luis Pereyraa, Mario Alejandro Garciad, Juan B. Cabrale, Marcelo Laresa, Manuel Merch´ana, a Instituto de Astronom´ia Te´orica y Experimental – Observatorio Astron´omico de C´ordoba (IATE, UNC–CONICET), b Observatorio Astron´omico de C´ordoba, Universidad Nacional de C´ordoba, c Facultad de Matem´atica, Astronom´ıa y F´ısica, Universidad Nacional
< Excerpt (English) >
GriSPy: A Python package for Fixed-Radius Nearest Neighbors Search Martin Chalelaa,b,c, Emanuel Silleroa,b,c, Luis Pereyraa,b,c, Mario Alejandro Garciad, Juan B. Cabrale,a, Marcelo Laresa, Manuel Merch´ana,b a Instituto de Astronom´ıa Te´orica y Experimental – Observatorio Astron´omico de C´ordoba (IATE, UNC–CONICET), C´ordoba, Argentina. b Observatorio Astron´omico de C´ordoba, Universidad Nacional de C´ordoba, Laprida 854, X5000BGR, C´ordoba, Argentina c Facultad de Matem´atica, Astronom´ıa y F´ısica, Universidad Nacional de C´ordoba (FaMAF–UNC) Bvd. Medina Allende s/n, Ciudad Universitaria, X5000HUA, C´ordoba, Argentina d Universidad Tecnol´ogica Nacional, Facultad Regional C´ordoba (UTN–FRC), Maestro M. Lopez esq. Cruz Roja Argentina, Ciudad Universitaria – C´ordoba Capital e Centro Internacional Franco Argentino de Ciencias de la Informaci´on y de Sistemas (CIFASIS, CONICET–UNR), Ocampo y Esmeralda, S2000EZP, Rosario, Argentina. Abstract We present a new regular grid search algorithm for quick fixed-radius nearest-neighbor lookup developed in Python. This module indexes a set of k-dimensional points in a regular grid, with optional periodic conditions, providing a fast approach for nearest neighbors queries. In this first installment, we provide three types of queries: bubble, shell and the nth-nearest. For these queries we include three different metrics of interest in astronomy, namely, the euclidean, the haversine and the Vincenty, the last two in spherical coordinates. We also provide the possibility of using a custom distance function. This package results particularly useful for large datasets where a brute-force search turns impractical. Keywords: Data mining: Nearest-neighbor search; Methods: Data analysis; Astroinformatics; Python Package 1. Introduction The nearest neighbor search (NNS) problem can be defined as follows: given a set P of n points defined in the multidimen- sional space X with distance function D, run an algorithm that, given a query point q ∈X, finds the point minp∈P D(q, p). This problem arises in a wide range of scientific fields, including ma- chine learning, robotics , chemistry, astronomy and many other areas of application (e.g. Shakhnarovich et al. 2006; Teofili & Lin 2019; Devlin et al. 2015; Calle-Vallejo et al. 2015). In the particular field of astronomy, the everyday increasing amount of observational and simulated data requires algorithms that can handle the computational demands. Most modern cos- mological simulations consist of over 1010 particles, e.g. the Illustris Project (Springel et al. 2018; Vogelsberger et al. 2014), the MultiDark Simulation (Klypin et al. 2016) or the Millen- nium Simulation (Boylan-Kolchin et al. 2009), with the addi- tional feature of being in a 3D box with periodic boundary con- ditions. Even smaller scale simulations may consist of 106 par- ticles. On the other hand, the observational community is also facing this problem thanks to large-scale sky surveys such as the Sloan Digital Sky Survey (Alam et al. 2015) and the Dark Energy Survey (Zuntz et al. 2018), and will face even greater challenges with upcoming projects like the Large Synoptic Sur- vey Telescope (Ivezi´c et al. 2019). Several methods have been proposed for solving the NNS problem and according to their solution they can be broadly di- vided in approximate or exact. Approximate solutions are usu- ally of interest when…
< 번역 (Korean) >
GRISPY : 고정 라디우스 가장 가까운 이웃을위한 파이썬 패키지 Martin Chalelaa, B, C, Emanuel Silleroa, B, C, Luis Pereyraa, B, C, Mario Alejandro Garciad, Juan B.
Cabrale, A, Marcelo Laresa, Manuel Merch´ana, B a instituto de at astronom at astronom at astronom at astito a astito a astito de Astron´omico de C´ordoba (Iate, UNC -Conicet), C’ordoba, 아르헨티나.
B Obstomatorio Astron´omico de C´ordoba, Universidad Nacional de C´ordoba, Laprida 854, x5000bgr, C´ordoba, Argentina C Appultad de Matem’atica, Astronom´ıa y f´ısica, Universidad Nacional de C´ordoba (Famaf – Anc) Bvd.
Medina Allende S/N, Ciudad Universitaria, x5000hua, C´ordoba, Argentina D Universidad Tecnol´ogica Nacional, Apultad Regional C´ordoba (UTN – FRC), Maestro M.
Lopez Esq.
Cruz Roja Argentina, Ciudad Universitaria -C´ordoba Capital E Centro Internacional Franco Argentina de Ciencias de la informaci´on y de sistemas (cifasis, conicet – unr), Ocampo y Esmeralda, S2000ezp, Rosario, Argentina.
Abstract Python에서 개발 된 빠른 고정-라디우스 가장 가까운 이속도 조회를위한 새로운 일반 그리드 검색 알고리즘을 제시합니다.
이 모듈은 정기적 인 조건과 함께 일반 그리드의 k 차원 지점 세트를 색인화하여 가장 가까운 이웃 쿼리에 빠른 접근 방식을 제공합니다.
이 첫 번째 할부에서는 버블, 쉘 및 NTH NEARST의 세 가지 유형의 쿼리를 제공합니다.
이러한 질문에 대해 우리는 천문학에 대한 관심있는 세 가지 다른 지표, 즉 유클리드 인, Haversine 및 Vincenty, 마지막 두 가지는 구면 좌표로 포함됩니다.
또한 사용자 정의 거리 기능을 사용할 가능성도 제공합니다.
이 패키지는 특히 무차별 검색 검색이 실용적이지 않은 대형 데이터 세트에 특히 유용합니다.
키워드 : 데이터 마이닝 : 가장 가까운 이웃 검색; 방법 : 데이터 분석; astoinformatics; Python Package 1.
소개 가장 가까운 이웃 검색 (NNS) 문제는 다음과 같이 정의 될 수 있습니다.
거리 함수 d가있는 다중 정리 공간 X에서 정의 된 N 포인트의 세트가 주어지면 쿼리 포인트 Q ∈X가 주어지면서 Minp (Q, p)가 표시되는 알고리즘을 실행합니다.
이 문제는 마치 학습, 로봇 공학, 화학, 천문학 및 기타 여러 적용 영역을 포함한 광범위한 과학 분야에서 발생합니다 (예 : Shakhnarovich et al.
2006; Teofi & Lin 2019; Devlin et al.
2015; Calle-Vallejo et al.
2015).
천문학의 특정 분야에서 매일 증가하는 관찰 및 시뮬레이션 데이터의 양에는 계산 요구를 처리 할 수있는 알고리즘이 필요합니다.
대부분의 현대적인 공동 시뮬레이션은 1010 개가 넘는 입자로 구성됩니다 (예 : Illustris Project (Springel et al.
2018; Vogelsberger et al.
2014), Multidark Simulation (Klypin et al.
2016) 또는 Millennium Simulation (Boylan-Kolchin et al.
2009)은 주기적 경계 구성을 가진 3D 박스에있는 추가 기능을 제공합니다.
더 작은 스케일 시뮬레이션조차도 106 개의 부분으로 구성 될 수 있습니다.
반면, Sloan Digital Sky Survey (Alam et al.
2015) 및 Dark Energy Survey (Zuntz et al.
2018)와 같은 대규모 스카이 조사 덕분에 관찰 커뮤니티는이 문제에 직면하고 있으며, 대규모 문의적 감시 망원경과 같은 다가오는 프로젝트에서 더 큰 도전에 직면하게 될 것입니다 (Ivezi´c et al.
2019).
NNS 문제를 해결하기위한 몇 가지 방법이 제안되었으며, 솔루션에 따라 대략적으로 또는 정확하게 다룰 수 있습니다.
대략적인 솔루션은 우주에 관심이 있습니다.
Cabrale, A, Marcelo Laresa, Manuel Merch´ana, B a instituto de at astronom at astronom at astronom at astito a astito a astito de Astron´omico de C´ordoba (Iate, UNC -Conicet), C’ordoba, 아르헨티나.
B Obstomatorio Astron´omico de C´ordoba, Universidad Nacional de C´ordoba, Laprida 854, x5000bgr, C´ordoba, Argentina C Appultad de Matem’atica, Astronom´ıa y f´ısica, Universidad Nacional de C´ordoba (Famaf – Anc) Bvd.
Medina Allende S/N, Ciudad Universitaria, x5000hua, C´ordoba, Argentina D Universidad Tecnol´ogica Nacional, Apultad Regional C´ordoba (UTN – FRC), Maestro M.
Lopez Esq.
Cruz Roja Argentina, Ciudad Universitaria -C´ordoba Capital E Centro Internacional Franco Argentina de Ciencias de la informaci´on y de sistemas (cifasis, conicet – unr), Ocampo y Esmeralda, S2000ezp, Rosario, Argentina.
Abstract Python에서 개발 된 빠른 고정-라디우스 가장 가까운 이속도 조회를위한 새로운 일반 그리드 검색 알고리즘을 제시합니다.
이 모듈은 정기적 인 조건과 함께 일반 그리드의 k 차원 지점 세트를 색인화하여 가장 가까운 이웃 쿼리에 빠른 접근 방식을 제공합니다.
이 첫 번째 할부에서는 버블, 쉘 및 NTH NEARST의 세 가지 유형의 쿼리를 제공합니다.
이러한 질문에 대해 우리는 천문학에 대한 관심있는 세 가지 다른 지표, 즉 유클리드 인, Haversine 및 Vincenty, 마지막 두 가지는 구면 좌표로 포함됩니다.
또한 사용자 정의 거리 기능을 사용할 가능성도 제공합니다.
이 패키지는 특히 무차별 검색 검색이 실용적이지 않은 대형 데이터 세트에 특히 유용합니다.
키워드 : 데이터 마이닝 : 가장 가까운 이웃 검색; 방법 : 데이터 분석; astoinformatics; Python Package 1.
소개 가장 가까운 이웃 검색 (NNS) 문제는 다음과 같이 정의 될 수 있습니다.
거리 함수 d가있는 다중 정리 공간 X에서 정의 된 N 포인트의 세트가 주어지면 쿼리 포인트 Q ∈X가 주어지면서 Minp (Q, p)가 표시되는 알고리즘을 실행합니다.
이 문제는 마치 학습, 로봇 공학, 화학, 천문학 및 기타 여러 적용 영역을 포함한 광범위한 과학 분야에서 발생합니다 (예 : Shakhnarovich et al.
2006; Teofi & Lin 2019; Devlin et al.
2015; Calle-Vallejo et al.
2015).
천문학의 특정 분야에서 매일 증가하는 관찰 및 시뮬레이션 데이터의 양에는 계산 요구를 처리 할 수있는 알고리즘이 필요합니다.
대부분의 현대적인 공동 시뮬레이션은 1010 개가 넘는 입자로 구성됩니다 (예 : Illustris Project (Springel et al.
2018; Vogelsberger et al.
2014), Multidark Simulation (Klypin et al.
2016) 또는 Millennium Simulation (Boylan-Kolchin et al.
2009)은 주기적 경계 구성을 가진 3D 박스에있는 추가 기능을 제공합니다.
더 작은 스케일 시뮬레이션조차도 106 개의 부분으로 구성 될 수 있습니다.
반면, Sloan Digital Sky Survey (Alam et al.
2015) 및 Dark Energy Survey (Zuntz et al.
2018)와 같은 대규모 스카이 조사 덕분에 관찰 커뮤니티는이 문제에 직면하고 있으며, 대규모 문의적 감시 망원경과 같은 다가오는 프로젝트에서 더 큰 도전에 직면하게 될 것입니다 (Ivezi´c et al.
2019).
NNS 문제를 해결하기위한 몇 가지 방법이 제안되었으며, 솔루션에 따라 대략적으로 또는 정확하게 다룰 수 있습니다.
대략적인 솔루션은 우주에 관심이 있습니다.
출처: arXiv
답글 남기기