ScaNN 벡터 쿼리 성능 개요

문서 버전을 선택합니다.

이 페이지에서는 ScaNN 색인을 사용하여 벡터 쿼리 성능을 개선하는 방법을 개념적으로 간략하게 설명합니다.

ScaNN 색인은 트리 양자화 기반 색인을 사용합니다. 트리 양자화 기법에서 색인은 양자화 (또는 해싱) 함수와 함께 검색 트리를 학습합니다. 쿼리를 실행하면 검색 트리가 검색 공간을 가지치기하는 데 사용되고 양자화는 색인 크기를 압축하는 데 사용됩니다. 이 가지치기는 쿼리 벡터와 데이터베이스 벡터 간의 유사성 (즉, 거리) 점수 매기기를 가속화합니다.

최근접 이웃 쿼리로 높은 초당 쿼리 수 (QPS)와 높은 재현율을 모두 달성하려면 데이터와 쿼리에 가장 적합한 방식으로 ScaNN 색인의 트리를 파티셔닝해야 합니다.

현재 세대의 고차원 임베딩 모델의 일반적인 특징은 훨씬 낮은 차원에서도 많은 정보를 유지할 수 있다는 것입니다. 예를 들어 임베딩의 차원이 20% 에 불과해도 정보의 90% 를 유지할 수 있습니다. 이러한 데이터 세트의 속도를 높이기 위해 AlloyDB ScaNN은 색인이 생성된 벡터에서 주성분 분석 (scann.enable_pca below 참고)을 사용하여 차원 축소를 자동으로 실행하므로 벡터 검색의 CPU 및 메모리 사용량이 더욱 줄어듭니다. 차원 축소로 인해 색인에서 약간의 재현율 손실이 발생하므로 AlloyDB ScaNN은 색인에서 더 많은 수의 PCA 처리된 벡터 후보를 사용하여 초기 순위 지정 단계를 통해 보상한 다음 원래 벡터로 다시 순위를 지정합니다 (scann.pre_reordering_num_neighbors 참고).

다음 단계