ScaNN 색인은 트리 양자화 기반 색인을 사용합니다. 트리 양자화 기법에서 색인은 양자화 (또는 해싱) 함수와 함께 검색 트리를 학습합니다. 쿼리를 실행하면 검색 트리가 검색 공간을 가지치기하는 데 사용되고 양자화는 색인 크기를 압축하는 데 사용됩니다. 이 가지치기를 통해 쿼리 벡터와 데이터베이스 벡터 간의 유사성 (즉, 거리) 점수 매기기가 빨라집니다.
최근접 이웃 쿼리로 높은 초당 쿼리 수 (QPS)와 높은 재현율을 모두 달성하려면 데이터와 쿼리에 가장 적합한 방식으로 ScaNN 색인의 트리를 파티셔닝해야 합니다.
현재 세대의 고차원 임베딩 모델의 일반적인 특징은 훨씬 낮은 차원에서도 많은 정보를 유지할 수 있다는 것입니다. 예를 들어 임베딩의 차원이 20% 에 불과해도 정보의 90% 를 유지할 수 있습니다. 이러한 데이터 세트의 속도를 높이기 위해 AlloyDB ScaNN은 색인이 생성된 벡터에서 주성분 분석 (scann.enable_pca below 참고)을 사용하여 차원 축소를 자동으로 실행하므로 벡터 검색의 CPU 및 메모리 사용량이 더욱 줄어듭니다. 차원 축소로 인해 색인에서 약간의 재현율 손실이 발생하므로 AlloyDB ScaNN은 색인에서 PCA 처리된 벡터 후보를 더 많이 사용하여 초기 순위 지정 단계를 통해 보상한 다음 원래 벡터로 다시 순위를 지정합니다 (scann.pre_reordering_num_neighbors 참고).
