벡터 색인 생성 권장사항

이 페이지에서는 벡터 색인을 최적화하고 근사 최근접 이웃 (ANN) 쿼리 결과를 개선하는 벡터 색인 권장사항을 설명합니다.

벡터 검색 옵션 조정

벡터 색인 옵션의 최적 값은 사용 사례, 벡터 데이터 세트, 쿼리 벡터에 따라 달라집니다. 새 벡터 색인을 만들고 CREATE VECTOR INDEX 문에서 index_option_list을 설정하여 이러한 값을 설정하고 조정할 수 있습니다. 특정 워크로드의 최적 값을 찾기 위해서는 반복 조정을 수행해야 할 수 있습니다.

적합한 값을 선택할 때 따라야 할 유용한 가이드라인은 다음과 같습니다.

  • tree_depth (트리 레벨): 색인을 작성하려는 테이블의 행 수가 1, 000만 개 미만이면 tree_depth로 2를 사용합니다. 그렇지 않고 tree_depth에 3을 사용하면 행이 최대 100억 개까지 포함된 테이블을 지원합니다.

  • num_leaves: 데이터 세트에서 행 수의 제곱근을 사용합니다. 값이 클수록 벡터 색인 빌드 시간이 증가할 수 있습니다. num_leaves를 table_row_count/1000보다 크게 설정하면 소규모 리프 수가 과도하게 늘어나고 성능이 저하될 수 있으므로 피해야 합니다.

  • num_leaves_to_search: 이 옵션은 검색되는 색인의 리프 노드 수를 지정합니다. num_leaves_to_search를 늘리면 재현율이 향상되지만 지연 시간과 비용도 증가합니다. CREATE VECTOR INDEX 문에 정의된 총 리프 수의 1%에 해당하는 숫자를 num_leaves_to_search의 값으로 사용하는 것이 좋습니다. 필터 절을 사용하는 경우 이 값을 늘려서 검색 범위를 넓힙니다.

적절한 재현율이 달성되었지만 쿼리 비용이 너무 높아서 최대 QPS가 낮아지면 다음 단계에 따라 num_leaves를 늘려보세요.

  1. num_leaves를 원래 값의 k 배수로 설정합니다(예: 2 * sqrt(table_row_count)).
  2. num_leaves_to_search를 원래 값의 k 배수로 설정합니다.
  3. 실험적으로 num_leaves_to_search를 줄여서 재현율을 유지하면서 비용 및 QPS를 개선해보세요.

재현율 개선

재현율을 개선하려면 num_leaves_to_search 값을 조정하거나 벡터 색인을 다시 빌드하는 것이 좋습니다.

num_leaves_to_search 값이 너무 작으면 일부 쿼리 벡터의 최근접 이웃을 찾는 것이 어려울 수 있습니다. num_leaves_to_search 값이 증가된 새 벡터 색인을 만들면 더 많은 리프를 검색하여 재현율을 개선할 수 있습니다. 최근 쿼리에 처리하기 어려운 벡터가 더 많이 포함되어 있을 수 있습니다.

벡터 색인 다시 빌드

벡터 색인의 트리 구조는 처음 생성될 때 데이터 세트에 맞게 최적화되었으며, 이후 변경되지 않았습니다. 따라서 초기 벡터 색인을 만든 후 약간 다른 벡터가 추가되면 트리 구조의 효율성이 저하되어 재현율이 저하될 수 있습니다.

다운타임 없이 벡터 색인을 다시 빌드하려면 다음 안내를 따르세요.

  1. 현재 벡터 색인과 동일한 임베딩 열에서 새 벡터 색인을 만들고 OPTIONS과 같은 매개변수를 적절하게 업데이트합니다.
  2. 색인 만들기가 완료되면 FORCE_INDEX 힌트를 사용하여 벡터 검색어가 업데이트되도록 새 색인을 가리킵니다. 이렇게 하면 쿼리에 새로운 벡터 색인이 사용됩니다. 새 쿼리에서 num_leaves_to_search를 다시 조정해야 할 수도 있습니다.
  3. 오래된 벡터 색인을 삭제합니다.

다음 단계