Prácticas recomendadas para la indexación de vectores

En esta página, se describen las prácticas recomendadas para la indexación de vectores que optimizan tus índices de vectores y mejoran los resultados de las consultas de vecino más cercano aproximado (ANN).

Ajusta las opciones de búsqueda vectorial

Los valores más óptimos para las opciones de tu índice vectorial dependen de tu caso de uso, tu conjunto de datos de vectores y los vectores de búsqueda. Puedes establecer y ajustar estos valores creando un nuevo índice de vectores y configurando index_option_list en la instrucción CREATE VECTOR INDEX. Es posible que debas realizar ajustes iterativos para encontrar los mejores valores para tu carga de trabajo específica.

A continuación, se incluyen algunos lineamientos útiles que puedes seguir cuando elijas valores adecuados:

  • tree_depth (nivel del árbol): Si la tabla que indexas tiene menos de 10 millones de filas, usa un tree_depth de 2. De lo contrario, un tree_depth de 3 admite tablas de hasta 10,000 millones de filas aproximadamente.

  • num_leaves: Usa la raíz cuadrada de la cantidad de filas del conjunto de datos. Un valor más grande puede aumentar el tiempo de compilación del índice de vectores. Evita establecer num_leaves como un valor mayor que table_row_count dividido por 1,000, ya que esto genera hojas demasiado pequeñas y un rendimiento deficiente.

  • num_leaves_to_search: Esta opción especifica cuántos nodos hoja del índice se buscan. Aumentar num_leaves_to_search mejora la recuperación, pero también incrementa la latencia y el costo. Recomendamos usar un número que sea el 1% de la cantidad total de hojas definidas en la instrucción CREATE VECTOR INDEX como el valor de num_leaves_to_search. Si usas una cláusula de filtro, aumenta este valor para ampliar la búsqueda.

Si se logra una recuperación aceptable, pero el costo de la consulta es demasiado alto, lo que genera un QPS máximo bajo, intenta aumentar num_leaves siguiendo estos pasos:

  1. Establece num_leaves en algún múltiplo k de su valor original (por ejemplo, 2 * sqrt(table_row_count)).
  2. Establece num_leaves_to_search para que sea el mismo múltiplo k de su valor original.
  3. Experimenta con la reducción de num_leaves_to_search para mejorar el costo y las QPS, y mantener la recuperación.

Mejora la recuperación

Para mejorar la recuperación, considera ajustar el valor de num_leaves_to_search o volver a compilar tu índice de vectores.

Si el valor de num_leaves_to_search es demasiado pequeño, es posible que te resulte más difícil encontrar los vecinos más cercanos para algunos vectores de consulta. Crear un nuevo índice de vectores con un valor de num_leaves_to_search aumentado puede ayudar a mejorar la recuperación, ya que se buscan más hojas. Las búsquedas recientes pueden contener más de estos vectores desafiantes.

Vuelve a compilar el índice de vectores

La estructura de árbol del índice de vectores se optimiza para el conjunto de datos en el momento de la creación y, luego, permanece estática. Por lo tanto, si se agregan vectores significativamente diferentes después de crear el índice de vectores inicial, la estructura del árbol podría ser subóptima, lo que generaría una recuperación más deficiente.

Para volver a compilar tu índice de vectores sin tiempo de inactividad, haz lo siguiente:

  1. Crea un índice vectorial nuevo en la misma columna de incorporación que el índice vectorial actual y actualiza los parámetros (por ejemplo, OPTIONS) según corresponda.
  2. Una vez que se complete la creación del índice, usa la sugerencia FORCE_INDEX para apuntar al índice nuevo y actualizar la búsqueda de vectores. Esto garantiza que la búsqueda use el nuevo índice de vectores. Es posible que también debas volver a ajustar num_leaves_to_search en tu nueva búsqueda.
  3. Descarta el índice vectorial desactualizado.

¿Qué sigue?