Otimize o desempenho das consultas vetoriais no AlloyDB para PostgreSQL

Saiba como otimizar os seguintes índices vetoriais para alcançar um desempenho de consulta mais rápido e uma melhor capacidade de memorização no AlloyDB for PostgreSQL:

Também pode analisar as suas consultas e ver as métricas do índice vetorial para monitorizar e melhorar o desempenho das consultas.

Antes de começar

Antes de criar um índice ScaNN, conclua o seguinte:

  • Certifique-se de que já criou uma tabela com os seus dados.
  • Para evitar problemas ao gerar o índice, certifique-se de que o valor que define para o indicador maintenance_work_mem e o indicador shared_buffers é inferior à memória total da máquina .

Ajuste um índice ScaNN

Use as seguintes orientações para escolher entre um índice ScaNN de dois níveis e de três níveis:

  • Escolha um índice de dois níveis se o número de linhas de vetores for inferior a 10 milhões de linhas.
  • Escolha um índice de três níveis se o número de linhas de vetores exceder 100 milhões de linhas.
  • Escolha um índice de três níveis para otimizar o tempo de criação do índice ou escolha um índice de dois níveis para otimizar a capacidade de memorização da pesquisa se o número de linhas de vetores estiver entre 10 milhões e 100 milhões de linhas.

Considere os seguintes exemplos para índices de ScaNN de dois e três níveis que mostram como os parâmetros de otimização são definidos para uma tabela com 1 000 000 de linhas:

Índice de dois níveis

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 1000); -- Note: 1000 is the square root of 1,000,000 rows.

Índice de três níveis

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors = 50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 10000, max_num_levels = 2);

Para otimizar o equilíbrio entre a capacidade de memorização e as consultas por segundo ao ajustar os índices do ScaNN, consulte as Práticas recomendadas para ajustar os índices do ScaNN.

Analise as suas consultas

Use o comando EXPLAIN ANALYZE para analisar as estatísticas de consultas, conforme mostrado no seguinte exemplo de consulta SQL.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <=> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

A resposta de exemplo QUERY PLAN inclui informações como o tempo necessário, o número de linhas analisadas ou devolvidas e os recursos usados.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <=> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Veja métricas do índice vetorial

Pode usar métricas do índice vetorial para rever o desempenho do índice vetorial, identificar áreas de melhoria e ajustar o índice com base nas métricas, se necessário.

Para ver todas as métricas do índice vetorial, execute a seguinte consulta SQL, que usa a vista pg_stat_ann_indexes:

SELECT * FROM pg_stat_ann_indexes;

Vê um resultado semelhante ao seguinte:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Para mais informações sobre a lista completa de métricas, consulte o artigo Métricas do índice vetorial.

O que se segue?