Metriche dell'indice vettoriale

Seleziona una versione della documentazione:

Questa pagina elenca le metriche relative agli indici vettoriali che generi in AlloyDB Omni. Puoi visualizzare queste metriche utilizzando la visualizzazione pg_stat_ann_indexes disponibile quando installi l'alloydb_scannestensione.

Per saperne di più sulla visualizzazione delle metriche, consulta Visualizzare le metriche dell'indice vettoriale.

Metriche di usabilità

Le metriche di usabilità includono metriche che ti aiutano a comprendere lo stato di utilizzo dell'indice con metriche come la configurazione dell'indice e il numero di scansioni dell'indice.

Nome metrica Tipo di dati Descrizione
relid OID Identificatore univoco della tabella che contiene l'indice vettoriale
indexrelid OID Identificatore univoco dell'indice vettoriale
schemaname NAME Nome dello schema proprietario dell'indice
relname NAME Nome della tabella contenente l'indice
indexrelname NAME Nome dell'indice
indextype NAME Tipo di indice. Questo valore è sempre impostato su scann
indexconfig TEXT[] Configurazione, ad esempio conteggio delle foglie e quantizzatore, definita per l'indice al momento della creazione
indexsize TEXT Dimensioni dell'indice
indexscan BIGINT Numero di scansioni dell'indice avviate sull'indice

Metriche di ottimizzazione

Le metriche di ottimizzazione forniscono informazioni sull'ottimizzazione corrente dell'indice, consentendoti di applicare i suggerimenti per migliorare le prestazioni delle query.

Nome metrica Tipo di dati Descrizione
insertcount BIGINT Numero di operazioni di inserimento nell'indice. Questa metrica include anche il numero di righe esistenti prima della creazione dell'indice.
updatecount BIGINT Numero di operazioni di aggiornamento sull'indice. Questa metrica non tiene conto di eventuali aggiornamenti HOT.
deletecount BIGINT Numero di operazioni di eliminazione sull'indice.
distribution JSONB Distribuzioni dei vettori in tutte le partizioni dell'indice.

I seguenti campi mostrano la distribuzione:
  • maximum (INT8): Numero massimo di vettori in tutte le partizioni.
  • minimum (INT8): Numero minimo di vettori in tutte le partizioni.
  • average (FLOAT) : Numero medio di vettori in tutte le partizioni.
  • outliers (INT8[]): I valori anomali principali in tutte le partizioni. Questo valore mostra i 20 valori anomali principali.

Nota:a causa delle caratteristiche intrinseche dell'algoritmo di clustering K-means, ci sarà sempre un certo grado di varianza nella distribuzione dei vettori tra le partizioni, anche quando l'indice viene creato inizialmente.
distributionpercentile JSONB La distribuzione dell'indice vettoriale ti aiuta a comprendere la distribuzione dei vettori tra le partizioni dell'indice ScaNN. Le partizioni vengono create in base al valore num_leaves definito durante la creazione dell'indice.

La distribuzione dell'indice vettoriale contiene bucket per i percentili 10, 25, 50, 75, 90, 95, 99 e 100. Ogni bucket contiene i seguenti valori:
  • Numero di vettori presenti nella partizione al percentile specificato.
  • Numero di partizioni che contengono vettori all'interno dell'intervallo definito dai percentili attuale e precedente.

Nota: a causa delle caratteristiche intrinseche dell'algoritmo di clustering K-means, esiste sempre un certo grado di varianza nella distribuzione dei vettori tra le partizioni, anche quando l'indice viene creato inizialmente.

Suggerimento di ottimizzazione basato sulle metriche

Mutazione
Le metriche insertcount, updatecount e deletecount mostrano insieme le modifiche o le mutazioni nel vettore dell'indice.
L'indice viene creato con un numero specifico di vettori e partizioni. Quando vengono eseguite operazioni come inserimento, aggiornamento o eliminazione sull'indice vettoriale, queste influiscono solo sul set iniziale di partizioni in cui risiedono i vettori. Di conseguenza, il numero di vettori in ogni partizione varia nel tempo, il che potrebbe influire sul richiamo, sulle QPS o su entrambi.
Se nel tempo riscontri problemi di lentezza o precisione, ad esempio QPS basso o scarso richiamo, nelle query di ricerca ANN, valuta la possibilità di esaminare queste metriche. Un numero elevato di mutazioni rispetto al numero totale di vettori potrebbe indicare la necessità di reindicizzazione.
Distribuzione
La metrica distribution mostra le distribuzioni dei vettori in tutte le partizioni.
Quando crei un indice, questo viene creato con un numero specifico di vettori e partizioni fisse. Il processo di partizionamento e la successiva distribuzione avvengono in base a questa considerazione. Se vengono aggiunti altri vettori, questi vengono partizionati tra le partizioni esistenti, il che comporta una distribuzione diversa rispetto a quella al momento della creazione dell'indice. Poiché la distribuzione finale non considera tutti i vettori contemporaneamente, il richiamo, le QPS o entrambi potrebbero essere interessati.
Se noti un calo graduale del rendimento delle query di ricerca ANN, ad esempio tempi di risposta più lenti o una riduzione dell'accuratezza dei risultati (misurata in QPS o richiamo), valuta la possibilità di controllare questa metrica e di reindicizzare.
Percentile di distribuzione
La metrica distributionpercentile è una distribuzione dell'indice vettoriale nella visualizzazione pg_stat_ann_indexes che ti aiuta a comprendere la distribuzione dei vettori tra le partizioni dell'indice ScaNN. Le partizioni vengono create in base al valore num_leaves definito durante la creazione dell'indice.
Quando crei un indice alloydb_scann sul set iniziale di righe impostando num_leaves, l'indice può modificare la distribuzione dei vettori tra le partizioni a causa di operazioni sui dati (mutazioni di asimmetria) o il numero di vettori potrebbe aumentare in modo significativo. Queste modifiche possono comportare una riduzione di QPS, richiamo o entrambi. La distribuzione dell'indice vettoriale può fornire indicatori se la mutazione causa una variazione nella distribuzione dell'indice. Queste informazioni possono aiutarti a determinare se è necessaria una reindicizzazione o se una modifica alle configurazioni del tempo di ricerca può contribuire a migliorare il rendimento delle query.
In un indice vettoriale, la distribuzione dei vettori tra le partizioni è raramente perfettamente uniforme. Questo squilibrio è chiamato distribuzione non uniforme. Un certo grado di non uniformità è spesso previsto e non significa che devi reindicizzare. Una distribuzione non uniforme ha le seguenti caratteristiche:
  • La varianza del numero di vettori è bassa. La varianza può essere calcolata come
    $(P100(num\_vectors) - p10(num\_vectors))*(\frac{num\_leaves}{total\_num\_row})$
  • Il numero di partizioni con 0 vettori è basso e potrebbe essere inferiore al 30% delle partizioni.
  • La varianza del numero di partizioni è bassa.
    $ variance _{p} = abs(p_{num\_partitions} - num\_leaves * (p_{percentile} - p-1_{percentile})) $ where "p" is a vector index distribution bucket.
  • Il numero di vettori in qualsiasi percentile è
    $< 8 x (\frac{num\_rows\ during\ index\ creation\ time}{ num\_leaves})$

    Quando queste condizioni non sono soddisfatte, potrebbe essere necessario REINDEX in base alla quantità di QPS e al richiamo interessati.
I seguenti scenari, sebbene meno comuni della distribuzione non uniforme, possono verificarsi:
  • Indice uniforme approssimativo:quando la maggior parte delle partizioni ha lo stesso numero di vettori diversi da zero e la varianza del numero di vettori è bassa, si tratta di un indice uniforme approssimativo. REINDEX è obbligatorio se il numero di vettori in ogni partizione è $> 8 * average vector$ a index_creation_time.
  • Indice sparso:un indice sparso si verifica anche quando più del 50% delle partizioni è vuoto. Ad esempio, l'indice sparso viene creato quando si verificano più eliminazioni in una tabella. Questo scenario fa sì che i vettori si concentrino in un numero ridotto di partizioni, il che aumenta il numero di vettori in ogni partizione. In questo caso, elimina l'indice e ricrealo.