GoogleSQL per BigQuery supporta gli schizzi di dati. Uno schizzo di dati è un riepilogo compatto di un'aggregazione di dati. Cattura tutte le informazioni necessarie per estrarre un risultato di aggregazione, continuare un'aggregazione dei dati o unirle a un altro schizzo, consentendo la riaggregazione.
Il calcolo di una metrica mediante uno schizzo è notevolmente meno costoso rispetto al calcolo di un valore esatto. Se il calcolo è troppo lento o richiede troppa archiviazione temporanea, usa degli schizzi per ridurre il tempo e le risorse delle query.
Inoltre, le cardinalità di calcolo, come il numero di utenti distinti, o i quantili, come la durata media della visita, senza schizzi sono in genere possibili solo eseguendo i job sui dati non elaborati perché i dati già aggregati non possono più essere combinati.
Prendiamo in considerazione una tabella con i seguenti dati:
| Prodotto | Numero di utenti | Durata media della visita |
|---|---|---|
| Prodotto A | 500 milioni | 10 minuti |
| Prodotto B | 20 milioni | 2 minuti |
Non è possibile calcolare il numero totale di utenti per entrambi i prodotti perché non sappiamo quanti utenti hanno utilizzato entrambi i prodotti nella tabella.
Una soluzione è archiviare gli schizzi nella tabella. Ogni schizzo è una rappresentazione approssimativa e compatta di una determinata proprietà di input, come la cardinalità, che puoi archiviare, unire (o riaggregare) ed eseguire query per risultati quasi esatti. Nell'esempio precedente, puoi stimare il numero di utenti distinti per il Prodotto A e il Prodotto B creando e unendo (riaggregando) gli schizzi per ciascun prodotto. Puoi anche stimare la durata mediana della visita con schizzi di quantili che puoi anche unire ed eseguire query.
Poiché uno schizzo ha una compressione con perdita dei dati originali, introduce un errore statistico rappresentato da un limite di errore o un intervallo di confidenza (CI). Per la maggior parte delle applicazioni, questa incertezza è limitata. Ad esempio, un tipico schizzo per il conteggio della cardinalità ha un errore relativo di circa l'1% nel 95% di tutti i casi. Uno schizzo scambia un po' di precisione, o precisione, per calcoli più rapidi e meno costosi e meno spazio di archiviazione.
Riassumendo, uno schizzo presenta le seguenti proprietà principali:
- Rappresenta un aggregato approssimativo per una metrica specifica
- È compatto
- È una forma serializzata di una struttura di dati sublineare in memoria
- In genere ha una dimensione fissa ed è asintoticamente più piccola rispetto all'input
- Può introdurre un errore statistico che determinate con un livello di precisione
- Possono essere uniti ad altri schizzi per riepilogare l'unione dei set di dati sottostanti
Riaggregazione con l'unione di schizzi
Gli schizzi ti consentono di archiviare e unire i dati per una riaggregazione efficiente. Ciò rende gli schizzi particolarmente utili per le viste materializzate dei set di dati. Puoi unire gli schemi per costruire un riepilogo di più stream di dati sulla base di schemi parziali creati per ogni flusso.
Ad esempio, se crei uno schizzo per il numero stimato di utenti distinti ogni giorno, puoi ottenere il numero di utenti distinti durante gli ultimi sette giorni unendo gli schizzi giornalieri. Riaggregando gli schizzi giornalieri uniti puoi evitare di leggere l'input completo del set di dati.
La riaggregazione di schizzi è utile anche nell'elaborazione analitica online (OLAP). Puoi unire gli schizzi per creare un aggregazione di un cubo OLAP, in cui lo schizzo riassume i dati in base a una o più dimensioni specifiche del cubo. I raggruppamenti OLAP non sono possibili con conteggi distinti reali.
Integrazione di Sketch
Puoi integrare gli schizzi con altri sistemi. Ad esempio, puoi creare schemi in applicazioni esterne, come Dataflow o Apache Spark, e utilizzarli in GoogleSQL o viceversa.
Oltre a GoogleSQL, puoi utilizzare schizzi con i seguenti linguaggi di programmazione:
- C++
- Go
- Java
- Python
Stima la cardinalità senza eliminazioni
Se devi stimare la cardinalità e non hai bisogno della possibilità di eliminare elementi dallo schizzo, utilizza uno schizzo HLL++.
Ad esempio, per ottenere il numero di utenti unici che hanno utilizzato attivamente un prodotto in un determinato mese (metriche MAU o 28DAU), utilizza uno schizzo HLL++.
Disegni HLL++
HyperLogLog++ (HLL++) è un algoritmo di disegno per la stima della cardinalità. HLL++ si basa sull'articolo HyperLogLog in Practice, in cui ++ indica le modifiche apportate all'algoritmo HyperLogLog.
La cardinalità è il numero di elementi distinti nell'input per uno schizzo. Ad esempio, potresti utilizzare uno schizzo HLL++ per ottenere il numero di utenti unici che hanno aperto un'applicazione.
HLL++ stima le cardinalità molto piccole e molto grandi. HLL++ include una funzione hash a 64 bit, una rappresentazione sparsa per ridurre i requisiti di memoria per le stime di cardinalità piccole e una correzione del bias empirico per le stime di cardinalità piccole.
Gli schizzi HLL++ supportano la precisione personalizzata. La seguente tabella mostra i valori di precisione supportati, la dimensione massima dello spazio di archiviazione e l'intervallo di confidenza (CI) dei livelli di precisione tipici:
| Precisione | Dimensione massima dello spazio di archiviazione | CI 65% | CI 95% | CI 99% |
|---|---|---|---|---|
| 10 | 1 KiB + 28 B | ±3.25% | ± 6,50% | ±9,75% |
| 11 | 2 KiB + 28 B | ±2.30% | ± 4,60% | ±6.89% |
| 12 | 4 KiB + 28 B | ±1,63% | ±3.25% | ±4.88% |
| 13 | 8 KiB + 28 B | ±1.15% | ±2.30% | ±3.45% |
| 14 | 16 KiB + 30 B | ±0.81% | ±1,63% | ±2.44% |
| 15 (valore predefinito) | 32 KiB + 30 B | ±0.57% | ±1.15% | ±1.72% |
| 16 | 64 KiB + 30 B | ±0.41% | ±0.81% | ±1.22% |
| 17 | 128 KiB + 30 B | ±0.29% | ±0.57% | ±0,86% |
| 18 | 256 KiB + 30 B | ±0.20% | ±0.41% | ±0.61% |
| 19 | 512 KiB + 30 B | ±0.14% | ±0.29% | ±0,43% |
| 20 | 1024 KiB + 30 B | ±0,10% | ±0.20% | ±0,30% |
| 21 | 2048 KiB + 32 B | ±0.07% | ±0.14% | ± 0,22% |
| 22 | 4096 KiB + 32 B | ±0,05% | ±0,10% | ±0,15% |
| 23 | 8192 KiB + 32 B | ±0.04% | ±0.07% | ±0.11% |
| 24 | 16.384 KiB + 32 B | ±0.03% | ±0,05% | ±0,08% |
Puoi definire la precisione per uno schizzo HLL++ quando lo inizializzi con la funzione HLL_COUNT.INIT.
Non puoi eliminare i valori da uno schizzo in formato HLL++.
Per l'elenco delle funzioni che puoi utilizzare con gli schizzi HLL++, vedi Funzioni HLL++.
Funzioni di aggregazione approssimativa
In alternativa a funzioni HLL++, D3A o KLL specifiche per l'approssimazione basata su sketch, GoogleSQL fornisce funzioni aggregate approssimative predefinite. Queste funzioni aggregate approssimative supportano schizzi per stime comuni come conteggi distinti, quantili e conteggio superiore, ma non consentono una precisione personalizzata. Inoltre, non espongono e archiviano lo schizzo per la riaggregazione come altri tipi di schizzi. Le funzioni aggregate approssimative sono progettate per eseguire query rapide basate su schizzi senza configurazioni dettagliate.
Per l'elenco delle funzioni aggregate approssimative che puoi utilizzare con l'approssimazione basata su sketch, consulta Funzioni di aggregazione approssimative.