GoogleSQL per BigQuery supporta gli sketch di dati. Uno schizzo di dati è un breve riepilogo di un'aggregazione di dati. Acquisisce tutte le informazioni necessarie per estrarre un risultato di aggregazione, continuare un'aggregazione dei dati o unire un altro schizzo, consentendo la riaggregazione.
Il calcolo di una metrica mediante uno schizzo è molto meno costoso rispetto al calcolo un valore esatto. Se il calcolo è troppo lento o richiede troppo tempo archiviazione, usa gli schizzi per ridurre il tempo e le risorse delle query.
Inoltre, l'elaborazione di cardinali, come il numero di utenti distinti, o di quantili, come la durata media della visita, senza gli sketch è in genere possibile solo eseguendo job sui dati non elaborati, perché i dati già aggregati non possono più essere combinati.
Considera una tabella con i seguenti dati:
| Prodotto | Numero di utenti | Durata mediana delle visite |
|---|---|---|
| Prodotto A | 500 milioni | 10 minuti |
| Prodotto B | 20 milioni | 2 minuti |
Non è possibile calcolare il numero totale di utenti per entrambi i prodotti perché non sappiamo quanti utenti hanno utilizzato entrambi i prodotti nella tabella.
Una soluzione è archiviare gli schizzi nella tabella. Ogni sketch è una rappresentazione approssimativa e compatta di una determinata proprietà di input, ad esempio la cardinalità, che puoi memorizzare, unire (o aggregare di nuovo) ed eseguire query per ottenere risultati quasi esatti. Nell'esempio precedente, puoi stimare il numero di utenti distinti per il Prodotto A e il Prodotto B mediante la creazione e l'unione (riaggregando) i disegni di ciascun prodotto. Puoi anche stimare il valore medio della visita con schizzi dei quantili che puoi unire ed eseguire query allo stesso modo.
Poiché uno schizzo ha una compressione con perdita di dati dei dati originali, introduce una errore statistico rappresentato da un limite di errore o da un intervallo di confidenza (CI). Per la maggior parte delle applicazioni, questa incertezza è minima. Ad esempio, uno sketch tipico per il conteggio della cardinalità ha un errore relativo di circa l'1% nel 95% dei casi. Uno schizzo scambia un po' di accuratezza, o precisione, a un prezzo più rapido e meno di costosi calcoli e meno spazio di archiviazione.
In sintesi, uno schizzo ha le seguenti proprietà principali:
- Rappresenta un aggregato approssimativo per una metrica specifica
- È compatto
- È una forma serializzata di una struttura di dati sublineare in memoria
- In genere è una dimensione fissa e asintoticamente più piccola rispetto all'input
- Può introdurre un errore statistico che puoi determinare con un livello di precisione
- Può essere unito ad altri schizzi per riassumere l'unione della base set di dati
Riaggregazione con unione degli schizzi
Gli schizzi ti consentono di archiviare e unire i dati per una riaggregazione efficiente. Questo rende gli schizzi particolarmente utili per le viste materializzate dei set di dati. Puoi unire gli schizzi per creare un riepilogo di più stream di dati in base a schizzi parziali creati per ogni stream.
Ad esempio, se crei uno schizzo per il numero stimato di utenti distinti ogni giorno, puoi ottenere il numero di utenti distinti nel corso degli ultimi sette giorni unendo schizzi quotidiani. Riaggregare gli schizzi giornalieri uniti evitare di leggere l'input completo del set di dati.
La ricoaggregazione degli sketch è utile anche nell'elaborazione analitica online (OLAP). Puoi unire gli sketch per creare un aggregato di un cubo OLAP, in cui lo sketch riassume i dati in base a una o più dimensioni specifiche del cubo. I raggruppamenti OLAP non sono possibili con conteggi distinti veri.
Integrazione di Sketch
Puoi integrare gli schizzi con altri sistemi. Ad esempio, puoi creare disegni in applicazioni esterne, come Dataflow o Apache Spark e utilizzarli in GoogleSQL o viceversa e viceversa.
Oltre a GoogleSQL, puoi utilizzare gli sketch con i seguenti linguaggi di programmazione:
- C++
- Vai
- Java
- Python
Stimare la cardinalità senza eliminazioni
Se devi stimare la cardinalità e non hai bisogno di eliminare elementi dallo schizzo, utilizza uno schizzo HLL++.
Ad esempio, per ottenere il numero di utenti unici che hanno utilizzato attivamente un prodotto in una un dato mese (metriche MAU o 28DAU), usa uno schizzo HLL++.
Schizzi HLL++
HyperLogLog++ (HLL++) è un algoritmo di disegno per stimare la cardinalità. HLL++ si basa sul documento HyperLogLog in Practice, dove il simbolo ++ indica le modifiche apportate all'algoritmo HyperLogLog.
La cardinalità è il numero di elementi distinti nella per uno schizzo. Ad esempio, puoi utilizzare uno schizzo HLL++ per ottenere il numero di utenti unici che hanno aperto un'applicazione.
HLL++ stima cardinalità molto piccole e molto grandi. HLL++ include un parametro Funzione hash a 64 bit, rappresentazione sparsa per ridurre i requisiti di memoria per stime di cardinalità ridotte e la correzione empirica dei bias per stime di cardinalità ridotte.
Precisione
Gli sketch HLL++ supportano la precisione personalizzata. La tabella seguente mostra le valori di precisione, la dimensione massima dello spazio di archiviazione e l'intervallo di confidenza livelli di precisione tipici:
| Precisione | Dimensione massima dello spazio di archiviazione | IC 65% | CI 95% | CI 99% |
|---|---|---|---|---|
| 10 | 1 KiB + 28 B | ±3,25% | ±6,50% | ±9,75% |
| 11 | 2 KiB + 28 B | ±2,30% | ±4,60% | ±6,89% |
| 12 | 4 KiB + 28 B | ±1,63% | ±3,25% | ±4,88% |
| 13 | 8 KiB + 28 B | ±1,15% | ±2,30% | ±3,45% |
| 14 | 16 KiB + 30 B | ±0,81% | ±1,63% | ±2,44% |
| 15 (valore predefinito) | 32 KiB + 30 B | ±0,57% | ±1,15% | ±1,72% |
| 16 | 64 KiB + 30 B | ±0,41% | ±0,81% | ±1,22% |
| 17 | 128 KiB + 30 B | ±0,29% | ±0,57% | ±0,86% |
| 18 | 256 KiB + 30 B | ±0,20% | ±0,41% | ±0,61% |
| 19 | 512 KiB + 30 B | ±0,14% | ±0,29% | ±0,43% |
| 20 | 1024 KiB + 30 B | ±0,10% | ±0,20% | ±0,30% |
| 21 | 2048 KiB + 32 B | ±0,07% | ±0,14% | ±0,22% |
| 22 | 4096 KiB + 32 B | ±0,05% | ±0,10% | ±0,15% |
| 23 | 8192 KiB + 32 B | ±0,04% | ±0,07% | ±0,11% |
| 24 | 16384 KiB + 32 B | ±0,03% | ±0,05% | ±0,08% |
Puoi definire la precisione di uno schizzo HLL++ quando lo inizializza con il comando
HLL_COUNT.INIT.
Eliminazione
Non puoi eliminare i valori da uno schizzo HLL++.
Ulteriori dettagli
Per un elenco delle funzioni che puoi utilizzare con gli sketch HLL++, consulta Funzioni HLL++.
Funzioni di aggregazione approssimativa
In alternativa alle funzioni di approssimazione specifiche basate su schizzi, GoogleSQL fornisce dati aggregati approssimativi funzioni. Queste funzioni aggregate approssimative supportano gli schizzi per come conteggio distinto, quantili e conteggio superiore, ma per consentire una precisione personalizzata. Inoltre, non espongono e non memorizzano lo sketch per la reaggregazione come altri tipi di sketch. Le funzioni di aggregazione approssimate è progettato per eseguire rapidamente query basate su schizzi senza configurazione.
Per un elenco delle funzioni di aggregazione approssimativa che puoi utilizzare con l'approssimazione basata su schizzi, consulta Funzioni di aggregazione approssimativa.