Introduzione alle query continue

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Nota: per registrarti all'anteprima delle query continue, compila il modulo di richiesta. Per inviare un feedback o richiedere assistenza per questa funzionalità, contatta [e-mail].

Questo documento descrive le query continue di BigQuery.

Le query continue di BigQuery sono istruzioni SQL che eseguono senza interruzioni. Le query continue ti consentono di analizzare i dati in entrata in BigQuery in tempo reale. Puoi inserire le righe di output prodotte da una query continua in una tabella BigQuery o esportarle in Pub/Sub o Bigtable. Le query continue possono elaborare dati è stato scritto in tabelle BigQuery standard utilizzando uno dei seguenti metodi:

• L'API BigQuery Storage Write
• Il metodo tabledata.insertAll
• Caricamento in batch
• L'istruzione DML INSERT

Puoi utilizzare le query continue per eseguire attività urgenti, ad esempio creare insight e intervenire immediatamente in base a questi, applicare l'inferenza di machine learning (ML) in tempo reale e replicare i dati in altre piattaforme. In questo modo, puoi utilizzare BigQuery come motore di elaborazione dei dati basato su eventi per la logica decisionale della tua applicazione.

Il seguente diagramma mostra i flussi di lavoro comuni per le query continue:

Casi d'uso

Di seguito sono riportati alcuni casi d'uso comuni in cui potresti voler utilizzare le query continue:

• Servizi di interazione con i clienti personalizzati: utilizza l'IA generativa per creare messaggi personalizzati per ogni interazione con i clienti.
• Rilevamento di anomalie: crea soluzioni che ti consentono di eseguire anomalie e minacce su dati complessi in tempo reale, per consentirti di reagire ai problemi in modo più rapidamente.
• Pipeline personalizzabili basate su eventi: utilizza l'integrazione continua delle query con Pub/Sub per attivare le applicazioni downstream in base alle richieste e i dati di Google Cloud.
• Arricchimento dei dati ed estrazione di entità: utilizza le query continue per eseguire l'arricchimento e la trasformazione dei dati in tempo reale utilizzando funzioni SQL e modelli ML.
• Inverti estrazione, trasformazione e caricamento (ETL): esegui l'ETL inverso in tempo reale in altri sistemi di archiviazione più adatti alla gestione delle applicazioni a bassa latenza. Ad esempio: analizzare o migliorare i dati sugli eventi scritti in BigQuery, per poi trasmetterli in flussi a Bigtable in fase di pubblicazione.

Operazioni supportate

Le seguenti operazioni sono supportate nelle query continue:

• Esecuzione Estratti conto INSERT per scrivere dati da una query continua in una tabella BigQuery.

• Esegui EXPORT DATA statement per pubblicare l'output delle query continue negli argomenti Pub/Sub. Per maggiori informazioni, consulta Esportare i dati in Pub/Sub.

  Da un argomento Pub/Sub, puoi utilizzare i dati con altre come l'analisi dei flussi di dati con Dataflow, o l'uso dei dati in un flusso di lavoro di integrazione dell'applicazione.

• Esegui istruzioni EXPORT DATA per esportare i dati da BigQuery nelle tabelle Bigtable. Per ulteriori informazioni, vedi Esportare i dati in Bigtable.

• Chiamata alle seguenti funzioni di AI generativa:

  • ML.GENERATE_TEXT
  • ML.GENERATE_EMBEDDING

  Queste funzioni richiedono un modello remoto BigQuery ML su un modello Vertex AI.

• Chiamata delle seguenti funzioni di IA:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Queste funzioni richiedono un modello BigQuery ML remoto su un'API Cloud AI.

• Normalizzazione dei dati numerici mediante la funzione ML.NORMALIZER.

• Usare le funzioni GoogleSQL stateless, ad esempio funzioni di conversione. Nelle funzioni stateless, ogni riga viene elaborata in modo indipendente righe nella tabella.

• L'utilizzo del APPENDS funzione di cronologia delle modifiche per avviare l'elaborazione continua delle query da una in un momento specifico.

Autorizzazione

Per eseguire query continue a lunga esecuzione, utilizza un account di servizio invece che a un utente .

I token di accesso Google Cloud utilizzati quando vengono eseguiti job di query continue hanno un TTL (time to live) di due giorni quando vengono generati da un account utente. Di conseguenza, questi job vengono interrotti dopo due giorni. I token di accesso generati dal servizio account non sono vincolati da un TTL, quindi i job di query continui eseguiti dell'account di servizio eseguito fino all'annullamento esplicito. Per ulteriori informazioni, vedi Esegui una query continua utilizzando un account di servizio.

Località

Le query continue sono supportate nelle seguenti località:

• US
• EU
• asia-northeast1
• asia-south1
• europe-west1
• europe-west2
• europe-west4
• us-central1
• us-east1
• us-east4
• us-west1

Limitazioni

Le query continue sono soggette alle seguenti limitazioni:

• Le query continue di BigQuery non mantengono lo stato importati. Operazioni comuni che si basano sullo stato, ad esempio JOINs, funzioni di aggregazione e funzioni di analisi con finestre non sono al momento supportati.

• Non puoi utilizzare le seguenti funzionalità SQL in una query continua:

  • Funzioni scalari non deterministiche, ad esempio il Funzione CURRENT_DATE
  • Operazioni JOIN
  • Funzioni di aggregazione
  • Funzioni di aggregazione approssimativa

  • Le seguenti Clausole query:

    • GROUP BY
    • HAVING
    • ORDER BY
    • LIMIT

  • Le seguenti Operatori query:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Operatori set delle query

  • L'istruzione SELECT DISTINCT

  • EXISTS o NOT EXISTS sottoquery

  • CTE ricorrenti

  • Funzioni definite dall'utente

  • Funzioni con finestre

  • Funzioni di BigQuery ML diverse da quelle elencate in Operazioni supportate

  • Istruzioni DDL (Data Definition Language)

  • Istruzioni DML (Data Manipulation Language) ad eccezione di INSERT.

  • Istruzioni del linguaggio di controllo dei dati (DCL)

  • Istruzioni EXPORT DATA che non hanno come target Bigtable o Pub/Sub

  • Lingua procedurale

  • Debug delle istruzioni

• Le query continue non supportano tabelle con caratteri jolly come origine dati.

• Le query continue non supportano le tabelle esterne come origine dati.

• Le query continue non supportano quanto segue funzionalità di sicurezza:

  • Sicurezza a livello di colonna e riga
  • Visualizzazioni autorizzate o routine autorizzate
  • Chiavi di crittografia gestite dal cliente (CMEK)
  • Funzioni di crittografia AEAD

• Quando l'esportazione dei dati in Bigtable, puoi scegliere come target solo Istanze Bigtable che rientrano nelle stesse Confine regionale di Google Cloud come BigQuery contenente la tabella su cui stai eseguendo la query. Per ulteriori informazioni, consulta Considerazioni sulla località. Questa limitazione non si applica all'esportazione dei dati in Pub/Sub poiché Pub/Sub è una risorsa globale.

• Non puoi eseguire una query continua da un canvas di dati.

• Non puoi modificare il codice SQL utilizzato in una query continua di un job di query in esecuzione. Per ulteriori informazioni, consulta Modificare il codice SQL di una query continua.

• Se il job di query continuo è in ritardo di oltre sette giorni, devi annulla e avvia un nuovo job di query continuo. Puoi eseguire nuovamente la query e utilizza APPENDS funzione di cronologia delle modifiche per riprendere l'elaborazione dal momento in cui hai arrestato il job di query continua precedente. Per ulteriori informazioni, vedi Avvia una query continua da un determinato momento.

Limitazioni delle prenotazioni

• Per eseguire query continue, devi creare prenotazioni della versione Enterprise o Enterprise Plus. Le query continue non supportano il computing on demand modello di fatturazione.
• Quando crei un assegnazione della prenotazione per una query continua, la prenotazione associata è limitata a 500 slot o meno e non può essere configurata per l'utilizzo della scalabilità automatica.
• Un'assegnazione della prenotazione di query continua non condivide slot inattivi, anche se la prenotazione configurato a tal fine.
• Non puoi creare un'assegnazione di prenotazione che utilizza un altro tipo di lavoro nel stessa prenotazione di un'assegnazione di prenotazione continua di query.
• Non puoi configurare la concorrenza delle query continue. BigQuery determina automaticamente il numero di query continue che possono essere eseguite contemporaneamente in base alle assegnazioni di prenotazione disponibili che utilizzano il tipo di job CONTINUOUS.
• Quando esegui più query continue utilizzando la stessa prenotazione, i singoli job potrebbero non suddividere equamente le risorse disponibili, come definito dall'equità di BigQuery.

Prezzi

Le query continue utilizzano Prezzi di calcolo della capacità di BigQuery, che viene misurato in slot. Per eseguire query continue, devi disporre di una prenotazione che utilizzi la versione Enterprise o Enterprise Plus, e di un'assegnazione della prenotazione che utilizzi il tipo di job CONTINUOUS.

Utilizzo di altre risorse BigQuery, come l'importazione dati e di archiviazione vengono addebitate alle tariffe indicate in Prezzi di BigQuery.

L'utilizzo di altri servizi che ricevono risultati di query continue o che vengono chiamati durante l'elaborazione delle query continue viene addebitato alle tariffe pubblicate per questi servizi. Per i prezzi di altri servizi Google Cloud utilizzati dalle query continue, consulta i seguenti argomenti:

• Prezzi di Bigtable
• Prezzi di Pub/Sub
• Prezzi di Vertex AI

Passaggi successivi

Prova a creare una query continua.