Introduzione alle query continue

Anteprima

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Nota: per registrarti all'anteprima continua delle query, compila il modulo di richiesta. Per inviare feedback o richiedere assistenza per questa funzionalità, contatta [e-mail].

Questo documento descrive le query continue di BigQuery.

Le query continue di BigQuery sono istruzioni SQL che eseguono senza interruzioni. Le query continue consentono di analizzare i dati in entrata BigQuery in tempo reale. Puoi inserire le righe di output prodotte tramite una query continua in una tabella BigQuery o esportarle in Pub/Sub o Bigtable. Le query continue possono elaborare dati è stato scritto in tabelle BigQuery standard utilizzando uno dei seguenti metodi:

• L'API BigQuery Storage Scrivi
• Il metodo tabledata.insertAll
• Caricamento in batch
• L'istruzione DML INSERT

Puoi utilizzare query continue per eseguire attività urgenti, ad esempio creando e agendo immediatamente sulla base di insight, applicando l'inferenza dell'apprendimento automatico (ML) e la replica dei dati in altre piattaforme. Questo consente di utilizzare BigQuery come servizio di elaborazione dati basato su eventi per la logica decisionale della tua applicazione.

Il seguente diagramma mostra i flussi di lavoro comuni per le query continue:

Casi d'uso

Di seguito sono riportati i casi d'uso comuni in cui potresti voler utilizzare query continue:

• Servizi di interazione con i clienti personalizzati: utilizza AI generativa per creare messaggi personalizzati e personalizzati per ogni interazione con il cliente.
• Rilevamento di anomalie: crea soluzioni che ti consentono di eseguire anomalie e minacce su dati complessi in tempo reale, per consentirti di reagire ai problemi in modo più rapidamente.
• Pipeline personalizzabili basate su eventi: utilizza l'integrazione continua delle query con Pub/Sub per attivare le applicazioni downstream in base alle richieste e i dati di Google Cloud.
• Arricchimento dei dati ed estrazione di entità: utilizza query continue per eseguire l'arricchimento e la trasformazione dei dati in tempo reale mediante funzioni SQL di machine learning.
• Inverti estrazione, trasformazione e caricamento (ETL): esegui l'ETL inverso in tempo reale in altri sistemi di archiviazione più adatti alla gestione delle applicazioni a bassa latenza. Ad esempio: analizzare o migliorare i dati sugli eventi scritti in BigQuery, per poi trasmetterli in flussi a Bigtable in fase di pubblicazione.

Operazioni supportate

Le seguenti operazioni sono supportate nelle query continue:

• Esecuzione Estratti conto INSERT per scrivere dati da una query continua in una tabella BigQuery.

• Esecuzione Estratti conto EXPORT DATA per pubblicare l'output delle query continue agli argomenti Pub/Sub. Per ulteriori informazioni, vedi Esportare i dati in Pub/Sub.

  Da un argomento Pub/Sub, puoi utilizzare i dati con altre come l'analisi dei flussi di dati con Dataflow, o l'uso dei dati in un flusso di lavoro di integrazione dell'applicazione.

• Esecuzione di istruzioni EXPORT DATA per esportare dati da BigQuery alle tabelle Bigtable. Per ulteriori informazioni, vedi Esportare i dati in Bigtable.

• Chiamare le seguenti funzioni di AI generativa:

  • ML.GENERATE_TEXT
  • ML.GENERATE_EMBEDDING

  Queste funzioni richiedono Modello remoto di BigQuery ML su un Modello Vertex AI.

• Chiamata alle seguenti funzioni di AI:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Queste funzioni richiedono Modello remoto di BigQuery ML su un'API IA Cloud.

• Normalizza i dati numerici utilizzando Funzione ML.NORMALIZER.

• Usare le funzioni GoogleSQL stateless, ad esempio funzioni di conversione. Nelle funzioni stateless, ogni riga viene elaborata in modo indipendente righe nella tabella.

• L'utilizzo del APPENDS funzione di cronologia delle modifiche per avviare l'elaborazione continua delle query da una in un momento specifico.

Autorizzazione

Per eseguire query continue a lunga esecuzione, utilizza un account di servizio invece che a un utente .

I token di accesso Google Cloud che vengono utilizzate quando l'esecuzione di job di query continue ha una durata (TTL) pari a due giorni in cui vengono generati da un account utente. Di conseguenza, questi job si interrompono in esecuzione dopo due giorni. I token di accesso generati dal servizio account non sono vincolati da un TTL, quindi i job di query continui eseguiti dell'account di servizio viene eseguito fino all'annullamento esplicito. Per ulteriori informazioni, vedi Esegui una query continua utilizzando un account di servizio.

Località

Le query continue sono supportate in US e EU più regioni.

Limitazioni

Le query continue sono soggette alle seguenti limitazioni:

• Le query continue di BigQuery non mantengono lo stato importati. Operazioni comuni che si basano sullo stato, ad esempio JOINs, funzioni di aggregazione e funzioni di analisi con finestre non sono al momento supportati.

• Non puoi utilizzare le seguenti funzionalità SQL in una query continua:

  • Funzioni scalari non deterministiche, ad esempio il Funzione CURRENT_DATE
  • JOIN operazioni
  • Funzioni di aggregazione
  • Funzioni di aggregazione approssimate

  • Le seguenti Clausole query:

    • GROUP BY
    • HAVING
    • ORDER BY
    • LIMIT

  • Le seguenti Operatori query:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Operatori del set di query

  • L'istruzione SELECT DISTINCT

  • EXISTS o NOT EXISTS sottoquery

  • CTE ricorrenti

  • Funzioni definite dall'utente

  • Funzioni di finestra

  • Funzioni di BigQuery ML diverse da quelle elencate in Operazioni supportate

  • Istruzioni DDL (Data Definition Language)

  • Istruzioni DML (Data Manipulation Language) tranne INSERT.

  • Istruzioni DCL (Data Control Language)

  • Istruzioni EXPORT DATA che non hanno come target Bigtable o Pub/Sub

  • Linguaggio procedurale

  • Debug delle istruzioni

• Le query continue non supportano tabelle con caratteri jolly come origine dati.

• Le query continue non supportano tabelle esterne come origine dati.

• Le query continue non supportano quanto segue funzionalità di sicurezza:

  • Column e sicurezza a livello di riga
  • Chiavi di crittografia gestite dal cliente (CMEK)

• Quando l'esportazione dei dati in Bigtable, puoi scegliere come target solo Istanze Bigtable che rientrano nelle stesse Confine regionale di Google Cloud come BigQuery contenente la tabella su cui stai eseguendo la query. Per ulteriori informazioni, consulta Considerazioni sulla località. Questa limitazione non si applica all'esportazione dei dati in Pub/Sub poiché Pub/Sub è una risorsa globale.

• Non puoi eseguire una query continua da un canvas di dati o un blocco note.

• Non puoi modificare il codice SQL utilizzato in una query continua di un job di query in esecuzione. Per ulteriori informazioni, vedi Modificare l'SQL di una query continua.

• Se il job di query continuo è in ritardo di oltre sette giorni, devi annulla e avvia un nuovo job di query continuo. Puoi eseguire nuovamente la query e utilizza APPENDS funzione di cronologia delle modifiche per riprendere l'elaborazione dal momento in cui hai arrestato il job di query continua precedente. Per ulteriori informazioni, vedi Avvia una query continua da un determinato momento.

Limitazioni delle prenotazioni

• Devi creare la versione Enterprise o Enterprise Plus prenotazioni delle versioni per poter eseguire per eseguire query continue. Le query continue non supportano il computing on demand modello di fatturazione.
• Quando crei un assegnazione della prenotazione per una query continua, la prenotazione associata è limitata a 500 slot o un valore inferiore e non può essere configurato per utilizzare scalabilità automatica.
• Un'assegnazione della prenotazione di query continua non condivide slot inattivi, anche se la prenotazione configurato a tal fine.
• Non puoi creare un'assegnazione di prenotazione che utilizza un altro tipo di lavoro nel stessa prenotazione di un'assegnazione di prenotazione continua di query.
• Non puoi configurare la contemporaneità delle query continue. BigQuery determina automaticamente il numero di query continue che possono contemporaneamente, in base alle assegnazioni di prenotazione disponibili che utilizzano CONTINUOUS tipo di prestazione.
• Quando esegui più query continue utilizzando la stessa prenotazione, i singoli job potrebbero non suddividere equamente le risorse disponibili, definita da Equità di BigQuery.

Prezzi

Le query continue utilizzano Prezzi di calcolo della capacità di BigQuery, che viene misurato in slot. Per eseguire query continue, è necessario avere un prenotazione che utilizza Versione Enterprise o Enterprise Plus, e un'assegnazione di prenotazione che utilizza il tipo di job CONTINUOUS.

Utilizzo di altre risorse BigQuery, come l'importazione dati e di archiviazione vengono addebitate alle tariffe indicate in Prezzi di BigQuery.

Utilizzo di altri servizi che ricevono risultati di query continui o che vengono chiamati durante l'elaborazione continua delle query vengono addebitate alle tariffe pubblicate per quelle i servizi di machine learning. Per i prezzi degli altri servizi Google Cloud utilizzati dalla gestione , consulta i seguenti argomenti:

• Prezzi di Bigtable
• Prezzi di Pub/Sub
• Prezzi di Vertex AI

Passaggi successivi

Prova a creare una query continua.