Unione dei flussi di dati con Dataflow SQL

---

Attenzione:Dataflow SQL è deprecato. A partire dal 31 luglio 2024, non è più possibile accedere a Dataflow SQL nella console Google Cloud. A partire dal 31 gennaio 2025, non puoi più utilizzare Dataflow SQL in Google Cloud CLI. Per informazioni sui metodi alternativi per la creazione di query SQL con Dataflow, consulta Beam SQL e beam_sql magico.

Questo tutorial mostra come utilizzare Dataflow SQL per unire un flusso di dati da Pub/Sub ai dati di una tabella BigQuery.

Obiettivi

In questo tutorial imparerai a:

• Scrivi una query SQL Dataflow che unisce i flussi di dati Pub/Sub ai dati della tabella BigQuery.
• Esegui il deployment di un job Dataflow dall'interfaccia utente di Dataflow SQL.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Dataflow
• Cloud Storage
• Pub/Sub
• Data Catalog

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Abilita le API Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. .

   Abilita le API

5. Create a service account:

   1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
   2. Select your project.

   3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

   4. Click Create and continue.

   5. Grant the Project > Owner role to the service account.

      To grant the role, find the Select a role list, then select Project > Owner.

      Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   6. Click Continue.

   7. Click Done to finish creating the service account.

      Do not close your browser window. You will use it in the next step.

6. Create a service account key:

   1. In the Google Cloud console, click the email address for the service account that you created.
   2. Click Keys.
   3. Click Add key, and then click Create new key.
   4. Click Create. A JSON key file is downloaded to your computer.
   5. Click Close.

7. Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON che contiene le tue credenziali. Questa variabile si applica solo alla sessione di shell attuale. Pertanto, se apri una nuova sessione, imposta di nuovo la variabile.

   Esempio: Linux o macOS

   export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

   Ad esempio:

   export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

   Esempio: Windows

   Per PowerShell:

   $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

   Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

   Ad esempio:

   $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

   Per il prompt dei comandi:

   set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

   Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

9. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

10. Abilita le API Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. .

    Abilita le API

11. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

       Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

       In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the Project > Owner role to the service account.

       To grant the role, find the Select a role list, then select Project > Owner.

       Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
    6. Click Continue.

    7. Click Done to finish creating the service account.

       Do not close your browser window. You will use it in the next step.

12. Create a service account key:

    1. In the Google Cloud console, click the email address for the service account that you created.
    2. Click Keys.
    3. Click Add key, and then click Create new key.
    4. Click Create. A JSON key file is downloaded to your computer.
    5. Click Close.

13. Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON che contiene le tue credenziali. Questa variabile si applica solo alla sessione di shell attuale. Pertanto, se apri una nuova sessione, imposta di nuovo la variabile.

    Esempio: Linux o macOS

    export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

    Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

    Ad esempio:

    export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

    Esempio: Windows

    Per PowerShell:

    $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

    Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

    Ad esempio:

    $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

    Per il prompt dei comandi:

    set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

    Sostituisci KEY_PATH con il percorso del file JSON che contiene le tue credenziali.

14. Installare e inizializzare gcloud CLI. Scegli una delle opzioni di installazione. Potresti dover impostare la proprietà project sul progetto che stai utilizzando per questa procedura dettagliata.
15. Vai all'interfaccia utente web di Dataflow SQL nella console Google Cloud. Viene aperto il progetto a cui hai eseguito l'accesso più di recente. Per passare a un altro progetto, fai clic sul nome del progetto in alto nell'interfaccia utente web di Dataflow SQL e cerca il progetto che vuoi utilizzare.
    Vai all'interfaccia utente web di Dataflow SQL
    

Crea origini di esempio

Se vuoi seguire l'esempio fornito in questo tutorial, crea le seguenti origini e utilizzale nei passaggi del tutorial.

• Un argomento Pub/Sub denominato transactions: un flusso di dati sulle transazioni che arrivano tramite una sottoscrizione all'argomento Pub/Sub. I dati di ogni transazione includono informazioni come il prodotto acquistato, il prezzo scontato, nonché la città e lo stato in cui è avvenuto l'acquisto. Dopo aver creato l'argomento Pub/Sub, puoi creare uno script che pubblica messaggi nel tuo argomento. Eseguirai questo script in una sezione successiva di questo tutorial.
• Tabella BigQuery denominata us_state_salesregions: una tabella che fornisce una mappatura degli stati alle regioni di vendita. Prima di creare questa tabella, devi creare un set di dati BigQuery.

Crea un argomento Pub/Sub e uno script del publisher

1. Utilizza Google Cloud CLI per creare il tuo argomento Pub/Sub. Assegna all'argomento il nome transactions.

   gcloud pubsub topics create transactions

2. Crea uno script Python che pubblichi messaggi nel tuo argomento Pub/Sub. Se non hai installato Python, devi installare Python. Eseguirai questo script in una finestra della riga di comando subito prima di eseguire la query SQL.
   1. Crea un file di testo e assegnagli il nome transactions_injector.py.
   2. Copia e incolla il seguente codice in transactions_injector.py. Sostituisci project-id con il tuo ID progetto.

      #!/usr/bin/env python
      
      import datetime, json, os, random, time
      
      # Set the `project` variable to a Google Cloud project ID.
      project = 'project-id'
      
      FIRST_NAMES = ['Monet', 'Julia', 'Angelique', 'Stephane', 'Allan', 'Ulrike', 'Vella', 'Melia',
          'Noel', 'Terrence', 'Leigh', 'Rubin', 'Tanja', 'Shirlene', 'Deidre', 'Dorthy', 'Leighann',
          'Mamie', 'Gabriella', 'Tanika', 'Kennith', 'Merilyn', 'Tonda', 'Adolfo', 'Von', 'Agnus',
          'Kieth', 'Lisette', 'Hui', 'Lilliana',]
      CITIES = ['Washington', 'Springfield', 'Franklin', 'Greenville', 'Bristol', 'Fairview', 'Salem',
          'Madison', 'Georgetown', 'Arlington', 'Ashland',]
      STATES = ['MO','SC','IN','CA','IA','DE','ID','AK','NE','VA','PR','IL','ND','OK','VT','DC','CO','MS',
          'CT','ME','MN','NV','HI','MT','PA','SD','WA','NJ','NC','WV','AL','AR','FL','NM','KY','GA','MA',
          'KS','VI','MI','UT','AZ','WI','RI','NY','TN','OH','TX','AS','MD','OR','MP','LA','WY','GU','NH']
      PRODUCTS = ['Product 2', 'Product 2 XL', 'Product 3', 'Product 3 XL', 'Product 4', 'Product 4 XL', 'Product 5',
          'Product 5 XL',]
      
      while True:
        first_name, last_name = random.sample(FIRST_NAMES, 2)
        data = {
          'tr_time_str': datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
          'first_name': first_name,
          'last_name': last_name,
          'city': random.choice(CITIES),
          'state':random.choice(STATES),
          'product': random.choice(PRODUCTS),
          'amount': float(random.randrange(50000, 70000)) / 100,
        }
      
        # For a more complete example on how to publish messages in Pub/Sub.
        #   https://cloud.google.com/pubsub/docs/publisher
        message = json.dumps(data)
        command = "gcloud --project={} pubsub topics publish transactions --message='{}'".format(project, message)
        print(command)
        os.system(command)
        time.sleep(random.randrange(1, 5))
      

Creare un set di dati e una tabella BigQuery

1. Nella UI web di BigQuery, crea un set di dati BigQuery. Un set di dati BigQuery è un container di primo livello utilizzato per contenere le tabelle. Le tabelle BigQuery devono appartenere a un set di dati.
   1. Nel riquadro Explorer, apri le azioni relative al progetto. Nel menu, fai clic su Crea set di dati. Nello screenshot seguente, l'ID progetto è dataflow-sql.

      

   2. Nel riquadro Crea set di dati che si apre, inserisci dataflow_sql_tutorial in ID set di dati.
   3. Per Località dei dati, seleziona un'opzione dal menu.
   4. Fai clic su Crea set di dati.

      

2. Creare una tabella BigQuery.
   1. Crea un file di testo e assegnagli il nome us_state_salesregions.csv.
   2. Copia e incolla i seguenti dati in us_state_salesregions.csv. Nei passaggi successivi, caricherai questi dati nella tabella BigQuery.

      state_id,state_code,state_name,sales_region
      1,MO,Missouri,Region_1
      2,SC,South Carolina,Region_1
      3,IN,Indiana,Region_1
      6,DE,Delaware,Region_2
      15,VT,Vermont,Region_2
      16,DC,District of Columbia,Region_2
      19,CT,Connecticut,Region_2
      20,ME,Maine,Region_2
      35,PA,Pennsylvania,Region_2
      38,NJ,New Jersey,Region_2
      47,MA,Massachusetts,Region_2
      54,RI,Rhode Island,Region_2
      55,NY,New York,Region_2
      60,MD,Maryland,Region_2
      66,NH,New Hampshire,Region_2
      4,CA,California,Region_3
      8,AK,Alaska,Region_3
      37,WA,Washington,Region_3
      61,OR,Oregon,Region_3
      33,HI,Hawaii,Region_4
      59,AS,American Samoa,Region_4
      65,GU,Guam,Region_4
      5,IA,Iowa,Region_5
      32,NV,Nevada,Region_5
      11,PR,Puerto Rico,Region_6
      17,CO,Colorado,Region_6
      18,MS,Mississippi,Region_6
      41,AL,Alabama,Region_6
      42,AR,Arkansas,Region_6
      43,FL,Florida,Region_6
      44,NM,New Mexico,Region_6
      46,GA,Georgia,Region_6
      48,KS,Kansas,Region_6
      52,AZ,Arizona,Region_6
      56,TN,Tennessee,Region_6
      58,TX,Texas,Region_6
      63,LA,Louisiana,Region_6
      7,ID,Idaho,Region_7
      12,IL,Illinois,Region_7
      13,ND,North Dakota,Region_7
      31,MN,Minnesota,Region_7
      34,MT,Montana,Region_7
      36,SD,South Dakota,Region_7
      50,MI,Michigan,Region_7
      51,UT,Utah,Region_7
      64,WY,Wyoming,Region_7
      9,NE,Nebraska,Region_8
      10,VA,Virginia,Region_8
      14,OK,Oklahoma,Region_8
      39,NC,North Carolina,Region_8
      40,WV,West Virginia,Region_8
      45,KY,Kentucky,Region_8
      53,WI,Wisconsin,Region_8
      57,OH,Ohio,Region_8
      49,VI,United States Virgin Islands,Region_9
      62,MP,Commonwealth of the Northern Mariana Islands,Region_9
      

   3. Nel riquadro Explorer della UI di BigQuery, espandi il progetto per visualizzare il set di dati dataflow_sql_tutorial.
   4. Apri il menu Azioni per il set di dati dataflow_sql_tutorial e fai clic su Apri.
   5. Fai clic su Crea tabella.

      

   6. Nel riquadro Crea tabella che si apre:
      1. Per Crea tabella da, seleziona Carica.

         

      2. In Seleziona file, fai clic su Sfoglia e scegli il file us_state_salesregions.csv.
      3. In Tabella, inserisci us_state_salesregions.
      4. In Schema, seleziona Rilevamento automatico.
      5. Fai clic su Opzioni avanzate per espandere la sezione Opzioni avanzate.
      6. Per Righe di intestazione da saltare, inserisci 1 e fai clic su Crea tabella.

         

   7. Nel riquadro Explorer, fai clic su us_state_salesregions. In Schema puoi visualizzare lo schema generato automaticamente. In Anteprima, puoi visualizzare i dati della tabella.

      

Assegna uno schema all'argomento Pub/Sub

L'assegnazione di uno schema consente di eseguire query SQL sui dati dell'argomento Pub/Sub. Attualmente, Dataflow SQL prevede che i messaggi in argomenti Pub/Sub vengano serializzati in formato JSON.

Per assegnare uno schema all'argomento Pub/Sub di esempio transactions:

1. Crea un file di testo e assegnagli il nome transactions_schema.yaml. Copia e incolla il seguente testo dello schema in transactions_schema.yaml.

     - column: event_timestamp
       description: Pub/Sub event timestamp
       mode: REQUIRED
       type: TIMESTAMP
     - column: tr_time_str
       description: Transaction time string
       mode: NULLABLE
       type: STRING
     - column: first_name
       description: First name
       mode: NULLABLE
       type: STRING
     - column: last_name
       description: Last name
       mode: NULLABLE
       type: STRING
     - column: city
       description: City
       mode: NULLABLE
       type: STRING
     - column: state
       description: State
       mode: NULLABLE
       type: STRING
     - column: product
       description: Product
       mode: NULLABLE
       type: STRING
     - column: amount
       description: Amount of transaction
       mode: NULLABLE
       type: FLOAT
   

2. Assegna lo schema utilizzando Google Cloud CLI.

   a. Aggiorna gcloud CLI con il seguente comando. Assicurati che la versione gcloud CLId sia 242.0.0 o successiva.

     gcloud components update
   

   b. Esegui questo comando seguente in una finestra della riga di comando. Sostituisci project-id con l'ID progetto e path-to-file con il percorso del file transactions_schema.yaml.

     gcloud data-catalog entries update \
       --lookup-entry='pubsub.topic.`project-id`.transactions' \
       --schema-from-file=path-to-file/transactions_schema.yaml
   

   Per ulteriori informazioni sui parametri del comando e sui formati di file di schema consentiti, consulta la pagina della documentazione relativa al aggiornamento delle voci di gcloud data-catalog.

   Nota: devi utilizzare ` per evitare i caratteri speciali nell'ID progetto.

   c. Verifica che lo schema sia stato assegnato all'argomento Pub/Sub transactions. Sostituisci project-id con il tuo ID progetto.

     gcloud data-catalog entries lookup 'pubsub.topic.`project-id`.transactions'
   

Trova origini Pub/Sub

La UI di Dataflow SQL offre un modo per trovare gli oggetti dell'origine dati Pub/Sub per qualsiasi progetto a cui hai accesso, in modo da non dover ricordare il nome completo.

Per l'esempio in questo tutorial, accedi all'editor SQL di Dataflow e cerca l'argomento Pub/Sub transactions che hai creato:

1. Vai all'area di lavoro SQL.

2. Nel riquadro Editor SQL Dataflow, cerca projectid=project-id transactions nella barra di ricerca. Sostituisci project-id con il tuo ID progetto.

   

Visualizza lo schema

1. Nel riquadro Editor SQL Dataflow dell'interfaccia utente SQL di Dataflow, fai clic su transactions o cerca un argomento Pub/Sub digitando projectid=project-id system=cloud_pubsub e seleziona l'argomento.

2. In Schema, puoi visualizzare lo schema assegnato all'argomento Pub/Sub.

   

Crea una query SQL

L'interfaccia utente SQL di Dataflow consente di creare query SQL per eseguire i job Dataflow.

La seguente query SQL è una query di arricchimento dei dati. Aggiunge un altro campo, sales_region, al flusso di eventi Pub/Sub (transactions), utilizzando una tabella BigQuery (us_state_salesregions) che mappa gli stati alle regioni di vendita.

Copia e incolla questa query SQL in Editor query. Sostituisci project-id con il tuo ID progetto.

SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
  INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
  ON tr.state = sr.state_code

Quando inserisci una query nell'interfaccia utente di Dataflow SQL, lo validator delle query verifica la sintassi della query. Se la query è valida, viene visualizzata un'icona con un segno di spunta verde. Se la query non è valida, viene visualizzata un'icona rossa con punto esclamativo. Se la sintassi della query non è valida, facendo clic sull'icona dello validator vengono fornite informazioni sugli aspetti da correggere.

Il seguente screenshot mostra la query valida nell'Editor di query. Lo strumento di convalida mostra un segno di spunta verde.

Crea un job Dataflow per eseguire la query SQL

Se hai creato origini di esempio: prima di eseguire la query SQL, esegui lo script transactions_injector.py Python in una finestra della riga di comando. Lo script pubblica periodicamente messaggi nell'argomento Pub/Sub transactions e continua a pubblicare messaggi nell'argomento finché non interrompi lo script.

python transactions_injector.py

Per eseguire la query SQL, crea un job Dataflow dall'interfaccia utente SQL di Dataflow.

1. In Editor di query, fai clic su Crea job.

2. Nel riquadro Crea job Dataflow che si apre:

   • Per Destinazione, seleziona BigQuery.
   • In ID set di dati, seleziona dataflow_sql_tutorial.
   • In Nome tabella, inserisci sales.

   

3. (Facoltativo) Dataflow sceglie automaticamente le impostazioni ottimali per il job SQL Dataflow, ma puoi espandere il menu Parametri facoltativi per specificare manualmente le seguenti opzioni della pipeline:

   • Numero massimo di worker
   • Zona
   • Email dell'account di servizio
   • Tipo di macchina
   • Esperimenti aggiuntivi
   • Configurazione dell'indirizzo IP del worker
   • Rete
   • Subnet

4. Fai clic su Crea. L'esecuzione del job Dataflow richiede qualche minuto.

Visualizza il job di Dataflow

Dataflow trasforma la tua query SQL in una pipeline Apache Beam. Fai clic su Visualizza job per aprire la UI web di Dataflow, dove puoi vedere una rappresentazione grafica della pipeline.

Per vedere un'analisi dettagliata delle trasformazioni che avvengono nella pipeline, fai clic sulle caselle. Ad esempio, se fai clic sulla prima casella nella rappresentazione grafica, etichettata come Esegui query SQL, viene visualizzata un'immagine che mostra le operazioni in corso.

Le prime due caselle rappresentano i due input che hai unito: l'argomento Pub/Sub transactions e la tabella BigQuery, us_state_salesregions.

Per visualizzare la tabella di output che contiene i risultati del job, vai alla UI di BigQuery. Nel riquadro di esplorazione del progetto fai clic sul set di dati dataflow_sql_tutorial che hai creato. Quindi, fai clic sulla tabella di output, sales. La scheda Anteprima mostra i contenuti della tabella di output.

Nota: la tabella delle vendite non è disponibile immediatamente. Deve essere generata prima la tabella di output.

Visualizza le offerte di lavoro precedenti e modifica le query

L'interfaccia utente di Dataflow archivia le query e i job precedenti nella pagina Job di Dataflow.

Puoi utilizzare l'elenco della cronologia dei job per visualizzare le query SQL precedenti. Ad esempio, vuoi modificare la query per aggregare le vendite per regione di vendita ogni 15 secondi. Utilizza la pagina Job per accedere al job in esecuzione avviato in precedenza nel tutorial, copia la query SQL ed esegui un altro job con una query modificata.

1. Nella pagina Job di Dataflow, fai clic sul job che vuoi modificare.

2. Nella pagina Dettagli job, nel riquadro Informazioni job, in Opzioni pipeline, individua la query SQL. Trova la riga relativa a queryString.

   

3. Copia e incolla la seguente query SQL nell'Editor SQL Dataflow nell'area di lavoro SQL per aggiungere finestre a scorrimento. Sostituisci project-id con il tuo ID progetto.

    SELECT
      sr.sales_region,
      TUMBLE_START("INTERVAL 15 SECOND") AS period_start,
      SUM(tr.amount) as amount
    FROM pubsub.topic.`project-id`.transactions AS tr
      INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
      ON tr.state = sr.state_code
    GROUP BY
      sr.sales_region,
      TUMBLE(tr.event_timestamp, "INTERVAL 15 SECOND")
   

4. Fai clic su Crea job per creare un nuovo job con la query modificata.

Esegui la pulizia

Per evitare che al tuo account di fatturazione Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial:

1. Interrompi lo script di pubblicazione di transactions_injector.py se è ancora in esecuzione.

2. Arresta i job Dataflow in esecuzione. Vai alla UI web di Dataflow nella console Google Cloud.

   Vai all'interfaccia utente web di Dataflow

   Per ogni job creato dopo aver seguito questa procedura dettagliata, segui questi passaggi:

   1. Fai clic sul nome del job.

   2. Nella pagina Dettagli job, fai clic su Arresta. Viene visualizzata la finestra di dialogo Arresta job con le opzioni per l'interruzione del job.

   3. Seleziona Annulla.

   4. Fai clic su Arresta job. Il servizio interrompe appena possibile l'importazione e l'elaborazione dei dati. Poiché l'opzione Annulla interrompe immediatamente l'elaborazione, potresti perdere tutti i dati "in corso di elaborazione". L'arresto di un job potrebbe richiedere alcuni minuti.

3. Elimina il set di dati BigQuery. Vai alla UI web di BigQuery nella console Google Cloud.

   Vai alla UI web di BigQuery

   1. Nel riquadro Explorer, nella sezione Risorse, fai clic sul set di dati dataflow_sql_tutorial che hai creato.

   2. Nel riquadro dei dettagli, fai clic su Elimina. Si apre una finestra di dialogo di conferma.

   3. Nella finestra di dialogo Elimina set di dati, digita delete per confermare l'eliminazione, quindi fai clic su Elimina.

4. Elimina l'argomento Pub/Sub. Vai alla pagina degli argomenti Pub/Sub nella console Google Cloud.

   Vai alla pagina degli argomenti Pub/Sub

   1. Seleziona l'argomento transactions.

   2. Fai clic su Elimina per eliminare definitivamente l'argomento. Si apre una finestra di dialogo di conferma.

   3. Nella finestra di dialogo Elimina argomento, digita delete per confermare l'eliminazione, quindi fai clic su Elimina.

   4. Vai alla pagina delle sottoscrizioni Pub/Sub.

   5. Seleziona eventuali abbonamenti rimanenti per transactions. Se i tuoi job non sono più in esecuzione, potrebbero non essere presenti abbonamenti.

   6. Fai clic su Elimina per eliminare definitivamente le iscrizioni. Nella finestra di dialogo di conferma, fai clic su Elimina.

5. Elimina il bucket gestione temporanea Dataflow in Cloud Storage. Vai alla pagina Bucket di Cloud Storage nella console Google Cloud.

   Vai a Bucket

   1. Seleziona il bucket gestione temporanea Dataflow.

   2. Fai clic su Elimina per eliminare definitivamente il bucket. Si apre una finestra di dialogo di conferma.

   3. Nella finestra di dialogo Elimina bucket, digita DELETE per confermare il comando di eliminazione, quindi fai clic su Elimina.

Passaggi successivi

• Consulta un'introduzione a Dataflow SQL.
• Scopri di più sulle nozioni di base sulle pipeline di flusso.
• Esplora il riferimento SQL di Dataflow.
• Guarda la demo dell'analisi dei flussi di dati offerta a Cloud Next 2019.