Trasmetti il flusso da Pub/Sub a BigQuery

Questo tutorial utilizza Modello Sottoscrizione Pub/Sub a BigQuery per creare ed eseguire un modello Dataflow un job utilizzando la console Google Cloud o Google Cloud CLI. Il tutorial illustra un esempio di pipeline in modalità flusso che legge con codifica JSON messaggi da Pub/Sub, utilizza una funzione definita dall'utente per estendere il modello di flussi di dati fornito da Google, trasforma i dati dei messaggi con l'SDK Apache Beam e scrive i risultati in un Tabella BigQuery.

Analisi dei flussi di dati e integrazione dei dati le pipeline usano Pub/Sub per importare e distribuire i dati. Pub/Sub consente di creare sistemi di producer di eventi consumatori, chiamati editori e abbonati. I publisher inviano eventi a il servizio Pub/Sub in modo asincrono e Pub/Sub invia gli eventi a tutti e i servizi che devono reagire a queste.

Dataflow è un servizio completamente gestito per la trasformazione l'arricchimento dei dati in modalità flusso (in tempo reale) e batch. Fornisce una pipeline semplificata che utilizza l'SDK Apache Beam per trasformare i dati in entrata e poi restituire i dati trasformati.

Il vantaggio di questo flusso di lavoro è che puoi usare le funzioni definite dall'utente per trasformare il messaggio prima che vengano scritti in BigQuery. Un'altra opzione è utilizzare un Sottoscrizione BigQuery, che scrive i messaggi Pub/Sub direttamente in BigQuery, senza utilizzare e Dataflow. Questa opzione supporta solo la consegna "at-least-once", questo elemento non supporta l'elaborazione "exactly-once".

Obiettivi

  • Creare un argomento Pub/Sub.
  • Creare un set di dati BigQuery con una tabella e uno schema.
  • Utilizza un modello di flussi di dati fornito da Google per trasmettere i dati in streaming dal tuo Sottoscrizione Pub/Sub a BigQuery mediante Dataflow.
  • Creare una funzione definita dall'utente per estendere il modello di flussi di dati fornito da Google.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

  • Dataflow
  • Pub/Sub
  • Cloud Storage
  • Cloud Scheduler
  • BigQuery

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.

Prima di iniziare

Questa sezione mostra come selezionare un progetto, abilitare le API e concedere i ruoli appropriati al tuo account utente e account di servizio worker.

Console

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Abilita le API Compute Engine, Dataflow, Cloud Logging, BigQuery, Pub/Sub, Cloud Storage, Resource Manager, and Cloud Scheduler.

    Abilita le API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  7. Abilita le API Compute Engine, Dataflow, Cloud Logging, BigQuery, Pub/Sub, Cloud Storage, Resource Manager, and Cloud Scheduler.

    Abilita le API

    8.

  8. Per completare i passaggi di questo tutorial, il tuo account utente deve disporre Utente account di servizio. L'account di servizio predefinito di Compute Engine deve avere i seguenti ruoli: Worker Dataflow, Amministratore Dataflow, Editor Pub/Sub, Amministratore oggetti Storage ed Editor dati BigQuery. Per aggiungere i ruoli richiesti nella console Google Cloud:

    1. Nella console Google Cloud, vai alla pagina IAM.

      Vai a IAM
    2. Seleziona il progetto.
    3. Nella riga contenente il tuo account utente, fai clic su Modifica entità, e fai clic su Aggiungi un altro ruolo.
    4. Nell'elenco a discesa, seleziona il ruolo Utente account di servizio.
    5. Nella riga contenente l'account di servizio predefinito di Compute Engine, fai clic su Modifica entità, e fai clic su Aggiungi un altro ruolo.
    6. Nell'elenco a discesa, seleziona il ruolo Worker Dataflow.

    7. Ripeti la procedura per l'amministratore Dataflow, l'editor Pub/Sub. i ruoli Amministratore oggetti Storage e Editor dati BigQuery, e fai clic su Salva.

      Per ulteriori informazioni quando si assegnano i ruoli, vedi Concedere un ruolo IAM utilizzando la console.

gcloud

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  6. Abilita le API Compute Engine, Dataflow, Cloud Logging, BigQuery, Pub/Sub, Cloud Storage, Resource Manager, and Cloud Scheduler. 

    gcloud services enable compute.googleapis.com dataflow.googleapis.com logging.googleapis.com bigquery.googleapis.com pubsub.googleapis.com storage.googleapis.com cloudresourcemanager.googleapis.com cloudscheduler.googleapis.com

  7. Create local authentication credentials for your user account: 

    gcloud auth application-default login

  8. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="USER_IDENTIFIER" --role=ROLE
    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.

    • Replace ROLE with each individual role.
    9.
  9. Install the Google Cloud CLI.

  10. To initialize the gcloud CLI, run the following command: 

    gcloud init

  11. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  12. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  13. Abilita le API Compute Engine, Dataflow, Cloud Logging, BigQuery, Pub/Sub, Cloud Storage, Resource Manager, and Cloud Scheduler. 

    gcloud services enable compute.googleapis.com dataflow.googleapis.com logging.googleapis.com bigquery.googleapis.com pubsub.googleapis.com storage.googleapis.com cloudresourcemanager.googleapis.com cloudscheduler.googleapis.com

  14. Create local authentication credentials for your user account: 

    gcloud auth application-default login

  15. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="USER_IDENTIFIER" --role=ROLE
    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.

    • Replace ROLE with each individual role.
    16.

  16. Concedi ruoli al tuo account di servizio predefinito Compute Engine. Esegui l' comando seguente una volta per ciascuno dei seguenti ruoli IAM:

    • roles/dataflow.admin
    • roles/dataflow.worker
    • roles/storage.admin
    • roles/pubsub.editor
    • roles/bigquery.dataEditor
    gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" --role=SERVICE_ACCOUNT_ROLE

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • PROJECT_NUMBER: il numero del progetto. Per trovare il numero del tuo progetto, utilizza il Comando gcloud projects describe.
    • SERVICE_ACCOUNT_ROLE: ogni ruolo individuale.

Crea l'origine e il sink di esempio

Questa sezione spiega come creare quanto segue:

  • Un'origine di dati in modalità flusso utilizzando Pub/Sub
  • Un set di dati per caricare i dati in BigQuery

Crea un bucket Cloud Storage

Inizia creando un bucket Cloud Storage utilizzando la console Google Cloud oppure Google Cloud CLI. La pipeline Dataflow utilizza questo bucket come posizione di archiviazione temporanea.

Console

  1. Nella console Google Cloud, vai alla pagina Bucket in Cloud Storage.

    Vai a Bucket

  2. Fai clic su Crea bucket.

  3. Nella pagina Crea un bucket, inserisci un nome in Assegna un nome al bucket. che soddisfi i requisiti di denominazione dei bucket. I nomi dei bucket Cloud Storage devono essere univoci a livello globale. Non selezionare le altre opzioni.

  4. Fai clic su Crea.

gcloud

Utilizza la Comando gcloud storage buckets create:

gcloud storage buckets create gs://BUCKET_NAME

Sostituisci BUCKET_NAME con un nome per il bucket Cloud Storage che soddisfi i requisiti di denominazione dei bucket. I nomi dei bucket Cloud Storage devono essere univoci a livello globale.

Crea un argomento e una sottoscrizione Pub/Sub

Creare un argomento Pub/Sub, quindi una sottoscrizione all'argomento.

Console

Per creare un argomento, completa i seguenti passaggi.

  1. Nella console Google Cloud, vai alla pagina Argomenti di Pub/Sub.

    Vai ad Argomenti

  2. Fai clic su Crea argomento.

  3. Inserisci un ID per l'argomento nel campo ID argomento. Per informazioni su come assegnare un nome a un argomento, consulta Linee guida per denominare un argomento o una sottoscrizione.

  4. Mantieni l'opzione Aggiungi un abbonamento predefinito. Non selezionare le altre opzioni.

  5. Fai clic su Crea argomento.

gcloud

Per creare un argomento, esegui gcloud pubsub topics create . Per informazioni su come assegnare un nome a una sottoscrizione, vedi Linee guida per denominare un argomento o una sottoscrizione.

gcloud pubsub topics create TOPIC_ID

Sostituisci TOPIC_ID con un nome per l'argomento Pub/Sub.

Per creare una sottoscrizione all'argomento, esegui gcloud pubsub subscriptions create :

gcloud pubsub subscriptions create --topic TOPIC_ID SUBSCRIPTION_ID

Sostituisci SUBSCRIPTION_ID con un nome per la tua sottoscrizione Pub/Sub.

Crea ed esegui job Cloud Scheduler

Creare ed eseguire due job Cloud Scheduler, uno che pubblica valutazioni positive e un secondo che pubblichi valutazioni negative nell'argomento Pub/Sub.

Console

Crea un job Cloud Scheduler per ottenere valutazioni positive.

  1. Visita la pagina Cloud Scheduler nella console.

    Vai a Cloud Scheduler

  2. Fai clic sul pulsante Crea un job.

  3. Inserisci il nome positive-ratings-publisher.

  4. Seleziona un Dataflow region vicino a in cui eseguirai i comandi in questo tutorial. Il valore dell'attributo REGION deve essere un nome di regione valido. Per ulteriori informazioni su regioni e località, vedi Località di Dataflow.

  5. Specifica la frequenza per il job utilizzando il metodo formato unix-cron: * * * * *

    Per ulteriori informazioni, consulta Configurazione delle pianificazioni dei cron job.

  6. Seleziona il tuo fuso orario.

  7. Fai clic su Continua.

  8. Nell'elenco Destinazione, seleziona Pub/Sub.

  9. Seleziona il nome del tuo Argomento dall'elenco.

  10. Aggiungi la seguente stringa Messaggio da inviare alla destinazione: {"url": "https://beam.apache.org/", "review": "positive"}

  11. Fai clic su Crea.

Ora hai un cron job che invia un messaggio con valutazione positiva al tuo argomento Pub/Sub ogni minuto. La funzione Cloud Functions esegue la sottoscrizione a quell'argomento.

Crea un job Cloud Scheduler per le valutazioni negative.

  1. Nella pagina Cloud Scheduler della console, fai clic sul pulsante Crea un job.

  2. Inserisci il nome negative-ratings-publisher.

  3. Seleziona una regione in cui eseguire il job.

  4. Specifica la frequenza per il job utilizzando il metodo formato unix-cron: */2 * * * *

    Per ulteriori informazioni, consulta Configurazione delle pianificazioni dei cron job.

  5. Seleziona il tuo fuso orario.

  6. Fai clic su Continua.

  7. Nell'elenco Destinazione, seleziona Pub/Sub.

  8. Seleziona il nome del tuo Argomento dall'elenco.

  9. Aggiungi la seguente stringa Messaggio da inviare alla destinazione: {"url": "https://beam.apache.org/", "review": "negative"}

  10. Fai clic su Crea.

Ora hai un cron job che invia un messaggio con valutazione negativa al tuo argomento Pub/Sub ogni due minuti. La funzione Cloud Functions esegue la sottoscrizione a quell'argomento.

gcloud

  1. Per creare un job Cloud Scheduler per questo tutorial, utilizza la gcloud scheduler jobs create . Questo passaggio crea un editore per le "valutazioni positive" che pubblica un messaggio al minuto.

    gcloud scheduler jobs create pubsub positive-ratings-publisher \
  --schedule="* * * * *" \
  --location=DATAFLOW_REGION \
  --topic="TOPIC_ID" \
  --message-body='{"url": "https://beam.apache.org/", "review": "positive"}'

    Sostituisci DATAFLOW_REGION con regione in cui eseguire il deployment del job Dataflow. Seleziona uno Regione Dataflow vicina a in cui eseguirai i comandi in questo tutorial. Il valore dell'attributo REGION deve essere un nome di regione valido.

  2. Per avviare il job Cloud Scheduler, utilizza la gcloud scheduler jobs run .

    gcloud scheduler jobs run --location=DATAFLOW_REGION positive-ratings-publisher

  3. Creare e pubblicare un altro publisher simile per le "valutazioni negative" che pubblica un messaggio ogni due minuti. Questo passaggio crea un publisher per "valutazioni negative" che pubblica un messaggio ogni due minuti.

    gcloud scheduler jobs create pubsub negative-ratings-publisher \
  --schedule="*/2 * * * *" \
  --location=DATAFLOW_REGION  \
  --topic="TOPIC_ID" \
  --message-body='{"url": "https://beam.apache.org/", "review": "negative"}'

  4. Avviare il secondo job di Cloud Scheduler.

    gcloud scheduler jobs run --location=DATAFLOW_REGION negative-ratings-publisher

Crea un set di dati BigQuery

Crea un set di dati e una tabella BigQuery con lo schema appropriato per l'argomento Pub/Sub.

Console

Creare un set di dati BigQuery.

  1. Apri la pagina BigQuery nella console Google Cloud.

    Vai alla pagina di BigQuery

  2. Nel riquadro Explorer, seleziona il progetto in cui vuoi creare del set di dati.

  3. Espandi Azioni e fai clic su Crea set di dati.

  4. Nella pagina Crea set di dati:

    • In ID set di dati, inserisci tutorial_dataset.

    • Per Località dei dati, scegli una posizione geografica per il set di dati. Dopo aver creato un set di dati, posizione non può essere modificata.

    • Non selezionare le altre opzioni.

    • Fai clic su Crea set di dati.

Crea una tabella BigQuery con uno schema.

  1. Nel riquadro di esplorazione, espandi il progetto e seleziona il set di dati tutorial_dataset.

  2. Espandi Azioni e fai clic su Apri.

  3. Nel riquadro dei dettagli, fai clic su Crea tabella. .

  4. Nella sezione Origine della pagina Crea tabella, seleziona Vuota. .

  5. Nella sezione Destinazione della pagina Crea tabella:

    • Verifica che Nome set di dati sia impostato su tutorial_dataset.
    • Nel campo Nome tabella, inserisci tutorial.
    • Verifica che l'opzione Tipo di tabella sia impostata su Tabella nativa.

  6. Nella sezione Schema, inserisci lo schema. definizione di Kubernetes. Attiva Modifica come testo e inserisci il seguente schema della tabella come JSON un array di dati.

    [
  {
    "mode": "NULLABLE",
    "name": "url",
    "type": "STRING"
  },
  {
    "mode": "NULLABLE",
    "name": "review",
    "type": "STRING"
  }
]

  7. In Impostazioni di partizionamento e clustering, lascia il valore predefinito: No partitioning.

  8. Nella sezione Opzioni avanzate, lascia il valore predefinito in Crittografia. valore: Google-managed key. Per impostazione predefinita, Dataflow cripta i contenuti archiviati inattivi dei clienti.

  9. Fai clic su Crea tabella.

gcloud

Utilizza la bq mk per creare il set di dati.

bq --location=DATAFLOW_REGION mk \
PROJECT_ID:tutorial_dataset

Sostituisci PROJECT_ID con l'ID del progetto.

Utilizza il comando bq mk con il flag --table o -t per creare una tabella in il tuo set di dati.

bq mk \
    --table \
    PROJECT_ID:tutorial_dataset.tutorial \
    url:STRING,review:STRING

Creare una funzione definita dall'utente

In via facoltativa, puoi creare una funzione JavaScript definita dall'utente per estendere le funzionalità fornite da Google Sottoscrizione Pub/Sub a BigQuery modello. Le funzioni definite dall'utente consentono di definire le trasformazioni dei dati non presenti nel modello e inserirli nel modello.

La seguente funzione definita dall'utente convalida gli URL delle classificazioni in arrivo. Valutazioni con nessun URL o URL errato viene inoltrato a un'altra tabella di output con suffisso con _error_records, nota anche come tabella dei messaggi non recapitabili, nello stesso progetto e set di dati.

JavaScript

/**
 * User-defined function (UDF) to transform events
 * as part of a Dataflow template job.
 *
 * @param {string} inJson input Pub/Sub JSON message (stringified)
 */
 function process(inJson) {
    const obj = JSON.parse(inJson);
    const includePubsubMessage = obj.data && obj.attributes;
    const data = includePubsubMessage ? obj.data : obj;

    if (!data.hasOwnProperty('url')) {
      throw new Error("No url found");
    } else if (data.url !== "https://beam.apache.org/") {
      throw new Error("Unrecognized url");
    }

    return JSON.stringify(obj);
  }

Salva questo snippet JavaScript nel bucket Cloud Storage creato in precedenza.

esegui la pipeline.

Esegui una pipeline di inserimento flussi utilizzando Modello di sottoscrizione Pub/Sub a BigQuery. La pipeline riceve i dati in entrata dall'argomento Pub/Sub e li invia al del tuo set di dati BigQuery.

Console

  1. Nella console Google Cloud, vai alla pagina Job di Dataflow.

    Vai a Job

  2. Fai clic su Crea job da modello.

  3. Inserisci un Nome job per il tuo job Dataflow.

  4. Per Endpoint a livello di regione, seleziona una regione per Dataflow un lavoro.

  5. In Modello Dataflow, seleziona la sottoscrizione Pub/Sub per BigQuery.

  6. In Tabella di output BigQuery, inserisci quanto segue:

    PROJECT_ID:tutorial_dataset.tutorial

  7. In Sottoscrizione di input Pub/Sub, inserisci quanto segue:

    projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID

    Sostituisci PROJECT_ID con l'ID del progetto in cui creato il tuo set di dati BigQuery e SUBSCRIPTION_ID con il nome della tua sottoscrizione Pub/Sub.

  8. In Posizione temporanea, inserisci quanto segue:

    gs://BUCKET_NAME/temp/

    Sostituisci BUCKET_NAME con il nome del tuo account Cloud Storage di sincronizzare la directory di una VM con un bucket. La cartella temp archivia i file temporanei, ad esempio un job di pipeline in fasi.

  9. (Facoltativo) Per includere una funzione definita dall'utente per il job, espandi Parametri facoltativi.

    1. In Percorso della funzione JavaScript definita dall'utente in Cloud Storage, inserisci quanto segue:

      gs://BUCKET_NAME/dataflow_udf_transform.js

    2. In Nome della funzione JavaScript definita dall'utente, inserisci quanto segue:

      process

  10. Fai clic su Esegui job.

Per verificare se il modello può inoltrare messaggi a una tabella dei messaggi non recapitabili, pubblicare alcune valutazioni senza URL o con URL errati.

  1. Vai alla pagina Argomenti di Pub/Sub.

  2. Fai clic su TOPIC_ID.

  3. Vai alla sezione Messaggi.

  4. Fai clic su Pubblica messaggio.

  5. Inserisci alcune valutazioni senza URL o con URL errati nel corpo del messaggio. Per esempio:

    {"url": "https://beam.apache.org/documentation/sdks/java/", "review": "positive"}

  6. Fai clic su Pubblica.

gcloud

Per eseguire il modello nella shell o nel terminale, utilizza gcloud dataflow jobs run .

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-DATAFLOW_REGION/latest/PubSub_Subscription_to_BigQuery \
    --region DATAFLOW_REGION \
    --staging-location gs://BUCKET_NAME/temp \
    --parameters \
inputSubscription=projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID,\
outputTableSpec=PROJECT_ID:tutorial_dataset.tutorial

Sostituisci JOB_NAME con un nome univoco di tua scelta.

Facoltativamente, per eseguire il modello con la funzione definita dall'utente, utilizza il comando seguente:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-DATAFLOW_REGION/latest/PubSub_Subscription_to_BigQuery \
    --region DATAFLOW_REGION \
    --staging-location gs://BUCKET_NAME/temp \
    --parameters \
inputSubscription=projects/PROJECT_ID/subscriptions/SUBSCRIPTION_ID,\
outputTableSpec=PROJECT_ID:tutorial_dataset.tutorial,\
javascriptTextTransformGcsPath=gs://BUCKET_NAME/dataflow_udf_transform.js,\
javascriptTextTransformFunctionName=process

Per verificare se il modello può inoltrare messaggi a una tabella dei messaggi non recapitabili, pubblica alcune valutazioni senza URL o con URL errati. Ad esempio:

gcloud pubsub topics publish TOPIC_ID \
  --message='{"url": "https://beam.apache.org/documentation/sdks/java/", "review": "positive"}'

Visualizza i tuoi risultati

Visualizzare i dati scritti nelle tabelle BigQuery.

Console

  1. Nella console Google Cloud, vai alla pagina BigQuery.
    Vai alla pagina di BigQuery

  2. Nell'editor query, esegui questa query:

    SELECT * FROM `PROJECT_ID.tutorial_dataset.tutorial`
LIMIT 1000

    La visualizzazione dei dati nella tabella può richiedere fino a un minuto.

    La query restituisce le righe che sono state aggiunte alla tabella nelle ultime 24 ore. Puoi anche eseguire query utilizzando SQL standard.

    Se prevedi che nella tabella dei messaggi non recapitabili vengano scritti alcuni record di errore, nella query, utilizza il nome tabella tutorial_error_records. Ad esempio:

    SELECT * FROM `PROJECT_ID.tutorial_dataset.tutorial_error_records`
LIMIT 1000

gcloud

Controlla i risultati in BigQuery eseguendo questa query:

bq query --use_legacy_sql=false 'SELECT * FROM `'"PROJECT_ID.tutorial_dataset.tutorial"'`'

Mentre questa pipeline è in esecuzione, puoi vedere nuove righe aggiunte nella BigQuery ogni minuto.

Se prevedi che nella tabella dei messaggi non recapitabili vengano scritti alcuni record di errore, nella query, utilizza il nome tabella tutorial_error_records. Ad esempio:

SELECT * FROM `PROJECT_ID.tutorial_dataset.tutorial_error_records`
LIMIT 1000

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è quello di eliminare il progetto Google Cloud che hai creato per il tutorial.

Console

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

gcloud

    Elimina un progetto Google Cloud:

    gcloud projects delete PROJECT_ID

Elimina le singole risorse

Se vuoi riutilizzare il progetto in un secondo momento, puoi conservarlo ma eliminarlo le risorse che hai creato durante il tutorial.

Arresta la pipeline Dataflow

Console

  1. Nella console Google Cloud, vai alla pagina Job di Dataflow.

    Vai a Job

  2. Fai clic sul job che vuoi arrestare.

    Per arrestare un job, il suo stato deve essere In esecuzione.

  3. Nella pagina dei dettagli del job, fai clic su Arresta.

  4. Fai clic su Annulla.

  5. Per confermare la scelta, fai clic su Arresta job.

gcloud

Per annullare il job Dataflow, utilizza Comando gcloud dataflow jobs.

gcloud dataflow jobs list \
  --filter 'NAME=JOB_NAME AND STATE=Running' \
  --format 'value(JOB_ID)' \
  --region "DATAFLOW_REGION" \
  | xargs gcloud dataflow jobs cancel --region "DATAFLOW_REGION"

Esegui la pulizia delle risorse del progetto Google Cloud

Console

  1. Elimina i job di Cloud Scheduler.

    1. Vai alla pagina Cloud Scheduler nella console Google Cloud.

      Vai a Cloud Scheduler

    2. Seleziona i job.

    3. Fai clic sul pulsante Elimina nella parte superiore della pagina e conferma l'eliminazione.

  2. Elimina l'argomento e la sottoscrizione Pub/Sub.

    1. Vai alla pagina Argomenti di Pub/Sub nella console Google Cloud.

      Vai ad Argomenti

    2. Seleziona l'argomento che hai creato.

    3. Fai clic su Elimina per eliminare definitivamente l'argomento.

    4. Vai alla pagina Sottoscrizioni di Pub/Sub nella console Google Cloud.

      Vai ad Abbonamenti

    5. Seleziona la sottoscrizione creata con il tuo argomento.

    6. Fai clic su Elimina per eliminare definitivamente l'abbonamento.

  3. Elimina la tabella e il set di dati BigQuery.

    1. Nella console Google Cloud, vai alla pagina BigQuery.

      Vai a BigQuery

    2. Nel riquadro Explorer, espandi il progetto.

    3. Accanto al set di dati da eliminare, fai clic su Visualizza le azioni, poi fai clic su elimina.

  4. Elimina il bucket Cloud Storage.

    1. Nella console Google Cloud, vai alla pagina Bucket in Cloud Storage.

      Vai a Bucket

    2. Seleziona il bucket da eliminare, fai clic su Elimina, quindi segui le istruzioni.

gcloud

  1. Per eliminare i job Cloud Scheduler, utilizza gcloud scheduler jobs delete .

    gcloud scheduler jobs delete negative-ratings-publisher --location=DATAFLOW_REGION

    gcloud scheduler jobs delete positive-ratings-publisher --location=DATAFLOW_REGION

  2. Per eliminare la sottoscrizione e l'argomento Pub/Sub, utilizza gcloud pubsub subscriptions delete e ai gcloud pubsub topics delete tramite comandi SQL.

    gcloud pubsub subscriptions delete SUBSCRIPTION_ID
gcloud pubsub topics delete TOPIC_ID

  3. Per eliminare la tabella BigQuery, utilizza bq rm .

    bq rm -f -t PROJECT_ID:tutorial_dataset.tutorial

  4. Elimina il set di dati BigQuery. Il set di dati da solo non comporta alcun addebito.

    bq rm -r -f -d PROJECT_ID:tutorial_dataset

  5. Per eliminare il bucket Cloud Storage, utilizza la classe Comando gcloud storage rm. Il bucket non comporta alcun addebito.

    gcloud storage rm gs://BUCKET_NAME --recursive

Revocare le credenziali

Console

Se mantieni il progetto, revoca i ruoli che hai concesso all'account di servizio predefinito di Compute Engine.

  1. Nella console Google Cloud, vai alla pagina IAM.

Vai a IAM

  1. Seleziona un progetto, una cartella o un'organizzazione.

  2. Trova la riga contenente l'entità di cui vuoi revocare l'accesso. Nella riga, fai clic su Modifica entità.

  3. Fai clic sul pulsante Elimina per ogni ruolo che vuoi revocare, quindi fai clic su Salva.

gcloud

  • Se mantieni il progetto, revoca i ruoli concessi Account di servizio predefinito Compute Engine. Esegui questo comando uno per ciascuno dei seguenti ruoli IAM:
    • roles/dataflow.admin
    • roles/dataflow.worker
    • roles/storage.admin
    • roles/pubsub.editor
    • roles/bigquery.dataEditor
      gcloud projects remove-iam-policy-binding <var>PROJECT_ID</var> \
  --member=serviceAccount:<var>PROJECT_NUMBER</var>-compute@developer.gserviceaccount.com \
  --role=<var>ROLE</var>

  • Facoltativo: revoca le credenziali di autenticazione che hai creato ed elimina il file delle credenziali locale. 

    gcloud auth application-default revoke

  • Facoltativo: revoca le credenziali dallgcloud CLI. 

    gcloud auth revoke

Passaggi successivi