Combinar dados de streaming com o SQL do Dataflow

---

Atenção: o Dataflow SQL foi descontinuado. A partir de 31 de julho de 2024, vai deixar de poder aceder ao SQL do Dataflow na Google Cloud consola. A partir de 31 de janeiro de 2025, já não pode usar o Dataflow SQL na CLI Google Cloud. Para obter informações sobre métodos alternativos de criação de consultas SQL com o Dataflow, consulte o artigo SQL do Beam e o comando mágico beam_sql.

Este tutorial mostra como usar o SQL do Dataflow para juntar um fluxo de dados do Pub/Sub com dados de uma tabela do BigQuery.

Objetivos

Neste tutorial:

• Escrever uma consulta SQL do Dataflow que junte dados de streaming do Pub/Sub com dados de tabelas do BigQuery.
• Implemente uma tarefa do Dataflow a partir da IU do Dataflow SQL.

Custos

Neste documento, usa os seguintes componentes faturáveis da Google Cloud Platform:

• Dataflow
• Cloud Storage
• Pub/Sub
• Data Catalog

Para gerar uma estimativa de custos com base na sua utilização projetada, use a calculadora de preços.

Os novos Google Cloud utilizadores podem ser elegíveis para uma avaliação gratuita.

Antes de começar

Sign in to your Google Cloud Platform account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Project > Owner role to the service account.

   To grant the role, find the Select a role list, then select Project > Owner.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Dataflow, Compute Engine, Logging, Cloud Storage, Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Resource Manager and Data Catalog. APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Project > Owner role to the service account.

   To grant the role, find the Select a role list, then select Project > Owner.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
7. Click Continue.

8. Click Done to finish creating the service account.

   Do not close your browser window. You will use it in the next step.

Create a service account key:

1. In the Google Cloud console, click the email address for the service account that you created.
2. Click Keys.
3. Click Add key, and then click Create new key.
4. Click Create. A JSON key file is downloaded to your computer.
5. Click Close.

Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

Example: Linux or macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

Example: Windows

For PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

Replace KEY_PATH with the path of the JSON file that contains your credentials.

For example:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

For command prompt:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

Replace KEY_PATH with the path of the JSON file that contains your credentials.

1. Instale e inicialize a CLI gcloud. Escolha uma das opções de instalação. Pode ter de definir a propriedade project para o projeto que está a usar neste passo a passo.
2. Aceda à IU da Web do SQL do Dataflow na Google Cloud consola. Esta ação abre o projeto ao qual acedeu mais recentemente. Para mudar para um projeto diferente, clique no nome do projeto na parte superior da interface Web do Dataflow SQL e pesquise o projeto que quer usar.
   Aceda à IU Web do Dataflow SQL
   

Crie origens de exemplo

Se quiser seguir o exemplo fornecido neste tutorial, crie as seguintes origens e use-as nos passos do tutorial.

• Um tópico do Pub/Sub denominado transactions: uma stream de dados de transações que chega através de uma subscrição ao tópico do Pub/Sub. Os dados de cada transação incluem informações como o produto comprado, o preço de venda e a cidade e o distrito em que a compra ocorreu. Depois de criar o tópico Pub/Sub, cria um script que publica mensagens no tópico. Vai executar este script numa secção posterior deste tutorial.
• Uma tabela do BigQuery denominada us_state_salesregions: uma tabela que fornece um mapeamento de estados para regiões de vendas. Antes de criar esta tabela, tem de criar um conjunto de dados do BigQuery.

Crie um script de publicador e tópico do Pub/Sub

1. Use a CLI do Google Cloud para criar o seu tópico do Pub/Sub. Atribua o nome transactions ao tópico.

   gcloud pubsub topics create transactions

2. Crie um script Python que publique mensagens no seu tópico do Pub/Sub. Se não tiver o Python instalado, tem de instalar o Python. Vai executar este script numa janela de linha de comandos imediatamente antes de executar a consulta SQL.
   1. Crie um ficheiro de texto e atribua-lhe o nome transactions_injector.py.
   2. Copie e cole o seguinte código em transactions_injector.py. Substitua project-id pelo ID do seu projeto.

      #!/usr/bin/env python
      
      import datetime, json, os, random, time
      
      # Set the `project` variable to a Google Cloud project ID.
      project = 'project-id'
      
      FIRST_NAMES = ['Monet', 'Julia', 'Angelique', 'Stephane', 'Allan', 'Ulrike', 'Vella', 'Melia',
          'Noel', 'Terrence', 'Leigh', 'Rubin', 'Tanja', 'Shirlene', 'Deidre', 'Dorthy', 'Leighann',
          'Mamie', 'Gabriella', 'Tanika', 'Kennith', 'Merilyn', 'Tonda', 'Adolfo', 'Von', 'Agnus',
          'Kieth', 'Lisette', 'Hui', 'Lilliana',]
      CITIES = ['Washington', 'Springfield', 'Franklin', 'Greenville', 'Bristol', 'Fairview', 'Salem',
          'Madison', 'Georgetown', 'Arlington', 'Ashland',]
      STATES = ['MO','SC','IN','CA','IA','DE','ID','AK','NE','VA','PR','IL','ND','OK','VT','DC','CO','MS',
          'CT','ME','MN','NV','HI','MT','PA','SD','WA','NJ','NC','WV','AL','AR','FL','NM','KY','GA','MA',
          'KS','VI','MI','UT','AZ','WI','RI','NY','TN','OH','TX','AS','MD','OR','MP','LA','WY','GU','NH']
      PRODUCTS = ['Product 2', 'Product 2 XL', 'Product 3', 'Product 3 XL', 'Product 4', 'Product 4 XL', 'Product 5',
          'Product 5 XL',]
      
      while True:
        first_name, last_name = random.sample(FIRST_NAMES, 2)
        data = {
          'tr_time_str': datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
          'first_name': first_name,
          'last_name': last_name,
          'city': random.choice(CITIES),
          'state':random.choice(STATES),
          'product': random.choice(PRODUCTS),
          'amount': float(random.randrange(50000, 70000)) / 100,
        }
      
        # For a more complete example on how to publish messages in Pub/Sub.
        #   https://cloud.google.com/pubsub/docs/publisher
        message = json.dumps(data)
        command = "gcloud --project={} pubsub topics publish transactions --message='{}'".format(project, message)
        print(command)
        os.system(command)
        time.sleep(random.randrange(1, 5))

Crie um conjunto de dados e uma tabela do BigQuery

1. Na IU Web do BigQuery, crie um conjunto de dados do BigQuery. Um conjunto de dados do BigQuery é um contentor de nível superior usado para conter as suas tabelas. As tabelas do BigQuery têm de pertencer a um conjunto de dados.
   1. No painel Explorador, abra as ações do seu projeto. No menu, clique em Criar conjunto de dados. Na captura de ecrã seguinte, o ID do projeto é dataflow-sql.

      

   2. No painel Criar conjunto de dados apresentado, para ID do conjunto de dados, introduza dataflow_sql_tutorial.
   3. Para Localização de dados, selecione uma opção no menu.
   4. Clique em Criar conjunto de dados.

      

2. Crie uma tabela do BigQuery.
   1. Crie um ficheiro de texto e atribua-lhe o nome us_state_salesregions.csv.
   2. Copie e cole os seguintes dados no us_state_salesregions.csv. Nos passos seguintes, vai carregar estes dados para a tabela do BigQuery.

      state_id,state_code,state_name,sales_region
      1,MO,Missouri,Region_1
      2,SC,South Carolina,Region_1
      3,IN,Indiana,Region_1
      6,DE,Delaware,Region_2
      15,VT,Vermont,Region_2
      16,DC,District of Columbia,Region_2
      19,CT,Connecticut,Region_2
      20,ME,Maine,Region_2
      35,PA,Pennsylvania,Region_2
      38,NJ,New Jersey,Region_2
      47,MA,Massachusetts,Region_2
      54,RI,Rhode Island,Region_2
      55,NY,New York,Region_2
      60,MD,Maryland,Region_2
      66,NH,New Hampshire,Region_2
      4,CA,California,Region_3
      8,AK,Alaska,Region_3
      37,WA,Washington,Region_3
      61,OR,Oregon,Region_3
      33,HI,Hawaii,Region_4
      59,AS,American Samoa,Region_4
      65,GU,Guam,Region_4
      5,IA,Iowa,Region_5
      32,NV,Nevada,Region_5
      11,PR,Puerto Rico,Region_6
      17,CO,Colorado,Region_6
      18,MS,Mississippi,Region_6
      41,AL,Alabama,Region_6
      42,AR,Arkansas,Region_6
      43,FL,Florida,Region_6
      44,NM,New Mexico,Region_6
      46,GA,Georgia,Region_6
      48,KS,Kansas,Region_6
      52,AZ,Arizona,Region_6
      56,TN,Tennessee,Region_6
      58,TX,Texas,Region_6
      63,LA,Louisiana,Region_6
      7,ID,Idaho,Region_7
      12,IL,Illinois,Region_7
      13,ND,North Dakota,Region_7
      31,MN,Minnesota,Region_7
      34,MT,Montana,Region_7
      36,SD,South Dakota,Region_7
      50,MI,Michigan,Region_7
      51,UT,Utah,Region_7
      64,WY,Wyoming,Region_7
      9,NE,Nebraska,Region_8
      10,VA,Virginia,Region_8
      14,OK,Oklahoma,Region_8
      39,NC,North Carolina,Region_8
      40,WV,West Virginia,Region_8
      45,KY,Kentucky,Region_8
      53,WI,Wisconsin,Region_8
      57,OH,Ohio,Region_8
      49,VI,United States Virgin Islands,Region_9
      62,MP,Commonwealth of the Northern Mariana Islands,Region_9

   3. No painel Explorador da IU do BigQuery, expanda o seu projeto para ver o conjunto de dados dataflow_sql_tutorial.
   4. Abra o menu de ações do conjunto de dados dataflow_sql_tutorial e clique em Abrir.
   5. Clique em Criar tabela.

      

   6. No painel Criar tabela apresentado:
      1. Em Criar tabela a partir de, selecione Carregar.

         

      2. Para Selecionar ficheiro, clique em Procurar e escolha o ficheiro us_state_salesregions.csv.
      3. Para Tabela, introduza us_state_salesregions.
      4. Em Esquema, selecione Deteção automática.
      5. Clique em Opções avançadas para expandir a secção Opções avançadas.
      6. Para Linhas de cabeçalho a ignorar, introduza 1 e, de seguida, clique em Criar tabela.

         

   7. No painel Explorador, clique em us_state_salesregions. Em Esquema, pode ver o esquema gerado automaticamente. Em Pré-visualização, pode ver os dados da tabela.

      

Atribua um esquema ao seu tópico Pub/Sub

A atribuição de um esquema permite-lhe executar consultas SQL nos dados do tópico do Pub/Sub. Atualmente, o Dataflow SQL espera que as mensagens nos tópicos do Pub/Sub sejam serializadas no formato JSON.

Para atribuir um esquema ao tópico Pub/Sub de exemplo transactions:

1. Crie um ficheiro de texto e atribua-lhe o nome transactions_schema.yaml. Copie e cole o seguinte texto do esquema em transactions_schema.yaml.

     - column: event_timestamp
       description: Pub/Sub event timestamp
       mode: REQUIRED
       type: TIMESTAMP
     - column: tr_time_str
       description: Transaction time string
       mode: NULLABLE
       type: STRING
     - column: first_name
       description: First name
       mode: NULLABLE
       type: STRING
     - column: last_name
       description: Last name
       mode: NULLABLE
       type: STRING
     - column: city
       description: City
       mode: NULLABLE
       type: STRING
     - column: state
       description: State
       mode: NULLABLE
       type: STRING
     - column: product
       description: Product
       mode: NULLABLE
       type: STRING
     - column: amount
       description: Amount of transaction
       mode: NULLABLE
       type: FLOAT
   

2. Atribua o esquema através da CLI do Google Cloud.

   a. Atualize a CLI gcloud com o seguinte comando. Certifique-se de que a versão da CLI gcloud é 242.0.0 ou superior.

     gcloud components update

   b. Execute o seguinte comando numa janela de linha de comandos. Substitua project-id pelo ID do projeto e path-to-file pelo caminho para o ficheiro transactions_schema.yaml.

     gcloud data-catalog entries update \
       --lookup-entry='pubsub.topic.`project-id`.transactions' \
       --schema-from-file=path-to-file/transactions_schema.yaml

   Para mais informações sobre os parâmetros do comando e os formatos de ficheiros de esquema permitidos, consulte a página de documentação de gcloud data-catalog entries update.

   Nota: tem de usar ` para escapar a carateres especiais no ID do projeto.

   c. Confirme se o esquema foi atribuído com êxito ao tópico do transactions Pub/Sub. Substitua project-id pelo ID do seu projeto.

     gcloud data-catalog entries lookup 'pubsub.topic.`project-id`.transactions'

Encontre origens do Pub/Sub

A IU do SQL do Dataflow permite encontrar objetos de origem de dados do Pub/Sub para qualquer projeto ao qual tenha acesso, para que não tenha de se lembrar dos respetivos nomes completos.

Para o exemplo neste tutorial, navegue para o editor de SQL do Dataflow e pesquise o tópico do transactionsPub/Sub que criou:

1. Navegue para o SQL Workspace.

2. No painel Editor de SQL do Dataflow, na barra de pesquisa, pesquise projectid=project-id transactions. Substitua project-id pelo ID do seu projeto.

   

Veja o esquema

1. No painel Editor de SQL do Dataflow da IU de SQL do Dataflow, clique em transactions ou pesquise um tópico do Pub/Sub escrevendo projectid=project-id system=cloud_pubsub e selecione o tópico.

2. Em Esquema, pode ver o esquema que atribuiu ao tópico do Pub/Sub.

   

Crie uma consulta SQL

A IU do Dataflow SQL permite-lhe criar consultas SQL para executar as suas tarefas do Dataflow.

A seguinte consulta SQL é uma consulta de enriquecimento de dados. Adiciona um campo adicional, sales_region, ao fluxo de eventos do Pub/Sub (transactions), usando uma tabela do BigQuery (us_state_salesregions) que mapeia os estados para as regiões de vendas.

Copie e cole a seguinte consulta SQL no editor de consultas. Substitua project-id pelo ID do seu projeto.

SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
  INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
  ON tr.state = sr.state_code

Quando introduz uma consulta na IU de SQL do Dataflow, o validador de consultas valida a sintaxe da consulta. É apresentado um ícone de marca de verificação verde se a consulta for válida. Se a consulta for inválida, é apresentado um ícone de ponto de exclamação vermelho. Se a sintaxe da consulta for inválida, clique no ícone do validador para ver informações sobre o que tem de corrigir.

A captura de ecrã seguinte mostra a consulta válida no editor de consultas. O validador apresenta uma marca de verificação verde.



Crie uma tarefa do Dataflow para executar a sua consulta SQL

Se criou origens de exemplo: antes de executar a consulta SQL, execute o script transactions_injector.py Python numa janela de linha de comandos. O script publica periodicamente mensagens no seu tópico Pub/Sub, transactions, e o script continua a publicar mensagens no seu tópico até parar o script.

python transactions_injector.py

Para executar a consulta SQL, crie uma tarefa do Dataflow a partir da IU do Dataflow SQL.

1. No editor de consultas, clique em Criar tarefa.

2. No painel Criar tarefa do Dataflow apresentado:

   • Em Destino, selecione BigQuery.
   • Para ID do conjunto de dados, selecione dataflow_sql_tutorial.
   • Em Nome da tabela, introduza sales.

   

3. Opcional: o Dataflow escolhe automaticamente as definições que são ideais para a sua tarefa SQL do Dataflow, mas pode expandir o menu Parâmetros opcionais para especificar manualmente as seguintes opções de pipeline:

   • Número máximo de trabalhadores
   • Zona
   • Email da conta de serviço
   • Tipo de máquina
   • Experiências adicionais
   • Configuração do endereço IP do trabalhador
   • Rede
   • Sub-rede

4. Clique em Criar. A tarefa do Dataflow demora alguns minutos a começar a ser executada.

Veja a tarefa do Dataflow

O Dataflow transforma a sua consulta SQL num pipeline do Apache Beam. Clique em Ver tarefa para abrir a IU Web do Dataflow, onde pode ver uma representação gráfica do seu pipeline.



Para ver uma discriminação das transformações que ocorrem no pipeline, clique nas caixas. Por exemplo, se clicar na primeira caixa na representação gráfica, etiquetada como Executar consulta SQL, é apresentado um gráfico que mostra as operações que ocorrem nos bastidores.

As duas primeiras caixas representam as duas entradas que associou: o tópico do Pub/Sub, transactions, e a tabela do BigQuery, us_state_salesregions.



Para ver a tabela de resultados que contém os resultados da tarefa, aceda à IU do BigQuery. No painel Explorador, no seu projeto, clique no conjunto de dados dataflow_sql_tutorial que criou. Em seguida, clique na tabela de saída, sales. O separador Pré-visualização apresenta o conteúdo da tabela de saída.

Nota: a tabela de vendas não está disponível imediatamente. A tabela de saída tem de ser gerada primeiro.



Veja trabalhos anteriores e edite as suas consultas

A IU do Dataflow armazena tarefas e consultas anteriores na página Tarefas do Dataflow.

Pode usar a lista do histórico de tarefas para ver consultas SQL anteriores. Por exemplo, quer modificar a consulta para agregar as vendas por região de vendas a cada 15 segundos. Use a página Tarefas para aceder à tarefa em execução que iniciou anteriormente no tutorial, copie a consulta SQL e execute outra tarefa com uma consulta modificada.

1. Na página Tarefas do Dataflow, clique na tarefa que quer editar.

2. Na página Detalhes do trabalho, no painel Informações do trabalho, em Opções do pipeline, localize a consulta SQL. Localize a linha para queryString.

   

3. Copie e cole a seguinte consulta SQL no editor de SQL do Dataflow no espaço de trabalho de SQL para adicionar janelas deslizantes. Substitua project-id pelo ID do seu projeto.

    SELECT
      sr.sales_region,
      TUMBLE_START("INTERVAL 15 SECOND") AS period_start,
      SUM(tr.amount) as amount
    FROM pubsub.topic.`project-id`.transactions AS tr
      INNER JOIN bigquery.table.`project-id`.dataflow_sql_tutorial.us_state_salesregions AS sr
      ON tr.state = sr.state_code
    GROUP BY
      sr.sales_region,
      TUMBLE(tr.event_timestamp, "INTERVAL 15 SECOND")

4. Clique em Criar tarefa para criar uma nova tarefa com a consulta modificada.

Limpar

Para evitar incorrer em cobranças na sua conta do Cloud Billing pelos recursos usados neste tutorial:

1. Pare o script de publicação transactions_injector.py se ainda estiver em execução.

2. Pare os trabalhos do Dataflow em execução. Aceda à IU da Web do Dataflow na Google Cloud consola.

   Aceda à IU Web do Dataflow

   Para cada tarefa que criou seguindo este tutorial, siga os seguintes passos:

   1. Clique no nome da tarefa.

   2. Na página Detalhes da tarefa, clique em Parar. É apresentada a caixa de diálogo Parar tarefa com as opções de como parar a tarefa.

   3. Selecione Cancelar.

   4. Clique em Parar tarefa. O serviço interrompe todo o carregamento e processamento de dados assim que possível. Uma vez que Cancelar interrompe imediatamente o processamento, pode perder dados "em trânsito". A paragem de uma tarefa pode demorar alguns minutos.

3. Elimine o conjunto de dados do BigQuery. Aceda à IU da Web do BigQuery na Google Cloud consola.

   Aceda à IU Web do BigQuery

   1. No painel Explorador, na secção Recursos, clique no conjunto de dados dataflow_sql_tutorial que criou.

   2. No painel de detalhes, clique em Eliminar. É aberta uma caixa de diálogo de confirmação.

   3. Na caixa de diálogo Eliminar conjunto de dados, confirme o comando de eliminação escrevendo delete e, de seguida, clique em Eliminar.

4. Elimine o seu tópico Pub/Sub. Aceda à página de tópicos do Pub/Sub na Google Cloud consola.

   Aceda à página de tópicos do Pub/Sub

   1. Selecione o tópico transactions.

   2. Clique em Eliminar para eliminar o tópico permanentemente. É aberta uma caixa de diálogo de confirmação.

   3. Na caixa de diálogo Eliminar tópico, confirme o comando de eliminação escrevendo delete e, de seguida, clique em Eliminar.

   4. Aceda à página de subscrições do Pub/Sub.

   5. Selecione as subscrições restantes para o transactions. Se as suas tarefas já não estiverem a ser executadas, pode não haver subscrições.

   6. Clique em Eliminar para eliminar as subscrições permanentemente. Na caixa de diálogo de confirmação, clique em Eliminar.

5. Elimine o contentor de preparação do Dataflow no Cloud Storage. Aceda à página Recipientes do Cloud Storage na Google Cloud consola.

   Aceda a Recipientes

   1. Selecione o contentor de preparação do Dataflow.

   2. Clique em Eliminar para eliminar o contentor. É aberta uma caixa de diálogo de confirmação.

   3. Na caixa de diálogo Eliminar contentor, confirme o comando de eliminação escrevendo DELETE e, de seguida, clique em Eliminar.

O que se segue?

• Veja uma introdução ao Dataflow SQL.
• Saiba mais sobre as noções básicas da pipeline de streaming.
• Explore a referência de SQL do Dataflow.
• Veja a demonstração de estatísticas de streaming apresentada no Cloud Next 2019.