Pré-visualize consultas SQL

Este documento mostra como pré-visualizar a saída de uma consulta SQL num espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Acerca da pré-visualização de consultas no Dataform

Quando desenvolve uma consulta num ficheiro SQLX ou JavaScript com o Dataform core, o Dataform compila a consulta para SQL em tempo real. Para testar o resultado da consulta SQL compilada antes de a executar no BigQuery, pode executar uma pré-visualização da consulta no seu espaço de trabalho do Dataform.

Quando executa a pré-visualização de uma consulta, o Dataform executa uma tarefa no BigQuery para executar a consulta compilada numa tabela de destino temporária e apresentar os resultados da consulta no seu espaço de trabalho. Pode inspecionar o resultado da consulta antes de acionar a execução para publicar a tabela no BigQuery. A tabela temporária com a consulta pré-visualizada é eliminada automaticamente no prazo de 24 horas. Para mais informações sobre tarefas do BigQuery, consulte o artigo Gerir tarefas.

A execução da pré-visualização de consultas no Dataform incorre em faturação no BigQuery. Para mais informações acerca dos preços do BigQuery, consulte o artigo Preços do BigQuery.

Durante a pré-visualização da consulta, o Dataform usa as suas credenciais de utilizador para executar tarefas no BigQuery. No entanto, durante a execução do fluxo de trabalho, o Dataform usa as credenciais da sua conta de serviço para criar ou atualizar recursos no BigQuery.

O Dataform apresenta os resultados de todas as consultas pré-visualizadas durante a sessão do navegador atual no painel Resultados da consulta no seu espaço de trabalho. No painel Resultados da consulta, pode ver as seguintes informações acerca de cada consulta visualizada em pré-visualização durante a sessão atual do navegador:

  • Informações do trabalho
    • ID da tarefa do BigQuery
    • O utilizador que executa a pré-visualização
    • Local onde a tarefa é executada, extraído do seu ficheiro de definições do fluxo de trabalho
    • Horas de criação, início e fim da tarefa do BigQuery
    • Duração da tarefa do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade do trabalho
    • Utilização do SQL antigo na consulta
    • Tabela de destino temporária da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta, pode navegar para o ficheiro de origem de cada consulta pré-visualizada e navegar para o BigQuery Studio para ver a tarefa de pré-visualização.

Antes de começar

  1. Na Google Cloud consola, aceda à página Dataform.

    Aceda à página do formulário de dados

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Criar uma consulta SQL, por exemplo, criar uma tabela.

Funções necessárias

Para receber as autorizações de que precisa para pré-visualizar consultas, peça ao seu administrador para lhe conceder as seguintes funções de IAM no seu projeto:

  • Editor do Dataform (roles/dataform.editor) – workspaces
  • Utilizador de tarefas do BigQuery (roles/bigquery.jobUser) – o projeto

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Pré-visualize uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute uma pré-visualização de uma consulta no seu espaço de trabalho. Se o ficheiro que está a editar contiver várias consultas, selecione a consulta que quer pré-visualizar. Pode pré-visualizar uma consulta de cada vez.

A execução da pré-visualização é ligeiramente diferente para tabelas com afirmações. Para mais informações, consulte o artigo Pré-visualize uma tabela com afirmações.

Para pré-visualizar uma consulta SQL e ver os resultados da consulta num espaço de trabalho do Dataform, siga estes passos:

  1. No painel Ficheiros, expanda definitions/.
  2. Selecione um ficheiro SQLX ou JavaScript.
  3. Clique em Executar.
    1. Se o ficheiro contiver várias consultas, no menu pendente, selecione a consulta que quer pré-visualizar.
  4. Inspeccione os resultados da pré-visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes da tarefa, selecione o separador Informações da tarefa.
    2. Para inspecionar os resultados da consulta, selecione o separador Resultados.
    3. Para ver a saída JSON da consulta, selecione o separador JSON.
    4. Para ver a tarefa de pré-visualização no espaço de trabalho SQL, clique no menu Mais > Ver tarefa no espaço de trabalho SQL.

Pré-visualize uma tabela com asserções

Num ficheiro de definição de tabela SQLX com asserções, pode pré-visualizar a consulta de criação de tabelas e as consultas de asserções definidas.

O Dataform trata a consulta de definição da tabela como a consulta predefinida. Para pré-visualizar a consulta de criação de tabelas, clique em Executar no espaço de trabalho. Para pré-visualizar uma consulta de afirmação, tem de a selecionar num menu pendente junto ao botão Executar. Pode pré-visualizar uma consulta de cada vez.

Para pré-visualizar uma consulta num ficheiro de definição de tabela com asserções num espaço de trabalho do Dataform, siga estes passos:

  1. No painel Ficheiros, expanda definitions/.
  2. Selecione um ficheiro de definição de uma tabela com afirmações.
  3. Executar pré-visualização:
    • Para pré-visualizar a consulta de criação de tabelas, clique em Executar.
    • Para pré-visualizar uma consulta de afirmação, clique no ícone de menu pendente junto a Executar e, de seguida, selecione a consulta que quer pré-visualizar.
  4. Inspeccione os resultados da pré-visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes da tarefa, selecione o separador Informações da tarefa.
    2. Para inspecionar os resultados da consulta, selecione o separador Resultados.
    3. Para ver a saída JSON da consulta, selecione o separador JSON.
    4. Para ver a tarefa de pré-visualização no espaço de trabalho SQL, clique no menu Mais > Ver tarefa no espaço de trabalho SQL.

O que se segue?