Visualizar consultas SQL

Neste documento, mostramos como visualizar a saída de uma consulta SQL em um espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Sobre a visualização de consulta no Dataform

Quando você desenvolve uma consulta em um arquivo SQLX ou JavaScript com o núcleo do Dataform, o Dataform compila a consulta para SQL em tempo real. Para testar a saída da consulta SQL compilada antes de executá-la no BigQuery, execute a visualização da consulta no seu espaço de trabalho do Dataform.

Quando você executa a visualização de uma consulta, o Dataform executa um job no BigQuery para executar a consulta compilada em uma tabela de destino temporária e mostrar os resultados no seu espaço de trabalho. É possível inspecionar a saída da consulta antes de acionar a execução para publicar a tabela no BigQuery. A tabela temporária com a consulta editada é excluída automaticamente em até 24 horas. Para mais informações sobre jobs do BigQuery, consulte Introdução aos jobs do BigQuery.

A execução da visualização da consulta no Dataform gera cobranças no BigQuery. Para mais informações sobre os preços do BigQuery, consulte Preços do BigQuery.

Durante a visualização da consulta, o Dataform usa as credenciais do usuário para executar jobs no BigQuery. No entanto, durante a execução do fluxo de trabalho, o Dataform usa as credenciais da conta de serviço para criar ou atualizar recursos no BigQuery.

O Dataform mostra os resultados de todas as consultas visualizadas durante a sessão atual do navegador no painel Resultados da consulta do seu espaço de trabalho. No painel Resultados da consulta, você pode conferir as seguintes informações sobre cada consulta que teve uma visualização durante a sessão atual do navegador:

  • Informações do job
    • ID da tarefa do BigQuery
    • Usuário executando a visualização
    • Local em que o job é executado, extraído do arquivo de configurações do fluxo de trabalho
    • Criação, início e término do job do BigQuery
    • Duração do job do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade de job
    • Uso de SQL legado na consulta
    • Tabela de destino temporária da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta, você pode navegar até o arquivo de origem de cada consulta visualizada e acessar o BigQuery Studio para conferir o job de visualização.

Antes de começar

  1. No Console do Google Cloud, acesse a página Dataform.

    Acesse a página do Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Crie uma consulta SQL. Por exemplo, defina uma tabela.

Funções exigidas

Para receber as permissões necessárias para visualizar consultas, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Editor do Dataform (roles/dataform.editor): espaços de trabalho
  • Usuário de jobs do BigQuery (roles/bigquery.jobUser): o projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Visualizar uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute a visualização de uma consulta no seu espaço de trabalho. Se o arquivo editado atualmente tiver várias consultas, selecione a que você quer visualizar. É possível visualizar uma consulta por vez.

A execução da visualização é um pouco diferente para tabelas com declarações. Para mais informações, consulte Visualizar uma tabela com declarações.

Para visualizar uma consulta SQL e os resultados dela em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Files, abra definitions/.
  2. Selecione um arquivo SQLX ou JavaScript.
  3. Clique em Executar.
    1. Se o arquivo tiver várias consultas, selecione a que você quer visualizar no menu suspenso.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de visualização no espaço de trabalho SQL, clique no menu Mais > Conferir job no espaço de trabalho SQL.

Visualizar uma tabela com declarações

Em um arquivo de definição de tabela SQLX com declarações, é possível visualizar a consulta de criação de tabela e as consultas de declaração definidas.

O Dataform trata a consulta de definição de tabela como a consulta padrão. Para visualizar a consulta de criação de tabela, clique em Executar no seu espaço de trabalho. Para visualizar uma consulta de declaração, selecione-a em um menu suspenso ao lado do botão Run. É possível visualizar uma consulta por vez.

Para visualizar uma consulta em um arquivo de definição de tabela com declarações em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Files, abra definitions/.
  2. Selecione um arquivo de definição de uma tabela com declarações.
  3. Abrir prévia:
    • Para conferir uma prévia da consulta de criação de tabela, clique em Executar.
    • Para visualizar uma consulta de declaração, clique no ícone do menu suspenso ao lado de Run e selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de visualização no espaço de trabalho SQL, clique no menu Mais > Conferir job no espaço de trabalho SQL.

A seguir