Visualizar consultas SQL

Neste documento, mostramos como visualizar a saída de uma consulta SQL em um espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Sobre a visualização de consultas no Dataform

Quando você desenvolve uma consulta em um arquivo SQLX ou JavaScript com o núcleo do Dataform, o Dataform compila a consulta para o SQL em tempo real. Para testar a saída da consulta SQL compilada antes de executá-la no BigQuery, execute uma visualização da consulta no espaço de trabalho do Dataform.

Quando você executa a visualização de uma consulta, o Dataform executa um job no BigQuery para fazer a consulta compilada em uma tabela de destino temporária e exibir os resultados da consulta no espaço de trabalho. É possível inspecionar a saída da consulta antes de acionar a execução para publicar sua tabela no BigQuery. A tabela temporária com a consulta visualizada é excluída automaticamente em até 24 horas. Para mais informações sobre jobs do BigQuery, consulte Introdução aos jobs do BigQuery.

A execução da visualização de consultas no Dataform incorre em faturamento no BigQuery. Para mais informações sobre os preços do BigQuery, consulte Preços do BigQuery.

Durante a visualização da consulta, o Dataform usa suas credenciais de usuário para executar jobs no BigQuery. No entanto, durante a execução do fluxo de trabalho, o Dataform usa as credenciais da sua conta de serviço para criar ou atualizar recursos no BigQuery.

O Dataform mostra os resultados de todas as consultas visualizadas durante a sessão atual do navegador no painel Resultados da consulta no seu espaço de trabalho. No painel Resultados da consulta, é possível ver as seguintes informações sobre cada consulta visualizada durante a sessão atual do navegador:

  • Informações do job
    • ID da tarefa do BigQuery
    • Usuário executando a visualização
    • Local em que o job é executado, extraído do arquivo dataform.json
    • Horários de criação, início e término do job do BigQuery
    • Duração do job do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade de job
    • uso de SQL legado na consulta
    • Tabela temporária de destino da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta, é possível navegar até o arquivo de origem de cada consulta visualizada e navegar até o BigQuery Studio para ver o job de visualização.

Antes de começar

  1. No console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Crie uma consulta SQL, por exemplo, defina uma tabela.

Funções exigidas

Para receber as permissões necessárias para visualizar consultas em um espaço de trabalho do Dataform, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Talvez você também consiga receber as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.

Visualizar uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute a visualização de uma consulta no seu espaço de trabalho. Se o arquivo editado tiver várias consultas, selecione a consulta que você quer visualizar. É possível visualizar uma consulta por vez.

A execução da visualização é um pouco diferente para tabelas com declarações. Para mais informações, consulte Visualizar uma tabela com declarações.

Para visualizar uma consulta SQL e ver os resultados da consulta em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Files, expanda definitions/.
  2. Selecione um arquivo SQLX ou JavaScript.
  3. Clique em Executar.
    1. Se o arquivo contiver várias consultas, na lista suspensa, selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para ver a saída JSON da consulta, selecione a guia JSON.
    4. Para visualizar o job de visualização no espaço de trabalho SQL, clique no menu Mais > Ver job no espaço de trabalho SQL.

Visualizar uma tabela com declarações

Em um arquivo de definição de tabela SQLX com declarações, é possível visualizar a consulta de criação da tabela e as consultas de declaração definidas.

O Dataform trata a consulta de definição de tabela como a consulta padrão. Para visualizar a consulta de criação da tabela, clique em Executar no seu espaço de trabalho. Para visualizar uma consulta de declaração, selecione-a em um menu suspenso ao lado do botão Run. É possível visualizar uma consulta por vez.

Para visualizar uma consulta em um arquivo de definição de tabela com declarações em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Files, expanda definitions/.
  2. Selecione um arquivo de definição de uma tabela com declarações.
  3. Prévia de execução:
    • Para visualizar a consulta de criação da tabela, clique em Executar.
    • Para visualizar uma consulta de declaração, clique no ícone de menu suspenso ao lado de Run e selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para ver a saída JSON da consulta, selecione a guia JSON.
    4. Para visualizar o job de visualização no espaço de trabalho SQL, clique no menu Mais > Ver job no espaço de trabalho SQL.

A seguir