Visualizar consultas SQL

Este documento mostra como visualizar a saída de uma consulta SQL em uma Espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Sobre a visualização de consultas no Dataform

Ao desenvolver uma consulta em um arquivo SQLX ou JavaScript com Dataform Core e Dataform compila a consulta no SQL em tempo real. Para testar a saída do SQL compilado antes de executá-la no BigQuery, você pode executar uma visualização no espaço de trabalho do Dataform.

Quando você visualiza uma consulta, o Dataform executa um job BigQuery para executar sua consulta compilada em um destino temporário e exibir os resultados da consulta no seu espaço de trabalho. É possível inspecionar a saída a consulta antes de acionar a execução para publicar sua tabela no no BigQuery. A tabela temporária com a consulta visualizada é automaticamente serão excluídos em até 24 horas. Para mais informações sobre jobs do BigQuery, consulte Introdução aos jobs do BigQuery.

A execução da visualização da consulta no Dataform gera faturamento no BigQuery. Para mais informações sobre os preços do BigQuery, consulte BigQuery Preços.

Durante a visualização da consulta, o Dataform usa suas credenciais de usuário para executar jobs no BigQuery. No entanto, durante a execução do fluxo de trabalho, o Dataform usa as credenciais da conta de serviço para criar ou atualizar recursos no BigQuery.

O Dataform exibe os resultados de todas as consultas visualizadas durante o sessão do navegador no painel Resultados da consulta no seu espaço de trabalho. Na consulta resultados, é possível ver as seguintes informações sobre cada consulta visualizados durante a sessão atual do navegador:

  • Informações do job
    • ID do job do BigQuery
    • Usuário executando a visualização
    • Local em que o job é executado, retirado do arquivo de configurações do fluxo de trabalho
    • Horários de criação, início e término do job do BigQuery
    • Duração do job do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade de job
    • Uso do SQL legado na consulta
    • Tabela temporária de destino da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta, você pode navegar até o arquivo de origem da cada consulta visualizada e navegue até o BigQuery Studio para exibir a visualização trabalho.

Antes de começar

  1. No Console do Google Cloud, acesse a página Dataform.

    Acessar a página do Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Crie uma consulta SQL, por exemplo, defina uma tabela.

Funções exigidas

Para ter as permissões necessárias para visualizar consultas, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Editor do Dataform (roles/dataform.editor): espaços de trabalho
  • Usuário de jobs do BigQuery (roles/bigquery.jobUser): projeto

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Visualizar uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute a visualização de um no espaço de trabalho. Se o arquivo editado tiver várias consultas, selecione a consulta que você quer visualizar. É possível visualizar uma consulta por vez.

A execução da visualização é um pouco diferente para tabelas com declarações. Para mais mais informações, consulte Visualizar uma tabela com declarações.

Visualizar uma consulta SQL e ver os resultados dela em um Dataform Workspace, siga estas etapas:

  1. No painel Files, expanda definitions/.
  2. Selecione um arquivo SQLX ou JavaScript.
  3. Clique em Executar.
    1. Se o arquivo tiver várias consultas, no menu suspenso, selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para visualizar a saída JSON da consulta, selecione a guia JSON.
    4. Para exibir o job de visualização no espaço de trabalho do SQL, clique no Menu Mais > Ver job no espaço de trabalho SQL.

Visualizar uma tabela com declarações

Em um arquivo de definição de tabela SQLX com declarações, é possível visualizar a tabela consulta de criação e as consultas de declaração definidas.

O Dataform trata a consulta de definição de tabela como a consulta padrão. Para visualizar a consulta de criação da tabela e clicar em Executar no seu espaço de trabalho. Para visualizar um de declaração de propriedade, você precisa selecioná-la em uma lista suspensa ao lado da Botão Executar. É possível visualizar uma consulta por vez.

Para visualizar uma consulta em um arquivo de definição de tabela com declarações em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Files, expanda definitions/.
  2. Selecione um arquivo de definição de uma tabela com declarações.
  3. Executar visualização:
    • Para visualizar a consulta de criação da tabela, clique em Executar.
    • Para visualizar uma consulta de declaração, clique no ícone de menu suspenso próximo a Executar e depois selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para visualizar a saída JSON da consulta, selecione a guia JSON.
    4. Para exibir o job de visualização no espaço de trabalho do SQL, clique no Menu Mais > Ver job no espaço de trabalho SQL.

A seguir