O BigQuery hospeda vários conjuntos de dados públicos disponíveis ao público em geral para consulta. Neste tutorial, você criará um fluxo de trabalho que executa vários jobs de consulta do BigQuery em paralelo, demonstrando uma melhoria no desempenho em comparação com a execução dos jobs em série, um após o outro.
Objetivos
Neste tutorial, você aprenderá a:- Execute uma consulta em um conjunto de dados público da Wikipédia para determinar os títulos mais visualizados em um mês específico.
- Implantar e executar um fluxo de trabalho que execute vários jobs de consulta do BigQuery em série, um após o outro.
- Implantar e executar um fluxo de trabalho que execute os jobs do BigQuery usando a iteração paralela, em que loops
for
comuns são executados em paralelo.
É possível executar os comandos a seguir no console do Google Cloud ou usando a Google Cloud CLI no seu terminal ou no Cloud Shell.
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Antes de começar
As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito do Google Cloud.
Console
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Workflows.
-
Crie uma conta de serviço:
-
No Console do Google Cloud, acesse a página Criar conta de serviço.
Acesse "Criar conta de serviço" - Selecione o projeto.
-
No campo Nome da conta de serviço, insira um nome. O Console do Google Cloud preenche o campo ID da conta de serviço com base nesse nome.
No campo Descrição da conta de serviço, insira uma descrição. Por exemplo,
Service account for quickstart
. - Clique em Criar e continuar.
-
Conceda os papéis a seguir à conta de serviço: BigQuery > BigQuery Job User, Logging > Logs Writer
Para conceder um papel, encontre a lista Selecionar um papel e escolha uma opção.
Para conceder outros papéis, clique em
Adicionar outro papel e adicione cada papel adicional. - Clique em Continuar.
-
Clique em Concluído para terminar a criação da conta de serviço.
-
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Workflows.
-
Crie uma conta de serviço:
-
No Console do Google Cloud, acesse a página Criar conta de serviço.
Acesse "Criar conta de serviço" - Selecione o projeto.
-
No campo Nome da conta de serviço, insira um nome. O Console do Google Cloud preenche o campo ID da conta de serviço com base nesse nome.
No campo Descrição da conta de serviço, insira uma descrição. Por exemplo,
Service account for quickstart
. - Clique em Criar e continuar.
-
Conceda os papéis a seguir à conta de serviço: BigQuery > BigQuery Job User, Logging > Logs Writer
Para conceder um papel, encontre a lista Selecionar um papel e escolha uma opção.
Para conceder outros papéis, clique em
Adicionar outro papel e adicione cada papel adicional. - Clique em Continuar.
-
Clique em Concluído para terminar a criação da conta de serviço.
-
gcloud
-
Faça login na sua Conta do Google.
Se você ainda não tiver uma, inscreva-se agora.
- Instale a CLI do Google Cloud.
-
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init
-
Crie ou selecione um projeto do Google Cloud.
-
Crie um projeto do Google Cloud:
gcloud projects create PROJECT_ID
Substitua
PROJECT_ID
por um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto do Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_ID
pelo nome do projeto do Google Cloud.
-
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Workflows:
gcloud services enable workflows.googleapis.com
-
Configure a autenticação:
-
Crie a conta de serviço:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Substitua
SERVICE_ACCOUNT_NAME
por um nome para a conta de serviço. -
Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM:
roles/bigquery.jobUser, roles/logging.logWriter
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Substitua:
SERVICE_ACCOUNT_NAME
: o nome da conta de serviço.PROJECT_ID
: o ID do projeto em que você criou a conta de serviçoROLE
: o papel a ser concedido
-
- Instale a CLI do Google Cloud.
-
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init
-
Crie ou selecione um projeto do Google Cloud.
-
Crie um projeto do Google Cloud:
gcloud projects create PROJECT_ID
Substitua
PROJECT_ID
por um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto do Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_ID
pelo nome do projeto do Google Cloud.
-
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Workflows:
gcloud services enable workflows.googleapis.com
-
Configure a autenticação:
-
Crie a conta de serviço:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Substitua
SERVICE_ACCOUNT_NAME
por um nome para a conta de serviço. -
Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM:
roles/bigquery.jobUser, roles/logging.logWriter
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
Substitua:
SERVICE_ACCOUNT_NAME
: o nome da conta de serviço.PROJECT_ID
: o ID do projeto em que você criou a conta de serviçoROLE
: o papel a ser concedido
-
execute um job de consulta do BigQuery
No BigQuery, é possível executar um job de consulta interativa (sob demanda). Para mais informações, consulte Como executar jobs de consulta interativos e em lote.
Console
No Console do Google Cloud, acesse a página BigQuery.
Digite a seguinte consulta SQL do BigQuery na área de texto do Editor de consultas:
SELECT TITLE, SUM(views) FROM `bigquery-samples.wikipedia_pageviews.201207h` GROUP BY TITLE ORDER BY SUM(views) DESC LIMIT 100
Clique em Executar.
bq
No seu terminal, insira o seguinte comando bq query
para executar uma consulta interativa usando a sintaxe SQL padrão:
bq query \
--use_legacy_sql=false \
'SELECT
TITLE, SUM(views)
FROM
`bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
TITLE
ORDER BY
SUM(views) DESC
LIMIT 100'
Isso executa uma consulta que retorna os 100 principais títulos da Wikipédia com mais visualizações em um mês específico e grava a saída em uma tabela temporária.
Observe quanto tempo a consulta leva para ser executada.
Implantar um fluxo de trabalho que execute várias consultas em série
Uma definição de fluxo de trabalho é composta por uma série de etapas descritas usando a sintaxe de fluxos de trabalho. Depois de criar um fluxo de trabalho, você o implanta para disponibilizá-lo para execução. A etapa de implantação também valida que o arquivo de origem pode ser executado.
O fluxo de trabalho a seguir define uma lista de cinco tabelas para executar uma consulta usando o conector do BigQuery do Workflows. As consultas são executadas em série, uma após a outra, e os títulos mais visualizados de cada tabela são salvos em um mapa de resultados.
Console
No console do Google Cloud, acesse a página Fluxos de trabalho.
Clique em Criar.
Insira um nome para o novo fluxo de trabalho, como
workflow-serial-bqjobs
.Escolha uma região apropriada; por exemplo: us-central1.
Selecione a conta de serviço que você criou anteriormente.
Você já deve ter concedido os papéis do IAM BigQuery > BigQuery Job User e Logging > Gravador de registros à conta de serviço.
Clique em Próxima.
No editor de fluxo de trabalho, insira a seguinte definição para seu fluxo de trabalho:
Selecione Implantar.
gcloud
Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:
touch workflow-serial-bqjobs.yaml
Copie o fluxo de trabalho a seguir para seu arquivo de código-fonte:
Implante o fluxo de trabalho digitando o seguinte comando:
gcloud workflows deploy workflow-serial-bqjobs \ --source=workflow-serial-bqjobs.yaml \ --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
Substitua
MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
pelo e-mail da conta de serviço que você criou anteriormente.Você já deve ter concedido os papéis do IAM
roles/bigquery.jobUser
eroles/logging.logWriter
à conta de serviço.
Executar o fluxo de trabalho e várias consultas em série
Quando um fluxo de trabalho é executado, a definição atual associada a ele também é.
Console
No console do Google Cloud, acesse a página Fluxos de trabalho.
Na página Fluxos de trabalho, selecione o fluxo de trabalho workflow-serial-bqjobs para acessar a página de detalhes.
Na página Detalhes do fluxo de trabalho, clique em play_arrow Executar.
Clique em Executar novamente.
Veja os resultados do fluxo de trabalho no painel Saída.
gcloud
Abra um terminal.
Execute o fluxo de trabalho:
gcloud workflows run workflow-serial-bqjob
A execução do fluxo de trabalho leva aproximadamente um minuto ou cinco vezes o tempo de execução anterior. O resultado incluirá cada tabela e será semelhante ao seguinte:
{
"201201h": {
"title": "Special:Search",
"views": "14591339"
},
"201202h": {
"title": "Special:Search",
"views": "132765420"
},
"201203h": {
"title": "Special:Search",
"views": "123316818"
},
"201204h": {
"title": "Special:Search",
"views": "116830614"
},
"201205h": {
"title": "Special:Search",
"views": "131357063"
}
}
Implantar e executar um fluxo de trabalho que executa várias consultas em paralelo
Em vez de executar cinco consultas em sequência, é possível executá-las em paralelo fazendo algumas alterações:
- runQueries:
parallel:
shared: [results]
for:
value: table
in: ${tables}
- Uma etapa
parallel
permite que cada iteração da repetiçãofor
seja executada em paralelo. A variável
results
é declarada comoshared
, o que permite que ela seja gravável por uma ramificação, e o resultado de cada ramificação pode ser anexado a ela.
Console
No console do Google Cloud, acesse a página Fluxos de trabalho.
Clique em Criar.
Insira um nome para o novo fluxo de trabalho, como
workflow-parallel-bqjobs
.Escolha uma região apropriada; por exemplo: us-central1.
Selecione a conta de serviço que você criou anteriormente.
Clique em Próxima.
No editor de fluxo de trabalho, insira a seguinte definição para seu fluxo de trabalho:
Selecione Implantar.
Na página Detalhes do fluxo de trabalho, clique em play_arrow Executar.
Clique em Executar novamente.
Veja os resultados do fluxo de trabalho no painel Saída.
gcloud
Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:
touch workflow-parallel-bqjobs.yaml
Copie o fluxo de trabalho a seguir para seu arquivo de código-fonte:
Implante o fluxo de trabalho digitando o seguinte comando:
gcloud workflows deploy workflow-parallell-bqjobs \ --source=workflow-parallel-bqjobs.yaml \ --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
Substitua
MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
pelo e-mail da conta de serviço que você criou anteriormente.Execute o fluxo de trabalho:
gcloud workflows run workflow-serial-bqjob
O resultado será semelhante ao resultado anterior, mas a execução do fluxo de trabalho leva aproximadamente vinte segundos ou menos.
Limpar
Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.
Exclua o projeto
O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.
Para excluir o projeto:
- No Console do Google Cloud, acesse a página Gerenciar recursos.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
Excluir recursos do tutorial
Exclua os fluxos de trabalho criados neste tutorial:
gcloud workflows delete WORKFLOW_NAME
A seguir
- Para saber mais sobre etapas paralelas, consulte Executar etapas paralelas.
- Para saber mais sobre os conectores do Workflows, consulte Noções básicas sobre conectores.
- Para saber mais sobre Workflows, consulte a Visão geral de fluxos de trabalho.