Consultar um conjunto de dados público com as bibliotecas de cliente do BigQuery
Saiba como consultar um conjunto de dados público com as bibliotecas de cliente do BigQuery.
Para seguir as instruções passo a passo desta tarefa diretamente no console do Google Cloud, selecione a linguagem de programação de sua preferência:
Faça o tour de C# Faça o tour de Go Faça o tour de Java Faça o tour de Node.js
Faça o tour do PHP Faça o tour do Python Faça o tour do Ruby
Antes de começar
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Escolha se você quer usar o sandbox do BigQuery sem custos financeiros ou ativar o faturamento do projeto do Google Cloud.
Se você não ativar o faturamento de um projeto, vai trabalhar automaticamente no sandbox do BigQuery. O sandbox do BigQuery ensina você a usar o BigQuery com um conjunto limitado de recursos sem custos financeiros. Se você não planeja usar seu projeto além deste documento, recomendamos usar o sandbox do BigQuery.
-
Enable the BigQuery API.
Para novos projetos, a API BigQuery é ativada automaticamente.
-
In the Google Cloud console, activate Cloud Shell.
Ative seu projeto do Google Cloud no Cloud Shell:
gcloud config set project PROJECT_ID
Substitua PROJECT_ID pelo projeto que você selecionou para este tutorial.
O resultado será assim:
Updated property [core/project].
consulte um conjunto de dados público
Selecione uma das seguintes linguagens:
C#
No Cloud Shell, crie um projeto C# e um arquivo:
dotnet new console -n BigQueryCsharpDemo
A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
Welcome to .NET 6.0! --------------------- SDK Version: 6.0.407 ... The template "Console App" was created successfully. ...
Esse comando cria um projeto do C# chamado
BigQueryCsharpDemo
e um arquivo chamadoProgram.cs
.Abra o editor do Cloud Shell:
cloudshell workspace BigQueryCsharpDemo
Para abrir um terminal no Editor do Cloud Shell, clique em Terminal > Novo terminal.
Instale a biblioteca de cliente do BigQuery para C#:
dotnet add package Google.Cloud.BigQuery.V2
A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
Determining projects to restore... Writing /tmp/tmpF7EKSd.tmp ... info : Writing assets file to disk. ...
Defina a variável
GOOGLE_PROJECT_ID
como o valorGOOGLE_CLOUD_PROJECT
e a exporte:export GOOGLE_PROJECT_ID=$GOOGLE_CLOUD_PROJECT
No painel Explorer, localize o projeto
BIGQUERYCSHARPDEMO
.Clique no arquivo
Program.cs
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, substitua o conteúdo do arquivo pelo seguinte código:No terminal, execute o script
Program.cs
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.dotnet run
O resultado será semelhante ao seguinte:
Query Results: ------------ https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente C# do BigQuery.
Go
No Cloud Shell, crie um projeto Go e um arquivo:
mkdir bigquery-go-quickstart \ && touch \ bigquery-go-quickstart/app.go
Esse comando cria um projeto Go chamado
bigquery-go-quickstart
e um arquivo chamadoapp.go
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-go-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Terminal > Novo terminal.
Crie um arquivo
go.mod
:go mod init quickstart
O resultado será assim:
go: creating new go.mod: module quickstart go: to add module requirements and sums: go mod tidy
Instale a biblioteca de cliente do BigQuery para Go:
go get cloud.google.com/go/bigquery
A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
go: downloading cloud.google.com/go/bigquery v1.49.0 go: downloading cloud.google.com/go v0.110.0 ... go: added cloud.google.com/go/bigquery v1.49.0 go: added cloud.google.com/go v0.110.0
No painel Explorer, localize o projeto
BIGQUERY-GO-QUICKSTART
.Clique no arquivo
app.go
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, copie o seguinte código no arquivoapp.go
:No terminal, execute o script
app.go
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.go run app.go
O resultado será semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente Go do BigQuery.
Java
No Cloud Shell, crie um projeto Java usando o Apache Maven:
mvn archetype:generate \ -DgroupId=com.google.app \ -DartifactId=bigquery-java-quickstart \ -DinteractiveMode=false
Esse comando cria um projeto Maven chamado
bigquery-java-quickstart
.A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
[INFO] Scanning for projects... ... [INFO] Building Maven Stub Project (No POM) 1 ... [INFO] BUILD SUCCESS ...
Há muitos sistemas de gerenciamento de dependências que podem ser usados além do Maven. Para mais informações, consulte como configurar um ambiente de desenvolvimento Java para usar com bibliotecas de cliente.
Renomeie o arquivo
App.java
que o Maven cria por padrão:mv \ bigquery-java-quickstart/src/main/java/com/google/app/App.java \ bigquery-java-quickstart/src/main/java/com/google/app/SimpleApp.java
Abra o Editor do Cloud Shell:
cloudshell workspace bigquery-java-quickstart
Se você receber uma solicitação para sincronizar o caminho de classe ou a configuração do Java, clique em Sempre.
Se você não receber uma solicitação e encontrar um erro relacionado ao caminho de classe durante este tutorial, faça o seguinte:
- Clique em Arquivo > Preferências > Abrir configurações (interface).
- Clique em Extensões > Java.
- Role até Configuração: atualizar a configuração do build e selecione automático.
No painel Explorer, localize o projeto
BIGQUERY-JAVA-QUICKSTART
.Clique no arquivo
pom.xml
para abri-lo.Dentro da tag
<dependencies>
, adicione a seguinte dependência após qualquer outra atual. Não substitua as dependências atuais.<dependency> <groupId>com.google.cloud</groupId> <artifactId>google-cloud-bigquery</artifactId> </dependency>
Na linha após a tag de fechamento (
</dependencies>
), adicione o seguinte:<dependencyManagement> <dependencies> <dependency> <groupId>com.google.cloud</groupId> <artifactId>libraries-bom</artifactId> <version>26.1.5</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement>
No painel Explorer, no projeto
BIGQUERY-JAVA-QUICKSTART
, clique em src > main/java/com/google/app > SimpleApp.java. O arquivo será aberto.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
, mantenha a primeira linha do arquivo (package com.google.app;
) e substitua o conteúdo restante do arquivo pelo seguinte código:A consulta retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas.
Clique com o botão direito do mouse em SimpleApp.java e clique em Executar Java. Se aparecer uma solicitação para você autorizar o Cloud Shell e concordar com os termos, clique em Autorizar.
O resultado será semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente Java do BigQuery.
Node.js
No Cloud Shell, crie um projeto Node.js e um arquivo:
mkdir bigquery-node-quickstart \ && touch \ bigquery-node-quickstart/app.js
Esse comando cria um projeto do Node.js chamado
bigquery-node-quickstart
e um arquivo chamadoapp.js
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-node-quickstart
Para abrir um terminal no editor do Cloud Shell, clique em Terminal > Novo terminal.
Instale a biblioteca de cliente Node.js do BigQuery:
npm install --save @google-cloud/bigquery
O resultado será assim:
added 63 packages in 2s
No painel Explorer, localize o projeto
BIGQUERY-NODE-QUICKSTART
.Clique no arquivo
app.js
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, copie o seguinte código no arquivoapp.js
:No terminal, execute o script
app.js
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.node app.js
O resultado será semelhante ao seguinte:
Query Results: url: https://stackoverflow.com/questions/35159967, 170023 views url: https://stackoverflow.com/questions/22879669, 142581 views url: https://stackoverflow.com/questions/10604135, 132406 views url: https://stackoverflow.com/questions/44564887, 128781 views url: https://stackoverflow.com/questions/27060396, 127008 views url: https://stackoverflow.com/questions/12482637, 120766 views url: https://stackoverflow.com/questions/20673986, 115720 views url: https://stackoverflow.com/questions/39109817, 108368 views url: https://stackoverflow.com/questions/11057219, 105175 views url: https://stackoverflow.com/questions/43195143, 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente Node.js do BigQuery.
PHP
No Cloud Shell, crie um projeto PHP e um arquivo:
mkdir bigquery-php-quickstart \ && touch \ bigquery-php-quickstart/app.php
Esse comando cria um projeto PHP chamado
bigquery-php-quickstart
e um arquivo chamadoapp.php
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-php-quickstart
Para abrir um terminal no Editor do Cloud Shell, clique em Terminal > Novo terminal.
Instale a biblioteca de cliente do BigQuery para PHP:
composer require google/cloud-bigquery
A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
Running composer update google/cloud-bigquery Loading composer repositories with package information Updating dependencies ... No security vulnerability advisories found Using version ^1.24 for google/cloud-bigquery
No painel Explorer, localize o projeto
BIGQUERY-PHP-QUICKSTART
.Clique no arquivo
app.php
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, copie o seguinte código no arquivoapp.php
:No terminal, execute o script
app.php
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.php app.php
O resultado será semelhante ao seguinte:
--- Row 1 --- url: https://stackoverflow.com/questions/35159967, 170023 views --- Row 2 --- url: https://stackoverflow.com/questions/22879669, 142581 views --- Row 3 --- url: https://stackoverflow.com/questions/10604135, 132406 views --- Row 4 --- url: https://stackoverflow.com/questions/44564887, 128781 views --- Row 5 --- url: https://stackoverflow.com/questions/27060396, 127008 views --- Row 6 --- url: https://stackoverflow.com/questions/12482637, 120766 views --- Row 7 --- url: https://stackoverflow.com/questions/20673986, 115720 views --- Row 8 --- url: https://stackoverflow.com/questions/39109817, 108368 views --- Row 9 --- url: https://stackoverflow.com/questions/11057219, 105175 views --- Row 10 --- url: https://stackoverflow.com/questions/43195143, 101878 views Found 10 row(s)
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente PHP do BigQuery.
Python
No Cloud Shell, crie um projeto Python e um arquivo:
mkdir bigquery-python-quickstart \ && touch \ bigquery-python-quickstart/app.py
Esse comando cria um projeto em Python chamado
bigquery-python-quickstart
e um arquivo chamadoapp.py
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-python-quickstart
Para abrir um terminal no Editor do Cloud Shell, clique em Terminal > Novo terminal.
Instale a biblioteca de cliente em Python do BigQuery:
pip install --upgrade google-cloud-bigquery
A resposta será semelhante a esta: Várias linhas são omitidas para simplificar a saída.
Installing collected packages: google-cloud-bigquery ... Successfully installed google-cloud-bigquery-3.9.0 ...
No painel Explorer, localize o projeto
BIGQUERY-PYTHON-QUICKSTART
.Clique no arquivo
app.py
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, copie o seguinte código no arquivoapp.py
:No terminal, execute o script
app.py
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.python app.py
O resultado será semelhante ao seguinte:
https://stackoverflow.com/questions/35159967 : 170023 views https://stackoverflow.com/questions/22879669 : 142581 views https://stackoverflow.com/questions/10604135 : 132406 views https://stackoverflow.com/questions/44564887 : 128781 views https://stackoverflow.com/questions/27060396 : 127008 views https://stackoverflow.com/questions/12482637 : 120766 views https://stackoverflow.com/questions/20673986 : 115720 views https://stackoverflow.com/questions/39109817 : 108368 views https://stackoverflow.com/questions/11057219 : 105175 views https://stackoverflow.com/questions/43195143 : 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente Python do BigQuery.
Ruby
No Cloud Shell, crie um projeto Ruby e um arquivo:
mkdir bigquery-ruby-quickstart \ && touch \ bigquery-ruby-quickstart/app.rb
Esse comando cria um projeto Ruby chamado
bigquery-ruby-quickstart
e um arquivo chamadoapp.rb
.Abra o editor do Cloud Shell:
cloudshell workspace bigquery-ruby-quickstart
Para abrir um terminal no Editor do Cloud Shell, clique em Terminal > Novo terminal.
Instale a biblioteca de cliente do BigQuery para Ruby:
gem install google-cloud-bigquery
A resposta será semelhante a esta. Várias linhas são omitidas para simplificar a saída.
23 gems installed
No painel Explorer, localize o projeto
BIGQUERY-RUBY-QUICKSTART
.Clique no arquivo
app.rb
para abri-lo.Para criar uma consulta no conjunto de dados
bigquery-public-data.stackoverflow
que retorna as 10 páginas mais visualizadas do Stack Overflow e as contagens de visualização delas, copie o seguinte código no arquivoapp.rb
:No terminal, execute o script
app.rb
. Se for solicitado que você autorize o Cloud Shell e concorde com os termos, clique em Autorizar.ruby app.rb
O resultado será semelhante ao seguinte:
https://stackoverflow.com/questions/35159967: 170023 views https://stackoverflow.com/questions/22879669: 142581 views https://stackoverflow.com/questions/10604135: 132406 views https://stackoverflow.com/questions/44564887: 128781 views https://stackoverflow.com/questions/27060396: 127008 views https://stackoverflow.com/questions/12482637: 120766 views https://stackoverflow.com/questions/20673986: 115720 views https://stackoverflow.com/questions/39109817: 108368 views https://stackoverflow.com/questions/11057219: 105175 views https://stackoverflow.com/questions/43195143: 101878 views
Você consultou com sucesso um conjunto de dados público com a biblioteca de cliente Ruby do BigQuery.
Limpar
Para evitar cobranças na sua conta do Google Cloud, exclua o projeto do Google Cloud ou os recursos criados neste tutorial.
Excluir o projeto
O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.
Para excluir o projeto, faça o seguinte:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Excluir os recursos
Se você usou um projeto atual, exclua os recursos criados:
C#
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
BigQueryCsharpDemo
que você criou:rm -R BigQueryCsharpDemo
A sinalização
-R
exclui todos os recursos em uma pasta.
Go
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-go-quickstart
que você criou:rm -R bigquery-go-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
Java
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-java-quickstart
que você criou:rm -R bigquery-java-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
Node.js
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-node-quickstart
que você criou:rm -R bigquery-node-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
PHP
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-php-quickstart
que você criou:rm -R bigquery-php-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
Python
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-python-quickstart
que você criou:rm -R bigquery-python-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
Ruby
No Cloud Shell, mova um diretório para cima:
cd ..
Exclua a pasta
bigquery-ruby-quickstart
que você criou:rm -R bigquery-ruby-quickstart
A sinalização
-R
exclui todos os recursos em uma pasta.
A seguir
- Saiba mais sobre como usar as bibliotecas de cliente do BigQuery.
- Saiba mais sobre os conjuntos de dados públicos do BigQuery.
- Aprenda a carregar dados no BigQuery.
- Saiba mais sobre como consultar dados no BigQuery.
- Receba atualizações sobre o BigQuery.
- Saiba mais sobre o preço do BigQuery.
- Saiba mais sobre cotas e limites do BigQuery.