Consultar um conjunto de dados público com a ferramenta bq

Aprenda a examinar e consultar um conjunto de dados público com a ferramenta de linha de comando bq.

Para seguir as instruções passo a passo desta tarefa diretamente no console do Google Cloud, clique em Orientação:

Orientações

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

    3.

  3. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

    4.

  4. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

    5. Se você não ativar o faturamento do projeto do Google Cloud usado neste tutorial, será necessário trabalhar com dados no sandbox do BigQuery. O sandbox do BigQuery ensina você a usar o BigQuery com um conjunto limitado de recursos sem custos financeiros.

  5. Verifique se a API BigQuery está ativada.

    Ativar a API

    Se você criou um novo projeto, a API BigQuery será ativada automaticamente.

  6. No Console do Google Cloud, ative o Cloud Shell.

    Ativar o Cloud Shell

    Na parte inferior do Console do Google Cloud, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

Examinar um conjunto de dados público

O BigQuery oferece várias tabelas de amostra no conjunto de dados bigquery-public-data.samples que podem ser consultadas. Neste tutorial, você vai executar consultas na tabela shakespeare, que contém uma entrada para cada palavra em todas as peças de Shakespeare.

Examine a tabela shakespeare no conjunto de dados samples:

bq show bigquery-public-data:samples.shakespeare

A resposta será semelhante a esta: Algumas colunas são omitidas para simplificar a saída.

  Last modified                  Schema                 Total Rows   Total Bytes
----------------- ------------------------------------ ------------ ------------
 14 Mar 17:16:45   |- word: string (required)           164656       6432064
                   |- word_count: integer (required)
                   |- corpus: string (required)
                   |- corpus_date: integer (required)

consulte um conjunto de dados público

Use o comando bq query para executar consultas SQL nos dados.

  1. Determine quantas vezes a substring raisin aparece nas obras de Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word,
      SUM(word_count) AS count
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word LIKE "%raisin%"
    GROUP BY
      word;'

    O resultado será assim:

    +---------------+-------+
|     word      | count |
+---------------+-------+
| praising      |     8 |
| Praising      |     4 |
| raising       |     5 |
| dispraising   |     2 |
| dispraisingly |     1 |
| raisins       |     1 |
+---------------+-------+

  2. Pesquise a substring huzzah nas obras de Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word = "huzzah";'

    Como a substring não aparece nas obras de Shakespeare, nenhum resultado é retornado.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud com esses recursos.

Excluir o projeto

Se você usou o sandbox do BigQuery para consultar o conjunto de dados público, o faturamento não está ativado para seu projeto.

O jeito mais fácil de evitar o faturamentos é excluindo o projeto criado para este tutorial.

Para excluir o projeto:

  1. No Console do Google Cloud, acesse a página Gerenciar recursos.

    Acessar "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir