Consultar um conjunto de dados público com a ferramenta bq

Aprenda a examinar e consultar um conjunto de dados público com a ferramenta de linha de comando bq.

Para seguir as instruções passo a passo desta tarefa diretamente no console do Google Cloud, clique em Orientação:

Orientações

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    3.

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    4.

  4. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

    5. Se você não ativar o faturamento do projeto do Google Cloud usado neste tutorial, será necessário trabalhar com dados no sandbox do BigQuery. O sandbox do BigQuery ensina você a usar o BigQuery com um conjunto limitado de recursos sem custos financeiros.

  5. Verifique se a API BigQuery está ativada.

    Ativar a API

    Se você criou um novo projeto, a API BigQuery será ativada automaticamente.

  6. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Examinar um conjunto de dados público

O BigQuery oferece várias tabelas de amostra no conjunto de dados bigquery-public-data.samples que podem ser consultadas. Neste tutorial, você vai executar consultas na tabela shakespeare, que contém uma entrada para cada palavra em todas as peças de Shakespeare.

Examine a tabela shakespeare no conjunto de dados samples:

bq show bigquery-public-data:samples.shakespeare

A resposta será semelhante a esta: Algumas colunas são omitidas para simplificar a saída.

  Last modified                  Schema                 Total Rows   Total Bytes
----------------- ------------------------------------ ------------ ------------
 14 Mar 17:16:45   |- word: string (required)           164656       6432064
                   |- word_count: integer (required)
                   |- corpus: string (required)
                   |- corpus_date: integer (required)

consulte um conjunto de dados público

Use o comando bq query para executar consultas SQL nos dados.

  1. Determine quantas vezes a substring raisin aparece nas obras de Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word,
      SUM(word_count) AS count
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word LIKE "%raisin%"
    GROUP BY
      word;'

    O resultado será assim:

    +---------------+-------+
|     word      | count |
+---------------+-------+
| praising      |     8 |
| Praising      |     4 |
| raising       |     5 |
| dispraising   |     2 |
| dispraisingly |     1 |
| raisins       |     1 |
+---------------+-------+

  2. Pesquise a substring huzzah nas obras de Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word = "huzzah";'

    Como a substring não aparece nas obras de Shakespeare, nenhum resultado é retornado.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud com esses recursos.

Excluir o projeto

Se você usou o sandbox do BigQuery para consultar o conjunto de dados público, o faturamento não está ativado para seu projeto.

O jeito mais fácil de evitar o faturamentos é excluindo o projeto criado para este tutorial.

Para excluir o projeto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir