Membuat kueri set data publik dengan alat bq

Pelajari cara memeriksa dan membuat kueri set data publik dengan alat command line bq.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di konsol Google Cloud, klik Pandu saya:

Pandu saya

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

    3.

  3. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

    4.

  4. Make sure that billing is enabled for your Google Cloud project.

    5. Jika tidak mengaktifkan penagihan untuk project Google Cloud yang Anda gunakan dalam tutorial ini, Anda akan menggunakan data di sandbox BigQuery. Sandbox BigQuery memungkinkan Anda mempelajari BigQuery dengan sekumpulan fitur BigQuery terbatas tanpa biaya.

  5. Pastikan BigQuery API diaktifkan.

    Mengaktifkan API

    Jika Anda membuat project baru, BigQuery API akan otomatis diaktifkan.

  6. Di konsol Google Cloud, aktifkan Cloud Shell.

    Aktifkan Cloud Shell

    Di bagian bawah Google Cloud Console, Cloud Shell sesi akan terbuka dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi sesi.

Memeriksa set data publik

BigQuery menawarkan beberapa tabel contoh dalam set data bigquery-public-data.samples yang dapat Anda buat kuerinya. Dalam tutorial ini, Anda menjalankan kueri di tabel shakespeare yang berisi entri untuk setiap kata dalam setiap drama Shakespeare.

Periksa tabel shakespeare dalam set data samples:

bq show bigquery-public-data:samples.shakespeare

Outputnya mirip dengan berikut ini. Beberapa kolom dihilangkan untuk menyederhanakan output.

  Last modified                  Schema                 Total Rows   Total Bytes
----------------- ------------------------------------ ------------ ------------
 14 Mar 17:16:45   |- word: string (required)           164656       6432064
                   |- word_count: integer (required)
                   |- corpus: string (required)
                   |- corpus_date: integer (required)

Membuat kueri set data publik

Gunakan perintah bq query untuk menjalankan kueri SQL pada data.

  1. Tentukan berapa kali substring raisin muncul dalam karya Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word,
      SUM(word_count) AS count
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word LIKE "%raisin%"
    GROUP BY
      word;'

    Outputnya mirip dengan hal berikut ini:

    +---------------+-------+
|     word      | count |
+---------------+-------+
| praising      |     8 |
| Praising      |     4 |
| raising       |     5 |
| dispraising   |     2 |
| dispraisingly |     1 |
| raisins       |     1 |
+---------------+-------+

  2. Telusuri substring huzzah dalam karya Shakespeare:

    bq query --use_legacy_sql=false \
    'SELECT
      word
    FROM
      `bigquery-public-data.samples.shakespeare`
    WHERE
      word = "huzzah";'

    Karena substring tidak muncul dalam karya Shakespeare, tidak ada hasil yang ditampilkan.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, hapus project Google Cloud yang berisi resource tersebut.

Menghapus project

Jika Anda menggunakan sandbox BigQuery untuk meng-kueri set data publik, penagihan tidak akan diaktifkan untuk project Anda.

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya