Menjalankan beberapa tugas BigQuery secara paralel

---

BigQuery menghosting sejumlah set data publik yang tersedia bagi masyarakat umum untuk melakukan kueri. Dalam tutorial ini, Anda akan membuat alur kerja yang menjalankan beberapa tugas kueri BigQuery secara paralel. Ini akan menunjukkan peningkatan performa jika dibandingkan dengan menjalankan tugas secara berurutan, satu demi satu.

Tujuan

Dalam tutorial ini, Anda akan:

1. Jalankan kueri terhadap set data publik Wikipedia untuk menentukan judul yang paling sering dilihat pada bulan tertentu.
2. Men-deploy dan menjalankan alur kerja yang menjalankan beberapa tugas kueri BigQuery secara berurutan, satu demi satu.
3. Deploy dan jalankan alur kerja yang menjalankan tugas BigQuery menggunakan iterasi paralel, dan tempat loop for biasa dijalankan secara paralel.

Anda dapat menjalankan perintah berikut di Konsol Google Cloud, atau dengan menggunakan Google Cloud CLI di terminal atau Cloud Shell.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• BigQuery
• Workflows

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Batasan keamanan yang ditentukan oleh organisasi mungkin mencegah Anda menyelesaikan langkah-langkah berikut. Untuk mengetahui informasi pemecahan masalah, lihat Mengembangkan aplikasi di lingkungan Google Cloud yang terbatas.

Konsol

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Make sure that billing is enabled for your Google Cloud project.

4. Aktifkan API Workflows.

   Mengaktifkan API

5. Buat akun layanan:

   1. Di konsol Google Cloud, buka halaman Buat akun layanan.

      Buka Create service account
   2. Pilih project Anda.

   3. Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud akan mengisi kolom ID akun layanan berdasarkan nama ini.

      Di kolom Deskripsi akun layanan, masukkan sebuah deskripsi. Sebagai contoh, Service account for quickstart.

   4. Klik Buat dan lanjutkan.

   5. Berikan peran berikut ke akun layanan: BigQuery > BigQuery Job User, Logging > Logs Writer.

      Untuk memberikan peran, temukan daftar Pilih peran, lalu pilih peran.

      Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.

      Catatan: Kolom Peran memengaruhi resource mana yang dapat diakses oleh akun layanan di project Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan berikan peran Owner, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.
   6. Klik Lanjutkan.

   7. Klik Selesai untuk menyelesaikan pembuatan akun layanan.

6. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

7. Make sure that billing is enabled for your Google Cloud project.

8. Aktifkan API Workflows.

   Mengaktifkan API

9. Buat akun layanan:

   1. Di konsol Google Cloud, buka halaman Buat akun layanan.

      Buka Create service account
   2. Pilih project Anda.

   3. Di kolom Nama akun layanan, masukkan nama. Konsol Google Cloud akan mengisi kolom ID akun layanan berdasarkan nama ini.

      Di kolom Deskripsi akun layanan, masukkan sebuah deskripsi. Sebagai contoh, Service account for quickstart.

   4. Klik Buat dan lanjutkan.

   5. Berikan peran berikut ke akun layanan: BigQuery > BigQuery Job User, Logging > Logs Writer.

      Untuk memberikan peran, temukan daftar Pilih peran, lalu pilih peran.

      Untuk memberikan peran tambahan, klik Tambahkan peran lain, lalu tambahkan setiap peran tambahan.

      Catatan: Kolom Peran memengaruhi resource mana yang dapat diakses oleh akun layanan di project Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan berikan peran Owner, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.
   6. Klik Lanjutkan.

   7. Klik Selesai untuk menyelesaikan pembuatan akun layanan.

gcloud

1. Sign in to your Google Account.

   If you don't already have one, sign up for a new account.

2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Buat atau pilih project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   • Membuat project Google Cloud:

     gcloud projects create PROJECT_ID

     Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.

   • Pilih project Google Cloud yang Anda buat:

     gcloud config set project PROJECT_ID

     Ganti PROJECT_ID dengan nama project Google Cloud Anda.

5. Make sure that billing is enabled for your Google Cloud project.

6. Aktifkan API Workflows:

   gcloud services enable workflows.googleapis.com

7. Menyiapkan autentikasi:

   1. Buat akun layanan:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Ganti SERVICE_ACCOUNT_NAME dengan nama untuk akun layanan.

   2. Memberikan peran ke akun layanan. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/bigquery.jobUser, roles/logging.logWriter:

      gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

      Ganti kode berikut:

      • SERVICE_ACCOUNT_NAME: nama dari akun layanan.
      • PROJECT_ID: project ID dimana Anda membuat akun layanan
      • ROLE: peran yang akan diberikan
      Catatan: Flag --role memengaruhi resource mana saja yang dapat diakses oleh akun layanan dalam proyek Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan berikan peran Owner, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.
8. Install the Google Cloud CLI.

9. To initialize the gcloud CLI, run the following command:

   gcloud init

10. Buat atau pilih project Google Cloud.

    Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

    • Membuat project Google Cloud:

      gcloud projects create PROJECT_ID

      Ganti PROJECT_ID dengan nama untuk project Google Cloud yang Anda buat.

    • Pilih project Google Cloud yang Anda buat:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan nama project Google Cloud Anda.

11. Make sure that billing is enabled for your Google Cloud project.

12. Aktifkan API Workflows:

    gcloud services enable workflows.googleapis.com

13. Menyiapkan autentikasi:

    1. Buat akun layanan:

       gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

       Ganti SERVICE_ACCOUNT_NAME dengan nama untuk akun layanan.

    2. Memberikan peran ke akun layanan. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/bigquery.jobUser, roles/logging.logWriter:

       gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

       Ganti kode berikut:

       • SERVICE_ACCOUNT_NAME: nama dari akun layanan.
       • PROJECT_ID: project ID dimana Anda membuat akun layanan
       • ROLE: peran yang akan diberikan
       Catatan: Flag --role memengaruhi resource mana saja yang dapat diakses oleh akun layanan dalam proyek Anda. Anda dapat mencabut peran ini atau memberikan peran tambahan di lain waktu. Dalam lingkungan produksi, jangan berikan peran Owner, Editor, atau Viewer. Sebagai gantinya, berikan peran standar atau peran khusus yang memenuhi kebutuhan Anda.

Menjalankan tugas kueri BigQuery

Di BigQuery, Anda dapat menjalankan tugas kueri interaktif (sesuai permintaan). Untuk mengetahui informasi selengkapnya, lihat Menjalankan tugas kueri batch dan interaktif.

Konsol

1. Di konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Masukkan kueri SQL BigQuery berikut di area teks Editor kueri:

   SELECT TITLE, SUM(views)
   FROM `bigquery-samples.wikipedia_pageviews.201207h`
   GROUP BY TITLE
   ORDER BY SUM(views) DESC
   LIMIT 100
   

3. Klik Run.

bq

Di terminal Anda, masukkan perintah bq query berikut untuk menjalankan kueri interaktif menggunakan sintaksis SQL standar:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Tindakan ini menjalankan kueri yang menampilkan 100 judul Wikipedia teratas dengan penayangan terbanyak pada bulan tertentu dan menulis output ke tabel sementara.

Perhatikan berapa lama waktu yang dibutuhkan untuk menjalankan kueri.

Men-deploy alur kerja yang menjalankan beberapa kueri secara berurutan

Definisi alur kerja terdiri dari serangkaian langkah yang dijelaskan menggunakan sintaksis alur kerja. Setelah membuat alur kerja, Anda men-deploy-nya agar tersedia untuk dieksekusi. Langkah deployment juga memvalidasi bahwa file sumber dapat dijalankan.

Alur kerja berikut menentukan daftar lima tabel untuk menjalankan kueri menggunakan konektor BigQuery Workflows. Kueri dijalankan secara berurutan, satu demi satu, dan judul yang paling sering dilihat dari setiap tabel akan disimpan ke peta hasil.

Konsol

1. Di konsol Google Cloud, buka halaman Workflows:

   Buka Workflows

2. Klik Create.

3. Masukkan nama untuk alur kerja baru, seperti workflow-serial-bqjobs.

4. Pilih region yang sesuai; misalnya, us-central1.

5. Pilih akun layanan yang telah dibuat sebelumnya.

   Anda seharusnya sudah memberikan peran IAM BigQuery > BigQuery Job User dan Logging > Logs Writer ke akun layanan.

6. Klik Next.

7. Di editor alur kerja, masukkan definisi berikut untuk alur kerja Anda:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Klik Deploy.

gcloud

1. Buka terminal dan buat file kode sumber untuk alur kerja Anda:

   touch workflow-serial-bqjobs.yaml
   

2. Salin alur kerja berikut ke file kode sumber Anda:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Deploy alur kerja dengan memasukkan perintah berikut:

   gcloud workflows deploy workflow-serial-bqjobs \
      --source=workflow-serial-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   Ganti MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM dengan email akun layanan yang Anda buat sebelumnya.

   Anda seharusnya sudah memberikan peran IAM roles/bigquery.jobUser dan roles/logging.logWriter ke akun layanan.

Menjalankan alur kerja dan menjalankan beberapa kueri secara berurutan

Mengeksekusi alur kerja akan menjalankan definisi alur kerja saat ini yang terkait dengan alur kerja.

Konsol

1. Di konsol Google Cloud, buka halaman Workflows:

   Buka Workflows

2. Di halaman Workflows, pilih alur kerja workflow-serial-bqjobs untuk membuka halaman detailnya.

3. Di halaman Workflow Details, klik Execute.

4. Klik Execute lagi.

5. Lihat hasil alur kerja di panel Output.

gcloud

1. Buka terminal.

2. Menjalankan alur kerja:

    gcloud workflows run workflow-serial-bqjob

Eksekusi alur kerja akan memerlukan waktu sekitar satu atau lima kali waktu berjalan sebelumnya. Hasilnya akan menyertakan setiap tabel dan terlihat seperti berikut:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Men-deploy dan menjalankan alur kerja yang menjalankan beberapa kueri secara paralel

Daripada menjalankan lima kueri secara berurutan, Anda dapat menjalankan kueri tersebut secara paralel dengan membuat beberapa perubahan:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

• Langkah parallel memungkinkan setiap iterasi loop for berjalan secara paralel.

• Variabel results dideklarasikan sebagai shared yang memungkinkannya dapat ditulis oleh cabang, dan hasil dari setiap cabang dapat ditambahkan ke variabel tersebut.

Konsol

1. Di konsol Google Cloud, buka halaman Workflows:

   Buka Workflows

2. Klik Create.

3. Masukkan nama untuk alur kerja baru, seperti workflow-parallel-bqjobs.

4. Pilih region yang sesuai; misalnya, us-central1.

5. Pilih akun layanan yang telah dibuat sebelumnya.

6. Klik Next.

7. Di editor alur kerja, masukkan definisi berikut untuk alur kerja Anda:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Klik Deploy.

9. Di halaman Workflow Details, klik Execute.

10. Klik Execute lagi.

11. Lihat hasil alur kerja di panel Output.

gcloud

1. Buka terminal dan buat file kode sumber untuk alur kerja Anda:

   touch workflow-parallel-bqjobs.yaml
   

2. Salin alur kerja berikut ke file kode sumber Anda:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Deploy alur kerja dengan memasukkan perintah berikut:

   gcloud workflows deploy workflow-parallell-bqjobs \
      --source=workflow-parallel-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   Ganti MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM dengan email akun layanan yang Anda buat sebelumnya.

4. Menjalankan alur kerja:

    gcloud workflows run workflow-serial-bqjob

Hasilnya akan mirip dengan output sebelumnya, tetapi eksekusi alur kerja akan memerlukan waktu sekitar dua puluh detik atau kurang.

Pembersihan

Jika Anda membuat project baru untuk tutorial ini, hapus project tersebut. Jika Anda menggunakan project yang ada dan ingin mempertahankannya tanpa perubahan yang ditambahkan dalam tutorial ini, hapus resource yang dibuat untuk tutorial.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource tutorial

Hapus alur kerja yang dibuat dalam tutorial ini:

gcloud workflows delete WORKFLOW_NAME

Langkah selanjutnya

• Untuk mempelajari langkah paralel lebih lanjut, lihat Menjalankan langkah paralel.
• Untuk mempelajari konektor Workflows lebih lanjut, lihat Memahami konektor.
• Untuk mempelajari Workflows lebih lanjut, lihat Ringkasan alur kerja.