Menggunakan plugin BigQuery JupyterLab

Untuk meminta masukan atau dukungan terkait fitur ini, kirim email ke bigquery-ide-plugin@google.com.

Dokumen ini menunjukkan cara menginstal dan menggunakan plugin BigQuery JupyterLab untuk melakukan hal berikut:

  • Jelajahi data BigQuery Anda.
  • Gunakan BigQuery DataFrames API.
  • Men-deploy notebook BigQuery DataFrames ke Cloud Composer.

Plugin BigQuery JupyterLab menyertakan semua fungsi plugin Dataproc JupyterLab, seperti membuat template runtime Dataproc Serverless, meluncurkan dan mengelola notebook, mengembangkan dengan Apache Spark, men-deploy kode, dan mengelola resource.

Menginstal plugin BigQuery JupyterLab

Untuk menginstal dan menggunakan plugin BigQuery JupyterLab, ikuti langkah-langkah berikut:

  1. Di terminal lokal, periksa untuk memastikan Anda telah menginstal Python 3.8 atau yang lebih baru di sistem:

    python3 --version
    
  2. Instal gcloud CLI.

  3. Di terminal lokal, lakukan inisialisasi gcloud CLI:

    gcloud init
    
  4. Instal Pipenv, alat lingkungan virtual Python:

    pip3 install pipenv
    
  5. Buat lingkungan virtual baru:

    pipenv shell
    
  6. Instal JupyterLab di lingkungan virtual baru:

    pipenv install jupyterlab
    
  7. Instal plugin BigQuery JupyterLab:

    pipenv install bigquery-jupyter-plugin
    
  8. Jika versi JupyterLab yang diinstal lebih lama dari 4.0.0, aktifkan ekstensi plugin:

    jupyter server extension enable bigquery_jupyter_plugin
    
  9. Luncurkan JupyterLab:

    jupyter lab
    

    JupyterLab akan terbuka di browser Anda.

Memperbarui setelan project dan region

Secara default, sesi Anda berjalan di project dan region yang Anda tetapkan saat menjalankan gcloud init. Untuk mengubah setelan project dan region untuk sesi Anda, lakukan hal berikut:

  • Di menu JupyterLab, klik Setelan > Setelan Google BigQuery.

Anda harus memulai ulang plugin agar perubahan diterapkan.

Jelajahi data

Untuk menggunakan data BigQuery di JupyterLab, lakukan hal berikut:

  1. Di sidebar JupyterLab, buka panel Dataset Explorer: klik ikon set data Ikon Penjelajah Set Data..
  2. Untuk meluaskan project, di panel Dataset Explorer, klik panah peluas di samping nama project.

    Panel Penjelajah Set Data menampilkan project yang diperluas dan daftar set data.

    Panel Dataset Explorer menampilkan semua set data dalam project yang terletak di region BigQuery yang Anda konfigurasikan untuk sesi. Anda dapat berinteraksi dengan project dan set data dengan berbagai cara:

    • Untuk melihat informasi tentang set data, klik nama set data.
    • Untuk menampilkan semua tabel dalam set data, klik panah peluas di samping set data.
    • Untuk melihat informasi tentang tabel, klik nama tabel.
    • Untuk mengubah project atau region BigQuery, perbarui setelan Anda.

Menjalankan notebook

Untuk membuat kueri data BigQuery dari JupyterLab, lakukan hal berikut:

  1. Untuk membuka halaman peluncur, klik File > New Launcher.
  2. Di bagian BigQuery Notebooks, klik kartu BigQuery DataFrames. Notebook baru akan terbuka yang menunjukkan cara memulai DataFrame BigQuery.

Notebook BigQuery DataFrames mendukung pengembangan Python di kernel Python lokal. Operasi BigQuery DataFrames dijalankan dari jarak jauh di BigQuery, tetapi kode lainnya dijalankan secara lokal di komputer Anda. Saat operasi dijalankan di BigQuery, ID tugas kueri dan link ke tugas akan muncul di bawah sel kode.

  • Untuk melihat tugas di konsol Google Cloud, klik Open Job.

Men-deploy notebook BigQuery DataFrames

Anda dapat men-deploy notebook DataFrame BigQuery ke Cloud Composer menggunakan template runtime Dataproc Serverless. Anda harus menggunakan runtime versi 2.1 atau yang lebih baru.

  1. Di notebook JupyterLab, klik calendar_monthJob Scheduler.
  2. Untuk Nama tugas, masukkan nama unik untuk tugas Anda.
  3. Untuk Environment, masukkan nama lingkungan Cloud Composer tempat Anda ingin men-deploy tugas.
  4. Jika notebook Anda diparameterkan, tambahkan parameter.
  5. Masukkan nama Template runtime serverless.
  6. Untuk menangani kegagalan eksekusi notebook, masukkan bilangan bulat untuk Jumlah percobaan ulang dan nilai (dalam menit) untuk Penundaan percobaan ulang.
  7. Pilih notifikasi eksekusi yang akan dikirim, lalu masukkan penerima.

    Notifikasi dikirim menggunakan konfigurasi SMTP Airflow.

  8. Pilih jadwal untuk notebook.

  9. Klik Buat.

Jika Anda berhasil menjadwalkan notebook, notebook akan muncul di daftar tugas terjadwal di lingkungan Cloud Composer yang dipilih.

Langkah berikutnya