Menggunakan plugin BigQuery JupyterLab

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk meminta masukan atau dukungan terkait fitur ini, kirim email ke [e-mail].

Dokumen ini menunjukkan cara menginstal dan menggunakan BigQuery Plugin JupyterLab untuk melakukan hal berikut:

• Pelajari data BigQuery Anda.
• Menggunakan BigQuery DataFrame API.
• Deploy notebook DataFrame BigQuery ke Cloud Composer.

Plugin BigQuery JupyterLab mencakup semua fungsionalitasnya Plugin Dataproc JupyterLab, seperti membuat template runtime Dataproc Serverless, meluncurkan dan mengelola notebook, mengembangkan dengan Apache Spark, men-deploy kode Anda, dan mengelola resource Anda.

Menginstal plugin BigQuery JupyterLab

Untuk menginstal dan menggunakan plugin BigQuery JupyterLab, ikuti langkah-langkah berikut langkah:

1. Di terminal lokal Anda, periksa untuk memastikan Anda memiliki Python 3.8 atau yang lebih baru yang diinstal di sistem Anda:

   python3 --version
   

2. Menginstal gcloud CLI.

3. Di terminal lokal Anda, lakukan inisialisasi gcloud CLI:

   gcloud init
   

4. Instal Pipenv, alat lingkungan virtual Python:

   pip3 install pipenv
   

5. Membuat lingkungan virtual baru:

   pipenv shell
   

6. Instal JupyterLab di lingkungan virtual baru:

   pipenv install jupyterlab
   

7. Instal plugin BigQuery JupyterLab:

   pipenv install bigquery-jupyter-plugin
   

8. Jika versi JupyterLab yang diinstal lebih lama dari 4.0.0, kemudian aktifkan ekstensi plugin:

   jupyter server extension enable bigquery_jupyter_plugin
   

9. Luncurkan JupyterLab:

   jupyter lab
   

   JupyterLab terbuka di browser Anda.

Catatan: Di macOS, jika Anda menerima error SSL: CERTIFICATE_VERIFY_FAILED pada saat meluncurkan JupyterLab, perbarui sertifikat SSL Python Anda dengan mengeksekusi /Applications/Python 3.11/Install Certificates.command. File ini berada di direktori home Python.

Memperbarui setelan project dan region

Secara default, sesi berjalan di project dan region yang Anda tetapkan saat menjalankan gcloud init. Untuk mengubah setelan project dan region bagi sesi, lakukan hal berikut:

• Di menu JupyterLab, klik Setelan > Setelan Google BigQuery.

Anda harus memulai ulang plugin agar perubahan diterapkan.

Jelajahi data

Untuk menggunakan data BigQuery Anda di JupyterLab, lakukan hal berikut:

1. Di sidebar JupyterLab, buka panel Dataset Explorer: klik ikon set data.

2. Untuk meluaskan project, di panel Dataset Explorer, klik panah peluas di samping nama project.

   

   Panel Dataset Explorer menampilkan semua set data dalam project yang berada di region BigQuery yang telah Anda konfigurasi sesi tersebut. Anda dapat berinteraksi dengan project dan set data dalam berbagai cara:

   • Untuk melihat informasi tentang set data, klik nama set data.
   • Untuk menampilkan semua tabel dalam {i>dataset<i}, klik panah peluas di samping {i>dataset <i}tersebut.
   • Untuk melihat informasi tentang tabel, klik nama tabel.
   • Untuk mengubah project atau region BigQuery, memperbarui setelan.

Menjalankan notebook

Untuk membuat kueri data BigQuery Anda dari JupyterLab, lakukan hal berikut:

1. Untuk membuka halaman peluncur, klik File &gt; Peluncur Baru.
2. Di bagian BigQuery Notebooks, klik BigQuery DataFrame . Sebuah {i>notebook<i} baru terbuka yang menunjukkan cara untuk memulai DataFrame BigQuery.

Notebook DataFrame BigQuery mendukung pengembangan Python di lingkungan lokal di Kernel Python. Operasi BigQuery DataFrame dijalankan dari jarak jauh di BigQuery, tetapi kode lainnya dijalankan secara lokal di mesin Linux dan Windows. Saat operasi dijalankan di BigQuery, tugas kueri ID dan link ke pekerjaan ada di bawah sel kode.

• Untuk melihat tugas di konsol Google Cloud, klik Open Job.

Men-deploy notebook DataFrame BigQuery

Anda dapat men-deploy notebook DataFrame BigQuery ke Cloud Composer menggunakan template runtime Serverless Dataproc. Anda harus menggunakan runtime versi 2.1 atau yang lebih baru.

1. Di {i>notebook<i} JupyterLab Anda, klik calendar_monthPenjadwal Tugas.
2. Untuk Job name, masukkan nama unik untuk tugas Anda.
3. Untuk Environment, masukkan nama Cloud Composer lingkungan tempat Anda ingin men-deploy tugas.
4. Jika notebook Anda diparameterisasi, tambahkan parameter.
5. Masukkan nama Template runtime serverless.
6. Untuk menangani kegagalan eksekusi notebook, masukkan bilangan bulat untuk Jumlah percobaan ulang dan nilai (dalam menit) untuk Penundaan percobaan ulang.

7. Pilih notifikasi eksekusi yang akan dikirim, lalu masukkan penerima.

   Notifikasi dikirim menggunakan konfigurasi SMTP Airflow.

8. Pilih jadwal untuk notebook.

9. Klik Create.

Saat Anda berhasil menjadwalkan {i>notebook<i}, akan muncul di daftar tugas terjadwal di lingkungan Cloud Composer yang Anda pilih.

Langkah selanjutnya

• Mulai Panduan memulai BigQuery DataFrame.
• Pelajari kebijakan BigQuery DataFrame Python API.
• Gunakan JupyterLab untuk sesi batch dan notebook serverless dengan Dataproc.