Mencoba DataFrames BigQuery

Gunakan panduan memulai ini untuk melakukan analisis dan tugas machine learning (ML) berikut menggunakan BigQuery DataFrames API di notebook BigQuery:

• Buat DataFrame melalui set data publik bigquery-public-data.ml_datasets.penguins.
• Hitung massa tubuh rata-rata penguin.
• Buat model regresi linear.
• Buat DataFrame di atas subset data penguin untuk digunakan sebagai data pelatihan.
• Bersihkan data pelatihan.
• Setel parameter model.
• Sesuaikan modelnya.
• Beri skor modelnya.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

4. Make sure that billing is enabled for your Google Cloud project.

5. Pastikan BigQuery API diaktifkan.

   Mengaktifkan API

   Jika Anda membuat project baru, BigQuery API akan otomatis diaktifkan.

Izin yang diperlukan

Untuk membuat dan menjalankan notebook, Anda memerlukan peran Identity and Access Management (IAM) berikut:

• Pengguna BigQuery (roles/bigquery.user)
• Pengguna Runtime Notebook (roles/aiplatform.notebookRuntimeUser)
• Pembuat Kode (roles/dataform.codeCreator)

Membuat notebook

Ikuti petunjuk di Membuat notebook dari editor BigQuery untuk membuat notebook baru.

Mencoba DataFrames BigQuery

Coba DataFrames BigQuery dengan mengikuti langkah-langkah berikut:

1. Buat sel kode baru di notebook.

2. Salin kode berikut dan tempelkan ke dalam sel kode:

   import bigframes.pandas as bpd
   
   # Set BigQuery DataFrames options
   bpd.options.bigquery.project = your_gcp_project_id
   bpd.options.bigquery.location = "us"
   
   # Create a DataFrame from a BigQuery table
   query_or_table = "bigquery-public-data.ml_datasets.penguins"
   df = bpd.read_gbq(query_or_table)
   
   # Use the DataFrame just as you would a pandas DataFrame, but calculations
   # happen in the BigQuery query engine instead of the local system.
   average_body_mass = df["body_mass_g"].mean()
   print(f"average_body_mass: {average_body_mass}")
   
   # Create the Linear Regression model
   from bigframes.ml.linear_model import LinearRegression
   
   # Filter down to the data we want to analyze
   adelie_data = df[df.species == "Adelie Penguin (Pygoscelis adeliae)"]
   
   # Drop the columns we don't care about
   adelie_data = adelie_data.drop(columns=["species"])
   
   # Drop rows with nulls to get our training data
   training_data = adelie_data.dropna()
   
   # Pick feature columns and label column
   X = training_data[
       [
           "island",
           "culmen_length_mm",
           "culmen_depth_mm",
           "flipper_length_mm",
           "sex",
       ]
   ]
   y = training_data[["body_mass_g"]]
   
   model = LinearRegression(fit_intercept=False)
   model.fit(X, y)
   model.score(X, y)
   

3. Ubah baris bpd.options.bigquery.project = your_gcp_project_id untuk menentukan project Anda, misalnya bpd.options.bigquery.project = "myproject".

4. Jalankan sel kode.

   Sel kode menampilkan massa tubuh rata-rata untuk penguin dalam set data, lalu menampilkan metrik evaluasi untuk model tersebut.

Pembersihan

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya

Coba Memulai Menggunakan notebook BigQuery DataFrames.