Membuat instance notebook terkelola dengan container kustom

Membuat instance notebook terkelola dengan container kustom

Notebook terkelola Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook terkelola akan berakhir dan kemampuan untuk membuat instance notebook terkelola akan dihapus. Instance yang ada akan tetap berfungsi, tetapi patch, update, dan upgrade tidak akan tersedia. Untuk terus menggunakan Vertex AI Workbench, sebaiknya migrasikan instance notebook terkelola ke instance Vertex AI Workbench.

Halaman ini menunjukkan cara menambahkan container kustom ke instance notebook terkelola Vertex AI Workbench sebagai kernel tempat Anda dapat menjalankan file notebook.

Ringkasan

Anda dapat menambahkan container kustom untuk digunakan dengan instance notebook terkelola. Container kustom kemudian tersedia sebagai kernel lokal tempat Anda dapat menjalankan file notebook Anda.

Persyaratan container kustom

Notebook terkelola Vertex AI Workbench mendukung semua image container Deep Learning Containers saat ini.

Untuk membuat image container kustom Anda sendiri, Anda dapat mengubah salah satu image container Deep Learning Containers untuk membuat image container turunan.

Untuk membuat image container kustom dari awal, pastikan image container memenuhi persyaratan berikut:

• Gunakan image container Docker dengan minimal satu kernelspec Jupyter yang valid. Kernelspec yang terekspos ini memungkinkan notebook terkelola Vertex AI Workbench memuat image container sebagai kernel. Jika image container Anda menyertakan penginstalan JupyterLab atau Jupyter Notebook, penginstalan akan menyertakan kernelspec secara default. Jika image container tidak memiliki kernelspec, Anda dapat menginstal kernelspec secara langsung.

  Catatan: Jika container Anda memiliki kernelspec Jupyter yang valid, container akan meresponsjupyter kernelspec list --json dengan daftar kernelspec yang tersedia.

• Image container Docker harus mendukung sleep infinity.

• Untuk menggunakan penampung kustom dengan eksekutor notebook terkelola, pastikan penampung kustom Anda memiliki ekstensi nbexecutor.

Catatan: Image container Deep Learning Containers mencakup kernelspec Jupyter yang valid dan ekstensi video nbexecutor secara default.

Contoh teks Dockerfile berikut mem-build image Docker kustom dari awal yang didasarkan pada image Ubuntu dan mencakup versi Python terbaru.

FROM --platform=linux/amd64 ubuntu:22.04

RUN apt-get -y update
RUN apt-get install -y --no-install-recommends \
python3-pip \
pipx \
git \
make \
jq

RUN pip install \
argcomplete>=1.9.4 \
poetry==1.1.14 \
jupyterlab==3.3.0

# Create a link that points to the right python bin directory
RUN ln -s /usr/bin/pythonVERSION_NUMBER /usr/bin/python

Ganti VERSION_NUMBER dengan versi Python yang Anda gunakan.

Cara container kustom menjadi kernel di notebook terkelola

Untuk setiap image container kustom yang disediakan, instance notebook terkelola Anda mengidentifikasi kernelspec Jupyter yang tersedia pada image container saat instance dimulai. Kerspec muncul sebagai kernel lokal di antarmuka JupyterLab. Saat kernelspec dipilih, pengelola kernel notebook terkelola akan menjalankan container kustom sebagai kernel dan memulai sesi Jupyter pada kernel tersebut.

Bagaimana kernel container kustom diupdate

Vertex AI Workbench mengambil image container terbaru untuk kernel Anda:

• Saat Anda membuat instance.

• Saat Anda mengupgrade instance.

• Saat Anda memulai instance.

Kernel container kustom tidak akan bertahan saat instance Anda dihentikan, sehingga setiap kali instance Anda dimulai, Vertex AI Workbench akan menarik image container versi terbaru.

Jika instance Anda berjalan saat versi container yang baru dirilis, kernel instance Anda tidak akan diupdate hingga Anda berhenti dan memulai instance.

Ketersediaan image container kustom

Image container Deep Learning Containers tersedia untuk semua pengguna. Saat menggunakan image container Deep Learning Containers, Anda harus memberikan peran tertentu ke akun layanan instance agar instance Anda dapat memuat image container Deep Learning Containers sebagai kernel. Pelajari lebih lanjut izin yang diperlukan dan cara memberikannya di bagian Izin.

Jika Anda ingin menggunakan image container kustom sendiri, image tersebut harus berada di Artifact Registry dan harus menyediakan image container untuk publik.

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Enable the Notebooks and Artifact Registry APIs.

   Enable the APIs

5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

7. Enable the Notebooks and Artifact Registry APIs.

   Enable the APIs

Menambahkan container kustom saat membuat instance

Untuk menambahkan container kustom ke instance notebook terkelola, image container kustom harus ditentukan saat pembuatan instance.

Untuk menambahkan container kustom saat Anda membuat instance notebook terkelola, selesaikan langkah-langkah berikut.

1. Di Konsol Google Cloud, buka halaman Managed notebooks.

   Buka Notebook terkelola

2. Klik  Buat baru.

3. Di kolom Name, masukkan nama untuk instance Anda.

4. Klik daftar Region, lalu pilih region untuk instance Anda.

5. Di bagian Environment, pilih Provide custom Docker image.

6. Tambahkan image container Docker dengan salah satu cara berikut:

   • Masukkan jalur image container Docker. Misalnya, untuk menggunakan image container TensorFlow 2.12 dengan akselerator dari Deep Learning Containers, masukkan us-docker.pkg.dev/deeplearning-platform-release/gcr.io/tf-cpu.2-12.py310.
   • Klik Select untuk menambahkan image container Docker dari Artifact Registry. Kemudian, di tab Artifact Registry tempat image container disimpan, ubah project ke project yang berisi image container Anda, lalu pilih image container.

7. Selesaikan sisa dialog Create instance sesuai dengan kebutuhan Anda.

8. Klik Create.

9. Vertex AI Workbench akan otomatis memulai instance. Saat instance siap digunakan, Vertex AI Workbench akan mengaktifkan link Open JupyterLab.

Memberikan izin ke image container Deep Learning Containers

Jika Anda tidak menggunakan image container Deep Learning Containers, lewati bagian ini.

Untuk memastikan bahwa akun layanan instance Anda memiliki izin yang diperlukan untuk memuat image container Deep Learning Containers dari Artifact Registry, minta administrator untuk memberikan peran IAM berikut pada instance Anda ke akun layanan instance:

• Admin Instance Compute (v1) (roles/compute.instanceAdmin.v1)
• Artifact Registry Reader (roles/artifactregistry.reader)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan instance Anda melalui peran kustom atau peran yang telah ditetapkan.

Menyiapkan file notebook untuk dijalankan di container kustom

Untuk membuka JupyterLab, buat file notebook baru, lalu setel agar berjalan pada kernel container kustom Anda, selesaikan langkah-langkah berikut.

1. Di samping nama instance notebook terkelola, klik Open JupyterLab.

2. Pada dialog Authenticate your managed notebook, klik tombol untuk mendapatkan kode autentikasi.

3. Pilih akun, lalu klik Allow. Salin kode autentikasi.

4. Pada dialog Authenticate your Managed notebook, tempel kode autentikasi, lalu klik Authentication.

   Instance notebook terkelola Anda akan membuka JupyterLab.

5. Pilih File > New > Notebook.

6. Di dialog Select kernel, pilih kernel untuk image container kustom yang ingin Anda gunakan, lalu klik Select. Image container yang lebih besar mungkin memerlukan waktu beberapa saat untuk muncul sebagai kernel. Jika kernel yang Anda inginkan belum ada, coba lagi dalam beberapa menit. Anda dapat mengubah kernel kapan pun ingin menjalankan file notebook pada kernel lain.

   File notebook baru akan terbuka.

Langkah selanjutnya

• Pelajari cara mengakses bucket dan file Cloud Storage dari dalam JupyterLab.

• Pelajari cara mengkueri data di tabel BigQuery dari dalam JupyterLab.