Melatih dalam container menggunakan Google Kubernetes Engine

Halaman ini menunjukkan cara menjalankan tugas pelatihan di instance Deep Learning Containers, dan menjalankan image container tersebut di cluster Google Kubernetes Engine.

Sebelum memulai

Sebelum memulai, pastikan Anda telah menyelesaikan langkah-langkah berikut.

  1. Selesaikan langkah-langkah penyiapan di bagian Sebelum memulai di Memulai dengan penampung deep learning lokal.

  2. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

    Pelajari cara mengaktifkan penagihan

  3. Aktifkan Google Kubernetes Engine, Compute Engine, dan Artifact Registry API.

    Aktifkan API

Buka alat command line

Anda dapat mengikuti panduan ini menggunakan Cloud Shell atau alat command line secara lokal. Cloud Shell telah diinstal sebelumnya dengan alat command line gcloud, docker, dan kubectl yang digunakan dalam tutorial ini. Jika menggunakan Cloud Shell, Anda tidak perlu menginstal alat command line ini di workstation.

Cloud Shell

Untuk menggunakan Cloud Shell, selesaikan langkah-langkah berikut.

  1. Buka Konsol Google Cloud.

  2. Klik tombol Activate Cloud Shell di bagian atas jendela konsol.

    Konsol Google Cloud Platform

    Sesi Cloud Shell akan terbuka di dalam frame baru di bagian bawah konsol dan menampilkan perintah command line.

    Sesi Cloud Shell

Command line lokal

Untuk menggunakan command line lokal, selesaikan langkah-langkah berikut.

  1. Menggunakan gcloud CLI, instal alat command line Kubernetes. kubectl digunakan untuk berkomunikasi dengan Kubernetes, yang merupakan sistem orkestrasi cluster dari cluster Deep Learning Containers:

    gcloud components install kubectl

    Saat menyelesaikan langkah-langkah memulai, Anda telah menginstal Google Cloud CLI dan Docker.

Membuat cluster GKE

Jalankan perintah berikut untuk membuat cluster dua node di GKE bernama pytorch-training-cluster:

gcloud container clusters create pytorch-training-cluster \
    --num-nodes=2 \
    --zone=us-west1-b \
    --accelerator="type=nvidia-tesla-p100,count=1" \
    --machine-type="n1-highmem-2" \
    --scopes="gke-default,storage-rw"

Untuk informasi selengkapnya tentang setelan ini, lihat dokumentasi tentang cara membuat cluster untuk menjalankan penampung.

Mungkin perlu waktu beberapa menit hingga cluster dibuat.

Atau, Anda dapat menggunakan cluster yang ada di project Google Cloud, bukan membuat cluster. Jika Anda melakukannya, Anda mungkin perlu menjalankan perintah berikut untuk memastikan alat command line kubectl memiliki kredensial yang tepat untuk mengakses cluster Anda:

gcloud container clusters get-credentials YOUR_EXISTING_CLUSTER

Selanjutnya, instal driver perangkat GPU NVIDIA.

Membuat Dockerfile

Ada banyak cara untuk mem-build image container. Langkah-langkah ini akan menunjukkan cara mem-buildnya untuk menjalankan skrip Python bernama trainer.py.

Untuk melihat daftar image container yang tersedia:

gcloud container images list \
    --repository="us-docker.pkg.dev/deeplearning-platform-release/gcr.io"

Anda dapat membuka Memilih penampung untuk membantu memilih penampung yang Anda inginkan.

Contoh berikut akan menunjukkan cara menempatkan skrip Python bernama trainer.py ke dalam jenis penampung deep learning PyTorch tertentu.

Untuk membuat dockerfile, tulis perintah berikut ke file bernama Dockerfile. Langkah ini mengasumsikan bahwa Anda memiliki kode untuk melatih model machine learning di direktori bernama model-training-code dan bahwa modul Python utama di direktori tersebut bernama trainer.py. Dalam skenario ini, penampung akan dihapus setelah tugas selesai, sehingga skrip pelatihan Anda harus dikonfigurasi untuk menghasilkan output ke Cloud Storage (lihat contoh skrip yang menghasilkan output ke Cloud Storage) atau untuk menghasilkan output ke penyimpanan persisten.

FROM us-docker.pkg.dev/deeplearning-platform-release/gcr.io/pytorch-gpu
COPY model-training-code /train
CMD ["python", "/train/trainer.py"]

Membuat dan mengupload image container

Untuk mem-build dan mengupload image container ke Artifact Registry, gunakan perintah berikut:

export PROJECT_ID=$(gcloud config list project --format "value(core.project)")
export IMAGE_REPO_NAME=pytorch_custom_container
export IMAGE_TAG=$(date +%Y%m%d_%H%M%S)
export IMAGE_URI=us-docker.pkg.dev/$PROJECT_ID/$IMAGE_REPO_NAME:$IMAGE_TAG

docker build -f Dockerfile -t $IMAGE_URI ./

docker push $IMAGE_URI

Men-deploy aplikasi Anda

Buat file bernama pod.yaml dengan konten berikut, ganti IMAGE_URI dengan URI image Anda.

apiVersion: v1
kind: Pod
metadata:
  name: gke-training-pod
spec:
  containers:
  - name: my-custom-container
    image: IMAGE_URI
    resources:
      limits:
        nvidia.com/gpu: 1

Gunakan alat command line kubectl untuk menjalankan perintah berikut dan men-deploy aplikasi Anda:

kubectl apply -f ./pod.yaml

Untuk melacak status pod, jalankan perintah berikut:

kubectl describe pod gke-training-pod