Mengupgrade cluster Pipeline AI Platform Anda

AI Platform Pipelines menghemat kesulitan menyiapkan Kubeflow Pipeline dengan TensorFlow Extended di Google Kubernetes Engine. Untuk mengupgrade cluster Pipeline AI Platform, Anda harus menghapus cluster Pipeline AI Platform yang sudah ada, lalu menginstal ulang cluster tersebut menggunakan setelan penyimpanan yang sama. Panduan ini menjelaskan:

  • Cara menentukan metode penyimpanan yang digunakan cluster Anda.
  • Cara mengumpulkan informasi yang diperlukan untuk mengupgrade cluster.
  • Langkah-langkah yang diperlukan untuk mengupgrade cluster Pipeline AI Platform ke rilis Kubeflow Pipelines yang lebih baru.

Bersiap untuk mengupgrade cluster Anda

Proses untuk mengupgrade cluster Pipeline AI Platform bergantung pada metode yang digunakan cluster Anda untuk menyimpan artefak pipeline dan metadata. Gunakan petunjuk berikut untuk menentukan tempat cluster AI Platform Pipelines Anda menyimpan artefak dan metadata pipeline.

  1. Buka AI Platform Pipelines di Konsol Google Cloud.

    Buka AI Platform Pipelines

  2. Di baris untuk cluster Pipeline AI Platform Anda, catat nilai untuk kolom Name, Cluster, Zone, dan Namespace. Informasi ini digunakan di langkah-langkah berikutnya.

  3. Buka sesi Cloud Shell.

    Buka Cloud Shell

    Cloud Shell akan terbuka dalam frame di bagian bawah Konsol Google Cloud.

  4. Jalankan perintah berikut untuk mengonfigurasi kubectl dengan akses ke cluster GKE Anda dan tetapkan konteks ke namespace tempat Kubeflow Pipelines diinstal.

    gcloud container clusters get-credentials CLUSTER_NAME --zone=ZONE
kubectl config set-context --current --namespace=NAMESPACE

    Ganti kode berikut:

    • CLUSTER_NAME: Nama cluster GKE Anda, yang telah Anda catat di langkah sebelumnya.
    • ZONE: Zona tempat cluster GKE Anda berada, seperti yang telah Anda catat di langkah sebelumnya.
    • NAMESPACE: Namespace tempat Kubeflow Pipelines diinstal, seperti yang Anda catat di langkah sebelumnya.

  5. AI Platform Pipelines menyimpan metadata dan artefak pipeline cluster Anda menggunakan layanan penyimpanan terkelola atau persistent disk pada cluster. Saat mengupgrade cluster, Anda harus menginstal ulang AI Platform Pipelines menggunakan setelan penyimpanan yang sama dengan yang digunakan cluster AI Platform Pipelines saat ini.

    Jalankan perintah berikut di Cloud Shell untuk memeriksa apakah cluster Anda di-deploy dengan penyimpanan di cluster.

    kubectl get pvc -o json | jq -r '.items[].metadata.name'

    Perintah ini mencantumkan klaim volume persisten (PVC) cluster Google Kubernetes Engine Anda.

Mengupgrade cluster Pipeline AI Platform yang menggunakan penyimpanan terkelola

Gunakan petunjuk berikut untuk mencadangkan artefak dan metadata cluster AI Platform Pipelines Anda, serta upgrade cluster ke rilis Kubeflow Pipelines yang lebih baru.

  1. Saat mengupgrade cluster Kubeflow Pipelines, Anda harus menggunakan kembali konfigurasi penyimpanan yang sama. Jika cluster Anda di-deploy dengan penyimpanan terkelola, gunakan petunjuk berikut untuk menemukan detail konfigurasi yang diperlukan untuk mengupgrade cluster Anda.

    1. Jalankan perintah berikut di Cloud Shell untuk mendapatkan nama bucket tempat cluster menyimpan artefak pipeline:

      kubectl get configmap workflow-controller-configmap -o json | \
jq -r '.data.config | capture("bucket: '"'(?<name>.*?)'"'").name'

    2. Jalankan perintah berikut di Cloud Shell untuk mendapatkan nama koneksi instance dari instance Cloud SQL tempat cluster Anda menyimpan metadata pipeline.

      kubectl get deployments cloudsqlproxy -o json | \
jq -r '.spec.template.spec.containers[].command[] | capture("instances=(?<name>.*)=").name'

    3. Kubeflow Pipelines bergantung pada dua database MySQL. Jalankan perintah berikut di Cloud Shell untuk mendapatkan awalan database dari database cluster Anda.

      kubectl get configmap metadata-mysql-configmap -o json | \
jq -r '.data.MYSQL_DATABASE | capture("(?<prefix>.*?)_metadata").prefix'

    4. Anda juga harus menentukan nama pengguna dan sandi akun MySQL dengan hak istimewa ALL yang dapat digunakan Kubeflow Pipelines untuk terhubung ke instance Cloud SQL Anda. Jika tidak mengetahui akun pengguna MySQL mana yang digunakan cluster Anda, gunakan Cloud SQL untuk membuat pengguna MySQL.

      Pelajari pengguna MySQL lebih lanjut.

  2. Gunakan Cloud SQL untuk membuat cadangan database MySQL cluster AI Platform Pipelines Anda.

  3. Buka AI Platform Pipelines di Konsol Google Cloud.

    Buka AI Platform Pipelines

  4. Gunakan petunjuk berikut untuk menghapus cluster AI Platform Pipelines Anda. Untuk mengupgrade cluster AI Platform Pipelines, Anda harus menginstal ulang Kubeflow Pipelines dengan setelan penyimpanan terkelola yang sama.

    1. Pilih kotak centang untuk cluster AI Platform Pipelines.

    2. Di toolbar AI Platform Pipelines, klik Delete. Dialog Delete Kubeflow Pipelines from cluster akan muncul.

    3. Klik Delete. Menghapus cluster Pipeline AI Platform Anda mungkin memerlukan waktu beberapa menit.

  5. Gunakan petunjuk berikut untuk menginstal ulang Kubeflow Pipelines.

    1. Di toolbar AI Platform Pipelines, klik New instance. Kubeflow Pipelines akan terbuka di Google Cloud Marketplace.

    2. Klik Konfigurasikan. Sebuah formulir akan terbuka agar Anda dapat mengonfigurasi deployment Kubeflow Pipelines.

    3. Pilih Cluster untuk men-deploy Kubeflow Pipelines. Cluster ini tidak harus berupa cluster GKE yang sama dengan instance Pipeline AI Platform Anda sebelumnya yang di-deploy.

      Pelajari cara memastikan cluster GKE Anda dikonfigurasi dengan benar untuk AI Platform Pipelines.

    4. Di kotak App instance name, masukkan nama instance aplikasi yang digunakan instance Kubeflow Pipelines sebelumnya.

    5. Namespace digunakan untuk mengelola resource di cluster GKE yang besar. Jika Anda tidak berencana menggunakan namespace dalam cluster, pilih default di menu drop-down Namespace.

      Jika Anda berencana menggunakan namespace di cluster GKE, buat namespace menggunakan menu drop-down Namespace. Untuk membuat namespace:

      1. Pilih Create a namespace di menu drop-down Namespace. Kotak Nama namespace baru akan muncul.

      2. Masukkan nama namespace di New namespace name.

      Untuk mempelajari namespace lebih lanjut, baca postingan blog tentang mengatur Kubernetes dengan namespace.

    6. Penyimpanan terkelola dapat Anda gunakan untuk menyimpan metadata dan artefak pipeline ML Anda menggunakan Cloud SQL dan Cloud Storage. Pilih Use managed storage dan berikan informasi berikut:

      • Artifact storage Cloud Storage bucket: Tentukan nama bucket yang Anda temukan di langkah sebelumnya.

      • Nama koneksi instance Cloud SQL: Tentukan nama koneksi instance yang Anda temukan di langkah sebelumnya.

      • Nama pengguna database: Tentukan nama pengguna database untuk Kubeflow Pipeline yang akan digunakan saat terhubung ke instance MySQL. Saat ini, pengguna database Anda harus memiliki ALL hak istimewa MySQL untuk men-deploy Kubeflow Pipelines dengan penyimpanan terkelola. Jika kolom ini dibiarkan kosong, nilai ini akan ditetapkan secara default ke root.

        Pelajari pengguna MySQL lebih lanjut.

      • Sandi database: Tentukan sandi database untuk Kubeflow Pipeline yang akan digunakan saat terhubung ke instance MySQL. Jika kolom ini dibiarkan kosong, Kubeflow Pipelines akan terhubung ke database Anda tanpa memberikan sandi, yang akan gagal jika sandi diperlukan untuk nama pengguna yang Anda tentukan.

      • Awalan nama database: Menentukan awalan nama database yang Anda temukan di langkah sebelumnya.

    7. Klik Deploy. Langkah ini mungkin memerlukan waktu beberapa menit.

    8. Untuk mengakses dasbor pipeline, buka AI Platform Pipelines di Konsol Google Cloud.

      Buka AI Platform Pipelines

      Kemudian, klik Buka dasbor pipeline untuk instance AI Platform Pipelines Anda.

Mengupgrade cluster Pipeline AI Platform yang menggunakan penyimpanan on-cluster

Gunakan petunjuk berikut untuk mencadangkan artefak dan metadata cluster AI Platform Pipelines Anda, serta upgrade cluster ke rilis Kubeflow Pipelines yang lebih baru.

  1. Cadangkan metadata dan penyimpanan artefak cluster AI Platform Pipelines Anda. Dengan penyimpanan di cluster, artefak pipeline dan metadata Anda disimpan di persistent disk Compute Engine, yang dilampirkan ke cluster GKE Anda sebagai klaim volume persisten.

    1. Untuk melakukan tugas ini, Anda harus memiliki izin berikut:

      • compute.disks.create pada project
      • compute.disks.useReadOnly pada disk sumber

      Misalnya, peran roles/compute.storageAdmin menyediakan izin ini. Pelajari lebih lanjut cara memberikan izin dan peran Identity and Access Management.

    2. Jalankan perintah berikut di Cloud Shell untuk mencantumkan PVC cluster Anda dan, jika sesuai, nama persistent disk Compute Engine PVC.

      kubectl get pv -o json | \
jq -r '.items[] | .spec.claimRef.name + " -  disk name = " + .spec.gcePersistentDisk.pdName'

      Jika cluster Anda menggunakan penyimpanan di cluster, daftar ini harus berisi nama persistent disk untuk PVC mysql-pv-claim dan minio-pvc.

    3. Untuk mencadangkan artefak dan metadata pipeline, jalankan perintah berikut di Cloud Shell untuk persistent disk mysql-pv-claim dan minio-pvc.

      gcloud compute disks create target-disk-name --zone=ZONE --source-disk=source-disk-name

      Ganti kode berikut:

      • target-disk-name: Menentukan nama untuk disk cadangan.
      • ZONE: Menentukan zona tempat cluster Anda berada.
      • source-disk-name: Menentukan nama persistent disk yang ingin dicadangkan.

      Pelajari lebih lanjut cara meng-clone persistent disk.

  2. Buka AI Platform Pipelines di Konsol Google Cloud.

    Buka AI Platform Pipelines

  3. Gunakan petunjuk berikut untuk menghapus cluster AI Platform Pipelines, tanpa menghapus cluster GKE Anda. Untuk mengupgrade cluster AI Platform Pipelines, Anda harus menginstal ulang Kubeflow Pipelines di cluster GKE yang sama.

    1. Pilih kotak centang untuk cluster AI Platform Pipelines.

    2. Di toolbar AI Platform Pipelines, klik Delete. Dialog Delete Kubeflow Pipelines from cluster akan muncul.

    3. Klik Delete. Menghapus cluster Pipeline AI Platform Anda mungkin memerlukan waktu beberapa menit.

  4. Gunakan petunjuk berikut untuk menginstal ulang Kubeflow Pipelines pada cluster GKE yang ada.

    1. Di toolbar AI Platform Pipelines, klik New instance. Kubeflow Pipelines akan terbuka di Google Cloud Marketplace.

    2. Klik Konfigurasikan. Sebuah formulir akan terbuka agar Anda dapat mengonfigurasi deployment Kubeflow Pipelines.

    3. Di menu drop-down Cluster, pilih cluster tempat instance Kubeflow Pipelines sebelumnya diterapkan.

    4. Pilih Namespace tempat instance Kubeflow Pipelines sebelumnya digunakan.

    5. Di kotak App instance name, masukkan nama instance aplikasi yang digunakan instance Kubeflow Pipelines sebelumnya.

    6. Klik Deploy. Langkah ini mungkin memerlukan waktu beberapa menit.

    7. Untuk mengakses dasbor pipeline, buka AI Platform Pipelines di Konsol Google Cloud.

      Buka AI Platform Pipelines

      Kemudian, klik Buka dasbor pipeline untuk instance AI Platform Pipelines Anda.

Langkah selanjutnya