Jika Anda menarik beberapa image container langsung dari registry pihak ketiga untuk di-deploy ke lingkungan Google Cloud seperti Google Kubernetes Engine atau Cloud Run, batas kapasitas pada penarikan image atau pemadaman layanan pihak ketiga dapat mengganggu build dan deployment Anda. Halaman ini menjelaskan cara mengidentifikasi dan menyalin image tersebut ke Artifact Registry untuk pengelolaan image container yang terkonsolidasi dan konsisten.
Artifact Registry tidak memantau registry pihak ketiga untuk memeriksa update image yang Anda salin ke Artifact Registry. Jika ingin menggabungkan versi image yang lebih baru ke dalam pipeline, Anda harus mengirimkannya ke Artifact Registry.
Ringkasan migrasi
Migrasi image container mencakup langkah-langkah berikut:
- Siapkan prasyarat.
- Identifikasi gambar yang akan dimigrasikan.
- Telusuri file Dockerfile dan manifes deployment Anda untuk menemukan referensi ke registry pihak ketiga
- Tentukan frekuensi pull gambar dari registry pihak ketiga menggunakan Cloud Logging dan BigQuery.
- Salin image yang teridentifikasi ke Artifact Registry.
- Pastikan izin ke registry sudah dikonfigurasi dengan benar, terutama jika Artifact Registry dan lingkungan deployment Google Cloud Anda berada dalam project yang berbeda.
- Memperbarui manifests untuk deployment Anda.
- Deploy ulang workload Anda.
Sebelum memulai
- Verifikasi izin Anda. Anda harus memiliki peran IAM Pemilik atau Editor di project tempat Anda memigrasikan image ke Artifact Registry.
-
- Pilih project Google Cloud tempat Anda ingin menggunakan Artifact Registry
- Di Konsol Google Cloud, buka Cloud Shell
Temukan project ID Anda dan tetapkan di Cloud Shell. Ganti
YOUR_PROJECT_ID
dengan project ID Anda.gcloud config set project YOUR_PROJECT_ID
Ekspor variabel lingkungan berikut:
export PROJECT=$(gcloud config get-value project)
Aktifkan BigQuery, Artifact Registry, dan Cloud Monitoring API dengan perintah berikut:
gcloud services enable \ artifactregistry.googleapis.com \ stackdriver.googleapis.com \ logging.googleapis.com \ monitoring.googleapis.com
Jika saat ini Anda tidak menggunakan Artifact Registry, konfigurasikan repositori untuk image Anda:
- Membuat repositori
- Mengonfigurasi autentikasi untuk klien pihak ketiga yang memerlukan akses ke repositori.
Pastikan Go versi 1.13 atau yang lebih baru telah diinstal.
Periksa versi penginstalan Go yang ada dengan perintah:
go version
Jika Anda perlu menginstal atau mengupdate Go, lihat dokumentasi penginstalan Go.
Biaya
Panduan ini menggunakan komponen Google Cloud yang dapat ditagih berikut:
Identifikasi gambar yang akan dimigrasikan
Telusuri file yang Anda gunakan untuk mem-build dan men-deploy image container untuk referensi ke registry pihak ketiga, lalu periksa seberapa sering Anda menarik image.
Mengidentifikasi referensi di Dockerfile
Lakukan langkah ini di lokasi tempat Dockerfile Anda disimpan. Di sinilah kode Anda mungkin di-check out secara lokal atau di Cloud Shell jika file tersebut tersedia di VM.
Dalam direktori dengan Dockerfile Anda, jalankan perintah:
grep -inr -H --include Dockerfile\* "FROM" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
Outputnya akan terlihat seperti contoh berikut:
./code/build/baseimage/Dockerfile:1:FROM debian:stretch
./code/build/ubuntubase/Dockerfile:1:FROM ubuntu:latest
./code/build/pythonbase/Dockerfile:1:FROM python:3.5-buster
Perintah ini menelusuri semua Dockerfile di direktori Anda dan mengidentifikasi baris "FROM". Sesuaikan perintah yang diperlukan agar cocok dengan cara Anda menyimpan Dockerfile.
Mengidentifikasi referensi dalam manifes
Lakukan langkah ini di lokasi tempat manifes GKE atau Cloud Run Anda disimpan. Di sinilah kode Anda mungkin di-check out secara lokal atau di Cloud Shell jika file tersebut tersedia di VM.
Di direktori tempat manifes GKE atau Cloud Run Anda, jalankan perintah:
grep -inr -H --include \*.yaml "image:" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
Contoh output:
./code/deploy/k8s/ubuntu16-04.yaml:63: image: busybox:1.31.1-uclibc ./code/deploy/k8s/master.yaml:26: image: kubernetes/redis:v1
Perintah ini melihat semua file YAML di direktori Anda dan mengidentifikasi baris image:, dan menyesuaikan dengan kebutuhan agar manifes juga dapat disimpan sesuai kebutuhan.
Untuk menampilkan daftar gambar yang sedang berjalan di cluster, jalankan perintah:
kubectl get all --all-namespaces -o yaml | grep image: | grep -i -v -E 'docker.pkg.dev|gcr.io'
Perintah ini akan menampilkan semua objek yang berjalan di cluster Kubernetes yang saat ini dipilih dan mendapatkan nama image-nya.
Contoh output:
- image: nginx image: nginx:latest - image: nginx - image: nginx
Jalankan perintah ini untuk semua cluster GKE di seluruh project Google Cloud untuk cakupan total.
Mengidentifikasi frekuensi pull dari registry pihak ketiga
Dalam project yang mengambil dari registry pihak ketiga, gunakan informasi tentang frekuensi pull image untuk menentukan apakah penggunaan Anda mendekati atau melebihi batas kapasitas yang diberlakukan oleh registry pihak ketiga.
Mengumpulkan data log
Buat sink log untuk mengekspor data ke BigQuery. Sink log menyertakan tujuan dan kueri yang memilih entri log yang akan diekspor. Anda dapat membuat sink dengan membuat kueri satu per satu project, atau menggunakan skrip untuk mengumpulkan data di seluruh project.
Untuk membuat sink bagi satu project:
Pilih project Google Cloud.
Pada tab Builder kueri, masukkan kueri berikut:
resource.type="k8s_pod" jsonPayload.reason="Pulling"
Ubah filter histori dari 1 jam terakhir menjadi 7 Hari Terakhir.
Klik Run Query.
Setelah memastikan bahwa hasilnya muncul dengan benar, klik Tindakan > Buat Sink.
Di daftar sink, pilih Set data BigQuery, lalu klik Next.
Di panel Edit Sink, lakukan langkah-langkah berikut:
- Di kolom Sink Name, masukkan
image_pull_logs
. - Di kolom Sink Destination, buat set data baru atau pilih set data tujuan di project lain.
- Di kolom Sink Name, masukkan
Klik Create Sink.
Untuk membuat sink bagi beberapa project:
Jalankan perintah berikut di Cloud Shell:
PROJECTS="PROJECT-LIST" DESTINATION_PROJECT="DATASET-PROJECT" DATASET="DATASET-NAME" for source_project in $PROJECTS do gcloud logging --project="${source_project}" sinks create image_pull_logs bigquery.googleapis.com/projects/${DESTINATION_PROJECT}/datasets/${DATASET} --log-filter='resource.type="k8s_pod" jsonPayload.reason="Pulling"' done
dengan
- PROJECT-LIST adalah daftar project ID Google Cloud, yang dipisahkan dengan spasi. Contohnya,
project1 project2 project3
. - DATASET-PROJECT adalah project tempat Anda ingin menyimpan set data.
- DATASET-NAME adalah nama untuk set data, misalnya
image_pull_logs
.
- PROJECT-LIST adalah daftar project ID Google Cloud, yang dipisahkan dengan spasi. Contohnya,
Setelah Anda membuat sink, perlu waktu agar data mengalir ke tabel BigQuery, bergantung pada seberapa sering gambar diambil.
Kueri untuk frekuensi pull
Setelah Anda memiliki sampel pengambilan gambar representatif yang dibuat oleh build Anda, jalankan kueri untuk frekuensi pull.
Jalankan kueri berikut:
SELECT REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName, COUNT(*) AS numberOfPulls FROM `DATASET-PROJECT.DATASET-NAME.events_*` GROUP BY imageName ORDER BY numberOfPulls DESC
dengan
- DATASET-PROJECT adalah project yang berisi set data Anda.
- DATASET-NAME adalah nama set data.
Contoh berikut menampilkan output dari kueri. Di kolom imageName, Anda dapat meninjau frekuensi pull untuk image yang tidak disimpan di Artifact Registry atau Container Registry.
Salin image ke Artifact Registry
Setelah mengidentifikasi image dari registry pihak ketiga, Anda siap untuk menyalinnya ke Artifact Registry. Alat gcrane membantu Anda dalam proses penyalinan.
Buat file teks
images.txt
di Cloud Shell dengan nama gambar yang Anda identifikasi. Contoh:ubuntu:18.04 debian:buster hello-world:latest redis:buster jupyter/tensorflow-notebook
Unduh gcrane.
GO111MODULE=on go get github.com/google/go-containerregistry/cmd/gcrane
Buat skrip bernama
copy_images.sh
untuk menyalin daftar file Anda.#!/bin/bash images=$(cat images.txt) if [ -z "${AR_PROJECT}" ] then echo ERROR: AR_PROJECT must be set before running this exit 1 fi for img in ${images} do gcrane cp ${img} LOCATION-docker.pkg.dev/${AR_PROJECT}/${img} done
Ganti LOCATION dengan region atau multi-region dari repositori Anda.
Buat agar skrip dapat dieksekusi:
chmod +x copy_images.sh
Jalankan skrip untuk menyalin file:
AR_PROJECT=${PROJECT} ./copy_images.sh
Verifikasi izin
Secara default, layanan CI/CD Google Cloud memiliki akses ke Artifact Registry di project Google Cloud yang sama.
- Cloud Build dapat mengirim dan mengambil image
- Lingkungan runtime, seperti GKE, Cloud Run, lingkungan fleksibel App Engine, dan Compute Engine, dapat mengambil image.
Jika Anda perlu mengirim atau mengambil image di seluruh project, atau jika Anda menggunakan alat pihak ketiga di pipeline yang perlu mengakses Artifact Registry, pastikan izin tersebut dikonfigurasi dengan benar sebelum Anda mengupdate dan men-deploy ulang beban kerja.
Untuk informasi selengkapnya, lihat dokumentasi kontrol akses.
Mengupdate manifes untuk mereferensikan Artifact Registry
Update Dockerfile dan manifes Anda untuk merujuk ke Artifact Registry, bukan registry pihak ketiga.
Contoh berikut menunjukkan manifes yang merujuk ke registry pihak ketiga:
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
ports:
- containerPort: 80
Versi terbaru manifes ini mengarah ke gambar pada
us-docker.pkg.dev
.
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: us-docker.pkg.dev/<AR_PROJECT>/nginx:1.14.2
ports:
- containerPort: 80
Untuk manifes dalam jumlah besar, gunakan sed atau alat lain yang dapat menangani update di banyak file teks.
Men-deploy ulang workload
Deploy ulang beban kerja dengan manifes yang telah diperbarui.
Pantau pull image baru dengan menjalankan kueri berikut di konsol BigQuery:
SELECT`
FORMAT_TIMESTAMP("%D %R", timestamp) as timeOfImagePull,
REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
COUNT(*) AS numberOfPulls
FROM
`image_pull_logs.events_*`
GROUP BY
timeOfImagePull,
imageName
ORDER BY
timeOfImagePull DESC,
numberOfPulls DESC
Semua pull image baru harus berasal dari Artifact Registry dan berisi string docker.pkg.dev
.