타사 레지스트리에서 컨테이너 마이그레이션

타사 레지스트리에서 컨테이너 이미지 일부를 직접 가져와 Google Kubernetes Engine 또는 Cloud Run과 같은 Google Cloud 환경에 배포하면 이미지 가져오기 또는 타사 서비스 중단에 대한 비율 제한에 따라 빌드와 배포가 중단될 수 있습니다. 이 페이지에서는 통합되고 일관된 컨테이너 이미지 관리를 위해 이러한 이미지를 식별하고 Artifact Registry에 복사하는 방법을 설명합니다.

Artifact Registry는 Artifact Registry로 복사하는 이미지 업데이트에 사용되는 타사 레지스트리를 모니터링하지 않습니다. 최신 버전의 이미지를 파이프라인에 통합하려면 Artifact Registry로 푸시해야 합니다.

마이그레이션 개요

컨테이너 이미지 마이그레이션에는 다음 단계가 포함됩니다.

1. 기본 요건을 설정합니다.
2. 마이그레이션할 이미지를 식별합니다.
   • 타사 레지스트리에 대한 참조로 Dockerfile 파일과 배포 매니페스트 검색
   • Cloud Logging 및 BigQuery를 사용하여 타사 레지스트리에서 이미지 가져오기 빈도를 결정합니다.
3. Artifact Registry에 식별된 이미지를 복사합니다.
4. 레지스트리에 대한 권한이 올바르게 구성되었는지 특히 Artifact Registry와 Google Cloud 배포 환경이 다른 프로젝트에 있는지 확인합니다.
5. 배포 매니페스트를 업데이트합니다.
6. 워크로드를 다시 배포합니다.

시작하기 전에

1. 권한을 확인합니다. 이미지를 Artifact Registry로 마이그레이션할 프로젝트에 소유자 또는 편집자 IAM 역할이 있어야 합니다.

2. 프로젝트 선택기 페이지로 이동

   1. Artifact Registry를 사용할 Google Cloud 프로젝트를 선택합니다.
   2. Google Cloud 콘솔에서 Cloud Shell로 이동합니다.

   3. 프로젝트 ID를 찾아서 Cloud Shell에서 설정합니다. YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.

      gcloud config set project YOUR_PROJECT_ID
      

3. 다음 환경 변수를 내보냅니다.

     export PROJECT=$(gcloud config get-value project)
   

4. 다음 명령어를 사용하여 BigQuery, Artifact Registry, Cloud Monitoring API를 사용 설정합니다.

   gcloud services enable \
   artifactregistry.googleapis.com \
   stackdriver.googleapis.com \
   logging.googleapis.com \
   monitoring.googleapis.com
   

5. 현재 Artifact Registry를 사용하지 않는 경우 이미지에 대해 저장소를 구성합니다.

   • 저장소 만들기
   • 저장소에 액세스해야 하는 타사 클라이언트의 인증 구성

6. Go 버전 1.13 이상이 설치되어 있는지 확인합니다.

   • 다음 명령어로 기존 Go 설치 버전을 확인합니다.

     go version
     

   • Go를 설치하거나 업데이트해야 하는 경우 Go 설치 문서를 참조하세요.

비용

이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• GKE
• Artifact Registry
• BigQuery
• Logging

마이그레이션할 이미지 식별

타사 레지스트리에 대한 참조용 컨테이너 이미지를 빌드 및 배포하는 데 사용한 파일을 검색한 후 이미지를 가져오는 빈도를 확인합니다.

Dockerfile에서 참조 식별

Dockerfile이 저장된 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.

Dockerfile이 있는 디렉터리에서 다음 명령어를 실행합니다.

grep -inr -H --include Dockerfile\* "FROM" . | grep -i -v -E 'docker.pkg.dev|gcr.io'

출력은 다음 예시와 같이 표시됩니다.

./code/build/baseimage/Dockerfile:1:FROM debian:stretch
./code/build/ubuntubase/Dockerfile:1:FROM ubuntu:latest
./code/build/pythonbase/Dockerfile:1:FROM python:3.5-buster

이 명령어는 디렉터리의 모든 Dockerfile을 검색하고 "FROM" 줄을 식별합니다. Dockerfile을 저장하는 방법과 일치하도록 명령어를 조정합니다.

매니페스트에서 참조 식별

GKE 또는 Cloud Run 매니페스트가 저장되는 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.

1. GKE 또는 Cloud Run 매니페스트가 있는 디렉터리에서 다음 명령어를 실행합니다.

   grep -inr -H --include \*.yaml "image:" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
   

   샘플 결과:

   ./code/deploy/k8s/ubuntu16-04.yaml:63: image: busybox:1.31.1-uclibc
   ./code/deploy/k8s/master.yaml:26:      image: kubernetes/redis:v1
   

   이 명령어는 디렉터리의 모든 YAML 파일을 확인하고 image: 줄을 식별한 후 매니페스트가 저장되는 방식에 따라 조정합니다.

2. 현재 클러스터에서 실행 중인 이미지를 나열하려면 다음 명령어를 실행합니다.

     kubectl get all --all-namespaces -o yaml | grep image: | grep -i -v -E 'docker.pkg.dev|gcr.io'
   

   이 명령어는 현재 선택된 Kubernetes 클러스터에서 실행 중인 모든 객체를 반환하고 이미지 이름을 가져옵니다.

   샘플 결과:

   - image: nginx
     image: nginx:latest
       - image: nginx
       - image: nginx
   

전체 Google Cloud 프로젝트의 모든 GKE 클러스터에 이 명령어를 실행합니다.

타사 레지스트리에서 가져오기 빈도 식별

타사 레지스트리에서 가져오는 프로젝트에서 이미지 가져오기 빈도에 대한 정보를 사용하여 사용량이 타사 레지스트리에서 적용하는 비율 제한에 근접하거나 이를 초과하는지 확인합니다.

로그 데이터 수집

로그 싱크를 만들어 BigQuery로 데이터를 내보냅니다. 로그 싱크에는 내보낼 로그 항목을 선택하는 대상과 쿼리가 포함됩니다. 개별 프로젝트를 쿼리하여 싱크를 만들거나 스크립트를 사용하여 프로젝트 간에 데이터를 수집할 수 있습니다.

단일 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

1. 로그 탐색기로 이동

2. Google Cloud 프로젝트를 선택합니다.

3. 쿼리 빌더 탭에서 다음 쿼리를 입력합니다.

     resource.type="k8s_pod"
     jsonPayload.reason="Pulling"
   

4. 내역 필터를 지난 1시간에서 지난 7일로 변경합니다.

   

5. 쿼리 실행을 클릭합니다.

6. 결과가 올바르게 표시되는지 확인한 후 작업 > 싱크 만들기를 클릭합니다.

7. 싱크 목록에서 BigQuery 데이터 세트를 선택한 후 다음을 클릭합니다.

8. 싱크 수정 패널에서 다음 단계를 수행합니다.

   • 싱크 이름 필드에 image_pull_logs를 입력합니다.
   • 싱크 대상 필드에서 새 데이터 세트를 만들거나 다른 프로젝트의 대상 데이터 세트를 선택합니다.

9. 싱크 만들기를 클릭합니다.

여러 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

1. Cloud Shell을 엽니다.

2. Cloud Shell에서 다음 명령어를 실행합니다.

   PROJECTS="PROJECT-LIST"
   DESTINATION_PROJECT="DATASET-PROJECT"
   DATASET="DATASET-NAME"
   
   for source_project in $PROJECTS
   do
     gcloud logging --project="${source_project}" sinks create image_pull_logs bigquery.googleapis.com/projects/${DESTINATION_PROJECT}/datasets/${DATASET} --log-filter='resource.type="k8s_pod" jsonPayload.reason="Pulling"'
   done
   

   각 항목의 의미는 다음과 같습니다.

   • PROJECT-LIST는 공백으로 구분된 Google Cloud 프로젝트 ID의 목록입니다. 예를 들면 project1 project2 project3입니다.
   • DATASET-PROJECT는 데이터 세트를 저장할 프로젝트입니다.
   • DATASET-NAME은 데이터 세트 이름입니다(예: image_pull_logs).

싱크를 만든 후 이미지를 가져오는 빈도에 따라 BigQuery 테이블로 데이터를 전송하는 데 시간이 걸립니다.

가져오기 빈도 쿼리

빌드가 수행하는 이미지 가져오기의 대표 샘플이 있으면 가져오기 빈도의 쿼리를 실행합니다.

1. BigQuery 콘솔로 이동합니다.

2. 다음 쿼리를 실행합니다.

   SELECT
     REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
     COUNT(*) AS numberOfPulls
   FROM
         `DATASET-PROJECT.DATASET-NAME.events_*`
   GROUP BY
         imageName
   ORDER BY
         numberOfPulls DESC
   

   각 항목의 의미는 다음과 같습니다.

   • DATASET-PROJECT는 데이터 세트가 포함된 프로젝트입니다.
   • DATASET-NAME는 데이터 세트 이름입니다.

다음 예시는 쿼리의 출력을 보여줍니다. imageName 열에서 Artifact Registry 또는 Container Registry에 저장되지 않은 이미지의 가져오기 빈도를 검토할 수 있습니다.

Artifact Registry로 이미지 복사

타사 레지스트리에서 이미지를 식별하면 이미지를 Artifact Registry로 복사할 수 있습니다. gcrane 도구는 복사 프로세스를 지원합니다.

1. Cloud Shell에서 확인한 이미지의 이름으로 텍스트 파일 images.txt를 만듭니다. 예를 들면 다음과 같습니다.

   ubuntu:18.04
   debian:buster
   hello-world:latest
   redis:buster
   jupyter/tensorflow-notebook
   

2. gcrane을 다운로드합니다.

     GO111MODULE=on go get github.com/google/go-containerregistry/cmd/gcrane
   

3. copy_images.sh라는 스크립트를 만들어 파일 목록을 복사합니다.

   #!/bin/bash
   
   images=$(cat images.txt)
   
   if [ -z "${AR_PROJECT}" ]
   then
       echo ERROR: AR_PROJECT must be set before running this
       exit 1
   fi
   
   for img in ${images}
   do
       gcrane cp ${img} LOCATION-docker.pkg.dev/${AR_PROJECT}/${img}
   done
   

   LOCATION을 저장소의 리전 또는 멀티 리전으로 바꿉니다.

   스크립트를 실행 가능하게 만듭니다.

     chmod +x copy_images.sh
   

4. 스크립트를 실행하여 파일을 복사합니다.

   AR_PROJECT=${PROJECT}
   ./copy_images.sh
   

권한 확인

기본적으로 Google Cloud CI/CD 서비스는 동일한 Google Cloud 프로젝트의 Artifact Registry에 액세스합니다.

• Cloud Build는 이미지를 내보내고 가져올 수 있습니다.
• GKE, Cloud Run, App Engine 가변형 환경, Compute Engine과 같은 런타임 환경에서 이미지를 가져올 수 있습니다.

프로젝트 간에 이미지를 내보내거나 가져와야 하는 경우 또는 Artifact Registry에 액세스해야 하는 타사 도구를 파이프라인에서 사용하는 경우 워크로드를 업데이트하고 재배포하기 전에 권한이 올바르게 구성되어 있는지 확인합니다.

자세한 내용은 액세스 제어 문서를 참조하세요.

Artifact Registry를 참조하도록 매니페스트 업데이트

타사 레지스트리 대신 Artifact Registry를 참조하도록 Dockerfile과 매니페스트를 업데이트합니다.

다음 예시에서는 타사 레지스트리를 참조하는 매니페스트를 보여줍니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

매니페스트의 이 업데이트된 버전은 us-docker.pkg.dev의 이미지를 가리킵니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: us-docker.pkg.dev/<AR_PROJECT>/nginx:1.14.2
        ports:
        - containerPort: 80

매니페스트가 많은 경우 많은 텍스트 파일에서 업데이트를 처리할 수 있는 sed나 다른 도구를 사용합니다.

워크로드 재배포

업데이트된 매니페스트로 워크로드를 재배포합니다.

BigQuery 콘솔에서 다음 쿼리를 실행하여 새 이미지 가져오기를 추적합니다.

SELECT`

FORMAT_TIMESTAMP("%D %R", timestamp) as timeOfImagePull,
REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
COUNT(*) AS numberOfPulls
FROM
  `image_pull_logs.events_*`
GROUP BY
  timeOfImagePull,
  imageName
ORDER BY
  timeOfImagePull DESC,
  numberOfPulls DESC

모든 새 이미지 가져오기는 Artifact Registry에서 수행해야 하고 docker.pkg.dev 문자열을 포함해야 합니다.