타사 레지스트리에서 컨테이너 마이그레이션

타사 레지스트리에서 컨테이너 이미지 일부를 직접 가져와 Google Kubernetes Engine 또는 Cloud Run과 같은 Google Cloud 환경에 배포하면 이미지 가져오기 또는 타사 서비스 중단에 대한 비율 제한에 따라 빌드와 배포가 중단될 수 있습니다. 이 페이지에서는 통합적이고 일관적인 컨테이너 이미지 관리를 위해 이미지를 통합해서 Google Cloud의 레지스트리에 복사하는 방법을 설명합니다.

또한 취약점 스캔을 사용한 소프트웨어 공급망 보안 및 Binary Authorization을 사용한 배포 정책 적용을 포함한 기타 기능을 활용할 수 있습니다.

레지스트리 선택

Artifact Registry는 Google Cloud에서 컨테이너 이미지 및 기타 빌드 아티팩트 저장 및 관리를 위해 권장되는 서비스입니다.

  • Container Registry를 사용하지 않는 경우 대신 이미지를 Artifact Registry로 마이그레이션하세요. Artifact Registry는 멀티 리전 대신 단일 리전에 이미지 저장, 보다 세부적인 액세스 제어, 기타 아티팩트 형식 지원을 포함하여 뛰어난 유연성과 제어 기능을 제공합니다.
  • Container Registry를 사용하는 경우 Artifact Registry로 전환할 수 있습니다.

마이그레이션 개요

컨테이너 이미지 마이그레이션에는 다음 단계가 포함됩니다.

  1. 기본 요건을 설정합니다.
  2. 마이그레이션할 이미지를 식별합니다.
    • 타사 레지스트리에 대한 참조로 Dockerfile 파일과 배포 매니페스트 검색
    • Cloud Logging 및 BigQuery를 사용하여 타사 레지스트리에서 이미지 가져오기 빈도를 결정합니다.
  3. Container Registry에 식별된 이미지를 복사합니다.
  4. 레지스트리에 대한 권한이 올바르게 구성되었는지 특히 Container Registry와 Google Cloud 배포 환경이 다른 프로젝트에 있는지 확인합니다.
  5. 배포 매니페스트를 업데이트합니다.
  6. 워크로드를 다시 배포합니다.
  7. (선택사항) 타사 소스의 이미지 배포를 차단합니다.

Container Registry는 Container Registry로 복사하는 이미지 업데이트에 사용되는 타사 레지스트리를 모니터링하지 않습니다. 최신 버전의 이미지를 파이프라인에 통합하려면 Container Registry로 푸시해야 합니다.

시작하기 전에

  1. 권한을 확인합니다. 이미지를 Container Registry로 마이그레이션하려는 프로젝트에 소유자 또는 편집자 IAM 역할이 있어야 합니다.
  2. 프로젝트 선택기 페이지로 이동

    1. Container Registry를 사용할 Google Cloud 프로젝트를 선택합니다.
    2. Google Cloud 콘솔에서 Cloud Shell로 이동합니다.
    3. 프로젝트 ID를 찾아서 Cloud Shell에서 설정합니다. YOUR_PROJECT_ID를 프로젝트 ID로 바꿉니다.

      gcloud config set project YOUR_PROJECT_ID
      
  3. 다음 환경 변수를 내보냅니다.

      export PROJECT=$(gcloud config get-value project)
    
  4. 다음 명령어를 사용하여 BigQuery, Container Registry, Cloud Monitoring API를 사용 설정합니다.

    gcloud services enable \
    containerregistry.googleapis.com \
    stackdriver.googleapis.com \
    logging.googleapis.com \
    monitoring.googleapis.com
    
  5. Go 버전 1.13 이상이 설치되어 있는지 확인합니다.

    • 다음 명령어로 기존 Go 설치 버전을 확인합니다.

      go version
      
    • Go를 설치하거나 업데이트해야 하는 경우 Go 설치 문서를 참조하세요.

비용

이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

마이그레이션할 이미지 식별

타사 레지스트리에 대한 참조용 컨테이너 이미지를 빌드 및 배포하는 데 사용한 파일을 검색한 후 이미지를 가져오는 빈도를 확인합니다.

Dockerfile에서 참조 식별

Dockerfile이 저장된 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.

Dockerfile이 있는 디렉터리에서 다음 명령어를 실행합니다.

grep -inr -H --include Dockerfile\* "FROM" . | grep -i -v -E 'docker.pkg.dev|gcr.io'

출력은 다음 예시와 같이 표시됩니다.

./code/build/baseimage/Dockerfile:1:FROM debian:stretch
./code/build/ubuntubase/Dockerfile:1:FROM ubuntu:latest
./code/build/pythonbase/Dockerfile:1:FROM python:3.5-buster

이 명령어는 디렉터리의 모든 Dockerfile을 검색하고 "FROM" 줄을 식별합니다. Dockerfile을 저장하는 방법과 일치하도록 명령어를 조정합니다.

매니페스트에서 참조 식별

GKE 또는 Cloud Run 매니페스트가 저장되는 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.

  1. GKE 또는 Cloud Run 매니페스트가 있는 디렉터리에서 다음 명령어를 실행합니다.

    grep -inr -H --include \*.yaml "image:" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
    

    샘플 결과:

    ./code/deploy/k8s/ubuntu16-04.yaml:63: image: busybox:1.31.1-uclibc
    ./code/deploy/k8s/master.yaml:26:      image: kubernetes/redis:v1
    

    이 명령어는 디렉터리의 모든 YAML 파일을 확인하고 image: 줄을 식별한 후 매니페스트가 저장되는 방식에 따라 조정합니다.

  2. 현재 클러스터에서 실행 중인 이미지를 나열하려면 다음 명령어를 실행합니다.

      kubectl get all --all-namespaces -o yaml | grep image: | grep -i -v -E 'docker.pkg.dev|gcr.io'
    

    이 명령어는 현재 선택된 Kubernetes 클러스터에서 실행 중인 모든 객체를 반환하고 이미지 이름을 가져옵니다.

    샘플 결과:

    - image: nginx
      image: nginx:latest
        - image: nginx
        - image: nginx
    

전체 Google Cloud 프로젝트의 모든 GKE 클러스터에 이 명령어를 실행합니다.

타사 레지스트리에서 가져오기 빈도 식별

타사 레지스트리에서 가져오는 프로젝트에서 이미지 가져오기 빈도에 대한 정보를 사용하여 사용량이 타사 레지스트리에서 적용하는 비율 제한에 근접하거나 이를 초과하는지 확인합니다.

로그 데이터 수집

로그 싱크를 만들어 BigQuery로 데이터를 내보냅니다. 로그 싱크에는 내보낼 로그 항목을 선택하는 대상과 쿼리가 포함됩니다. 개별 프로젝트를 쿼리하여 싱크를 만들거나 스크립트를 사용하여 프로젝트 간에 데이터를 수집할 수 있습니다.

단일 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

다음 안내는 Logging 미리보기 인터페이스에 적용됩니다.

  1. 로그 탐색기로 이동

  2. Google Cloud 프로젝트를 선택합니다.

  3. 쿼리 빌더 탭에서 다음 쿼리를 입력합니다.

      resource.type="k8s_pod"
      jsonPayload.reason="Pulling"
    
  4. 변경 내역 필터를 지난 1시간에서 지난 7일로 변경합니다.

    이미지

  5. 쿼리 실행을 클릭합니다.

  6. 결과가 올바르게 표시되는지 확인한 후 작업 > 싱크 만들기를 클릭합니다.

  7. 싱크 목록에서 BigQuery 데이터 세트를 선택한 후 다음을 클릭합니다.

  8. 싱크 수정 패널에서 다음 단계를 수행합니다.

    • 싱크 이름 필드에 image_pull_logs를 입력합니다.
    • 싱크 대상 필드에서 새 데이터 세트를 만들거나 다른 프로젝트의 대상 데이터 세트를 선택합니다.
  9. 싱크 만들기를 클릭합니다.

여러 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

  1. Cloud Shell을 엽니다.

  2. Cloud Shell에서 다음 명령어를 실행합니다.

    PROJECTS="PROJECT-LIST"
    DESTINATION_PROJECT="DATASET-PROJECT"
    DATASET="DATASET-NAME"
    
    for source_project in $PROJECTS
    do
      gcloud logging --project="${source_project}" sinks create image_pull_logs bigquery.googleapis.com/projects/${DESTINATION_PROJECT}/datasets/${DATASET} --log-filter='resource.type="k8s_pod" jsonPayload.reason="Pulling"'
    done
    

    각 항목의 의미는 다음과 같습니다.

    • PROJECT-LIST는 공백으로 구분된 Google Cloud 프로젝트 ID의 목록입니다. 예를 들면 project1 project2 project3입니다.
    • DATASET-PROJECT는 데이터 세트를 저장할 프로젝트입니다.
    • DATASET-NAME은 데이터 세트 이름입니다(예: image_pull_logs).

싱크를 만든 후 이미지를 가져오는 빈도에 따라 BigQuery 테이블로 데이터를 전송하는 데 시간이 걸립니다.

가져오기 빈도 쿼리

빌드가 수행하는 이미지 가져오기의 대표 샘플이 있으면 가져오기 빈도의 쿼리를 실행합니다.

  1. BigQuery 콘솔로 이동합니다.

  2. 다음 쿼리를 실행합니다.

    SELECT
      REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
      COUNT(*) AS numberOfPulls
    FROM
          `DATASET-PROJECT.DATASET-NAME.events_*`
    GROUP BY
          imageName
    ORDER BY
          numberOfPulls DESC
    

    각 항목의 의미는 다음과 같습니다.

    • DATASET-PROJECT는 데이터 세트가 포함된 프로젝트입니다.
    • DATASET-NAME는 데이터 세트 이름입니다.

다음 예시는 쿼리의 출력을 보여줍니다. imageName 열에서 Container Registry 또는 Artifact Registry에 저장되지 않은 이미지의 가져오기 빈도를 검토할 수 있습니다.

이미지

Container Registry로 이미지 복사

타사 레지스트리에서 이미지를 식별하면 이미지를 Container Registry로 복사할 수 있습니다. gcrane 도구는 복사 프로세스를 지원합니다.

  1. Cloud Shell에서 확인한 이미지의 이름으로 텍스트 파일 images.txt를 만듭니다. 예를 들면 다음과 같습니다.

    ubuntu:18.04
    debian:buster
    hello-world:latest
    redis:buster
    jupyter/tensorflow-notebook
    
  2. gcrane을 다운로드합니다.

      GO111MODULE=on go get github.com/google/go-containerregistry/cmd/gcrane
    
  3. copy_images.sh라는 스크립트를 만들어 파일 목록을 복사합니다.

    #!/bin/bash
    
    images=$(cat images.txt)
    
    if [ -z "${GCR_PROJECT}" ]
    then
        echo ERROR: GCR_PROJECT must be set before running this
        exit 1
    fi
    
    for img in ${images}
    do
        gcrane cp ${img} gcr.io/${GCR_PROJECT}/${img}
    done
    

    스크립트를 실행 가능하게 만듭니다.

      chmod +x copy_images.sh
    
  4. 스크립트를 실행하여 파일을 복사합니다.

    GCR_PROJECT=${PROJECT}
    ./copy_images.sh
    

권한 확인

기본적으로 Google Cloud CI/CD 서비스는 동일한 Google Cloud 프로젝트의 Container Registry에 액세스합니다.

  • Cloud Build는 이미지를 내보내고 가져올 수 있습니다.
  • GKE, Cloud Run, App Engine 가변형 환경, Compute Engine과 같은 런타임 환경에서 이미지를 가져올 수 있습니다.

프로젝트 간에 이미지를 푸시하거나 가져와야 하는 경우 또는 Container Registry에 액세스해야 하는 타사 도구를 파이프라인에서 사용하는 경우 워크로드를 업데이트하고 재배포하기 전에 권한이 올바르게 구성되어 있는지 확인합니다.

자세한 내용은 액세스 제어 문서를 참조하세요.

Container Registry를 참조하도록 매니페스트 업데이트

타사 레지스트리 대신 Container Registry를 참조하도록 Dockerfile과 매니페스트를 업데이트합니다.

다음 예시에서는 타사 레지스트리를 참조하는 매니페스트를 보여줍니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

매니페스트의 이 업데이트된 버전은 Container Registry의 이미지를 가리킵니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: gcr.io/<GCR_PROJECT>/nginx:1.14.2
        ports:
        - containerPort: 80

매니페스트가 많은 경우 많은 텍스트 파일에서 업데이트를 처리할 수 있는 sed나 다른 도구를 사용합니다.

워크로드 재배포

업데이트된 매니페스트로 워크로드를 재배포합니다.

BigQuery 콘솔에서 다음 쿼리를 실행하여 새 이미지 가져오기를 추적합니다.

SELECT`

FORMAT_TIMESTAMP("%D %R", timestamp) as timeOfImagePull,
REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
COUNT(*) AS numberOfPulls
FROM
  `image_pull_logs.events_*`
GROUP BY
  timeOfImagePull,
  imageName
ORDER BY
  timeOfImagePull DESC,
  numberOfPulls DESC

모든 새 이미지 가져오기는 Container Registry에서 수행되어야 하고 gcr.io 문자열을 포함해야 합니다.

(선택사항) 타사 레지스트리에서 이미지 가져오기 차단

Binary Authorization을 사용하는 GKE 클러스터의 경우 정의된 정책은 자동으로 신뢰할 수 없는 소스에서 가져오기를 차단합니다. 마이그레이션된 이미지를 예외 목록에 추가하여 이 이미지가 정책에서 차단되지 않는지 확인합니다. 이 안내에서는 프로젝트 내 Container Registry에 저장된 모든 이미지에 예외를 지정하는 방법을 설명합니다.

처음에 정책을 업데이트할 때는 테스트 실행 모드를 사용 설정하는 것이 좋습니다. Binary Authorization은 이미지를 차단하는 대신 감사 로그 항목을 만들어 Container Registry로 마이그레이션해야 하는 타사 레지스트리에서 처리되지 않은 이미지를 식별할 수 있습니다.

배포 정책을 구성하는 방법에 대한 자세한 내용은 Binary Authorization 문서를 참조하세요.

  1. Binary Authorization 페이지로 이동
  2. 정책 수정을 클릭합니다.
  3. 프로젝트 기본 규칙에서 테스트 실행 모드를 사용 설정합니다.
  4. 배포 규칙에서 제외되는 이미지에서 Google이 제공하는 모든 시스템 이미지 신뢰를 선택된 상태로 둡니다.
  5. 이미지 경로를 펼칩니다.
  6. 이미지 경로를 기본 프로젝트 규칙에 대한 예외로 추가합니다.
    1. 이미지 목록 하단에 있는 이미지 추가를 클릭합니다.
    2. Google Cloud 프로젝트의 이미지 경로를 입력합니다. 예를 들어 gcr.io/my-project/*my-project 프로젝트의 모든 이미지를 예외로 처리합니다.
  7. 배포할 이미지가 포함된 다른 프로젝트에 이전 단계를 반복합니다.

Logging에서 배포의 테스트 실행 이벤트를 검토합니다. 타사 레지스트리에서 정기적으로 가져오는 나머지 이미지를 마이그레이션합니다. 모든 이미지가 마이그레이션되면 정책을 수정하여 테스트 실행 모드를 중지하고 신뢰할 수 없는 소스의 이미지를 차단할 수 있습니다.