클러스터 다시 만들기 및 업데이트

Dataproc에서는 Apache Log4j 보안 취약점의 영향을 받는 1.3.95, 1.4.77, 1.5.53, 2.0.27 이전의 이미지 버전을 사용하여 클러스터를 만들 수 없습니다. Dataproc는 또한 Dataproc 이미지 버전 0.x, 1.0.x, 1.1.x, 1.2.x에 대해 클러스터 만들기를 방지합니다. 가능한 경우 최신 하위 부 이미지 버전을 사용해서 Dataproc 클러스터를 만드는 것이 좋습니다.

이미지 버전	log4j 버전	고객 안내
2.0.29, 1.5.55, 1.4.79 또는 각 이후 버전	log4j.2.17.1	권장
2.0.28, 1.5.54, 1.4.78	log4j.2.17.0	권장
2.0.27, 1.5.53, 1.4.77	log4j.2.16.0	적극 권장
2.0.26, 1.5.52, 1.4.76 또는 각 이전 버전	이전 버전	사용 중단

특정 이미지 및 log4j 업데이트 정보는 Dataproc 출시 노트를 참조하세요.

클러스터를 다시 만들고 업데이트하는 단계

gcloud 명령줄 도구 또는 Dataproc API를 사용하여 기존 클러스터에서 구성을 복사하고, 복사된 구성을 업데이트한 뒤, 업데이트된 구성으로 새 클러스터를 만들 수 있습니다.

gcloud CLI

예시 안내에서는 클러스터 구성의 이미지 버전 설정을 업데이트하는 방법을 보여줍니다. 이 예시를 변경하여 다른 클러스터 구성 설정을 업데이트할 수 있습니다.

권장되는 방법은 프로덕션 환경을 위해 또는 특정 구성요소 버전과의 호환성이 중요한 경우 major.minor 이미지 버전을 지정하는 것입니다. 하위 부 버전 및 OS 배포판은 최신 주간 출시 버전으로 자동 설정됩니다.

1. 변수를 설정합니다.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   

2. 기존(이전) 클러스터 구성을 YAML 파일로 내보냅니다.

   gcloud dataproc clusters export $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION > "${OLD_CLUSTER}-config.yaml"

3. 구성을 업데이트합니다. 다음 예시에서는 sed를 사용하여 이미지 버전을 업데이트합니다.

   sed -E "s|(^[[:blank:]]+)imageVersion: .+|\1imageVersion: ${NEW_IMAGE_VERSION}|g" "${OLD_CLUSTER}-config.yaml" | sed -E '/^[[:blank:]]+imageUri: /d' > "${NEW_CLUSTER}-config-updated.yaml"

4. 새 이름과 업데이트된 구성으로 새 클러스터를 만듭니다.

   gcloud dataproc clusters import $NEW_CLUSTER \
       --project=$PROJECT \
       --region=$REGION \
       --source="${NEW_CLUSTER}-config-updated.yaml"

5. 워크로드가 새 클러스터에서 문제 없이 실행되는지 확인한 후 기존(이전) 클러스터를 삭제합니다. 중요: 이 단계에서 HDFS 및 클러스터의 로컬 디스크에 저장된 모든 데이터가 삭제됩니다.

   gcloud dataproc clusters delete $OLD_CLUSTER \
       --project=$PROJECT \
       --region=$REGION

REST API

예시 안내에서는 클러스터 구성의 클러스터 이름과 이미지 버전 설정을 업데이트하는 방법을 보여줍니다. 예시 변수를 변경하여 다른 클러스터 구성 설정을 업데이트할 수 있습니다.

권장되는 방법은 프로덕션 환경을 위해 또는 특정 구성요소 버전과의 호환성이 중요한 경우 major.minor 이미지 버전을 지정하는 것입니다. 하위 부 버전 및 OS 배포판은 최신 주간 출시 버전으로 자동 설정됩니다.

1. 변수를 설정합니다.

   export PROJECT=project-id
   export REGION=region
   export OLD_CLUSTER=old-cluster-name
   export NEW_CLUSTER=new-cluster-name
   export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')
   
   

2. 기존(이전) 클러스터 구성을 JSON 파일로 내보냅니다.

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}?alt=json" > "${OLD_CLUSTER}-config.json"

3. 구성을 업데이트합니다. 다음 예시에서는 jq를 사용하여 클러스터 이름과 이미지 버전을 업데이트합니다.

   jq ".clusterName = \"${NEW_CLUSTER}\" | .config.softwareConfig.imageVersion=\"${NEW_IMAGE_VERSION}\" | del(.config.workerConfig.imageUri) | del(.config.masterConfig.imageUri)" "${OLD_CLUSTER}-config.json" > "${NEW_CLUSTER}-config-updated.json"

4. 업데이트된 클러스터 구성을 가져와서 업데이트된 구성으로 새 클러스터를 만듭니다.

   curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${NEW_CLUSTER}-config-updated.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

5. 워크로드가 새 클러스터에서 문제 없이 실행되는지 확인한 후 기존(이전) 클러스터를 삭제합니다. 중요: 이 단계에서 HDFS 및 클러스터의 로컬 디스크에 저장된 모든 데이터가 삭제됩니다.

   curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}"
   

Console

콘솔에서는 클러스터 구성을 가져와서 클러스터를 다시 만들 수 없습니다.