인스턴스 및 파이프라인의 버전 업그레이드 관리

이 페이지에서는 인스턴스 또는 일괄 파이프라인의 버전을 업그레이드하는 방법을 설명합니다.

최신 기능, 버그 수정, 성능 개선을 위해 Cloud Data Fusion 인스턴스 및 일괄 파이프라인을 최신 플랫폼 및 플러그인 버전으로 업그레이드합니다.

시작하기 전에

  • 업그레이드에 대한 예정된 다운타임을 계획하세요. 이 프로세스는 최대 1시간이 소요됩니다.

  • Google Cloud 콘솔에서 Cloud Shell을 활성화합니다.

    Cloud Shell 활성화

제한사항

  • Cloud Data Fusion 인스턴스를 만든 후에는 업그레이드 작업을 수행해도 버전을 변경할 수 없습니다.

  • Kafka 실시간 소스를 사용하여 버전 6.8.0에서 생성된 파이프라인을 제외하고 실시간 파이프라인 업그레이드는 지원되지 않습니다. 해결 방법은 실시간 파이프라인 업그레이드를 참조하세요.

  • Cloud Data Fusion은 업그레이드 작업으로 인해 중지된 파이프라인을 다시 시작하지 않습니다.

Cloud Data Fusion 인스턴스 업그레이드

Cloud Data Fusion 인스턴스를 새 Cloud Data Fusion 버전으로 업그레이드하려면 인스턴스 세부정보 페이지로 이동합니다.

  1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

  2. 인스턴스를 클릭한 후 인스턴스 이름을 클릭하여 인스턴스 세부정보 페이지로 이동합니다.

    인스턴스로 이동

그런 다음 Google Cloud 콘솔이나 gcloud CLI를 사용하여 업그레이드를 수행하세요.

콘솔

  1. 사용 가능한 버전 목록을 보려면 업그레이드를 클릭합니다.

  2. 버전을 선택합니다.

  3. 업그레이드를 클릭합니다.

  4. 업그레이드가 성공했는지 확인합니다.

    1. 인스턴스 세부정보 페이지를 새로고침합니다.

    2. 인스턴스 보기를 클릭하여 Cloud Data Fusion 웹 인터페이스에서 업그레이드된 인스턴스에 액세스합니다.

    3. 메뉴 바에서 시스템 관리자를 클릭합니다.

      새 버전 번호가 페이지 상단에 표시됩니다.

  5. 새 버전에서 파이프라인을 실행할 때 파이프라인이 중단되지 않도록 하려면 업그레이드된 인스턴스에서 필요한 역할을 부여합니다.

gcloud

  1. 새 Cloud Data Fusion 버전으로 업그레이드하려면 로컬 터미널 Cloud Shell 세션에서 다음 gcloud CLI 명령어를 실행합니다.

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. 다음 단계에 따라 업그레이드가 성공했는지 확인합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 인스턴스 페이지를 엽니다.

    2. 인스턴스 보기를 클릭하여 Cloud Data Fusion 웹 인터페이스에서 업그레이드된 인스턴스에 액세스합니다.

    3. 메뉴 바에서 시스템 관리자를 클릭합니다.

      새 버전 번호가 페이지 상단에 표시됩니다.

  3. 새 버전에서 파이프라인을 실행할 때 파이프라인이 중단되지 않도록 하려면 업그레이드된 인스턴스에서 필요한 역할을 부여합니다.

일괄 파이프라인 업그레이드

최신 플러그인 버전을 사용하도록 Cloud Data Fusion 일괄 파이프라인을 업그레이드하려면 다음 안내를 따르세요.

  1. 환경 변수 설정

  2. 권장사항: 모든 파이프라인을 백업하세요. 다음 두 가지 방법 중 하나로 파이프라인을 백업할 수 있습니다.

    • 다음 단계에 따라 ZIP 파일을 다운로드합니다.

      1. ZIP 파일 다운로드를 트리거하려면 다음 명령어를 사용하여 모든 파이프라인을 백업합니다.
      echo $CDAP_ENDPOINT/v3/export/apps
      1. 브라우저에 URL 출력을 복사합니다.
      2. 다운로드한 파일을 추출한 다음 모든 파이프라인이 내보내졌는지 확인합니다. 파이프라인은 네임스페이스별로 정리됩니다.

    • 버전 6.9 이상에서 사용할 수 있는 소스 제어 관리(SCM)를 사용하여 파이프라인을 백업합니다. SCM은 파이프라인을 백업하는 데 사용할 수 있는 GitHub 통합을 제공합니다.

  3. 다음 단계에 따라 파이프라인을 업그레이드합니다.

    1. 다음 단계에서 파이프라인 목록을 저장하기 위해 만들 pipeline_upgrade.json 파일을 가리키는 변수를 만듭니다.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      PATH를 파일의 경로로 바꿉니다.

    2. 다음 명령어를 사용하여 인스턴스 및 네임스페이스의 모든 파이프라인 목록을 만듭니다. 결과는 $PIPELINE_LIST 파일에 JSON 형식으로 저장됩니다. 목록을 수정하여 업그레이드가 필요하지 않은 파이프라인을 삭제할 수 있습니다.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      NAMESPACE_ID를 업그레이드를 실행할 네임스페이스로 바꿉니다.

    3. pipeline_upgrade.json에 나열된 파이프라인을 업그레이드합니다. 업그레이드할 파이프라인의 NAMESPACE_ID를 삽입합니다. 이 명령어는 업그레이드된 파이프라인의 목록을 업그레이드 상태와 함께 표시합니다.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      NAMESPACE_ID를 업그레이드하려는 파이프라인의 네임스페이스 ID로 바꿉니다.

  4. 새 버전에서 파이프라인을 실행할 때 파이프라인이 중단되지 않도록 하려면 업그레이드된 인스턴스에서 필요한 역할을 부여합니다.

실시간 파이프라인 업그레이드

Kafka 실시간 소스를 사용하여 버전 6.8.0에서 생성된 파이프라인을 제외하고 실시간 파이프라인 업그레이드는 지원되지 않습니다.

그 외의 모든 경우에는 다음 작업을 수행합니다.

  1. 파이프라인을 중지하고 내보냅니다.
  2. 인스턴스를 업그레이드합니다.
  3. 실시간 파이프라인을 업그레이드된 인스턴스로 가져옵니다.

복제를 사용하도록 업그레이드

복제는 버전 6.3.0 이상의 Cloud Data Fusion 환경에서 사용 설정할 수 있습니다. 버전 6.2.3을 사용하는 경우 6.3.0으로 업그레이드한 후 최신 버전으로 업그레이드합니다. 그런 후 복제를 사용 설정할 수 있습니다.

업그레이드된 인스턴스에 대한 역할 부여

업그레이드가 완료되면 프로젝트의 Dataproc 서비스 계정에 Cloud Data Fusion 실행자 역할(roles/datafusion.runner) 및 Cloud Storage 관리자 역할(roles/storage.admin)을 부여합니다.

다음 단계