백업에서 Dataproc Metastore 복원

이 페이지에서는 백업에서 Dataproc Metastore 서비스를 복원하는 방법을 설명합니다.

백업은 Dataproc Metastore 서비스에 저장된 구성 설정 및 메타데이터에 대한 스냅샷입니다. 복원 기능을 사용하여 백업에 이전에 저장된 데이터를 사용하여 새 Dataproc Metastore 서비스를 빠르게 설정할 수 있습니다.

시작하기 전에

필요한 역할

백업에서 Dataproc Metastore 서비스를 복원하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

  • 백업 완료를 위한 Dataproc Metastore 리소스의 전체 제어 권한을 부여하려면 다음 역할 중 하나 필요:
  • 예약 백업을 저장하는 Cloud Storage 객체 사용: Dataproc Metastore 서비스 에이전트에 대한 Cloud Storage 객체 사용자(roles/storage.objectUser)

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 백업에서 Dataproc Metastore 서비스를 복원하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

백업에서 Dataproc Metastore 서비스를 복원하려면 다음 권한이 필요합니다.

  • 메타데이터 서비스 복원: metastore.services.restore, metastore.backups.use
  • Cloud Storage 객체 사용:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

특정 Dataproc Metastore 역할 및 권한에 대한 자세한 내용은 Dataproc Metastore IAM 개요를 참조하세요.

백업에서 복원 정보

백업에서 서비스를 복원할 때는 다음 옵션 중 하나를 선택할 수 있습니다.

  • 백업에 저장된 모든 메타데이터 및 구성 설정을 복원합니다.
  • 모든 메타데이터를 복원하지만 백업에 저장된 구성 설정을 복원하지 않습니다. 대신 서비스에 현재 구성 설정이 보존됩니다.

    구성 설정에는 서비스 이름, 포트 번호, 네트워크 설정과 같은 Dataproc Metastore 매개변수가 포함됩니다. 메타데이터에는 Dataproc Metastore 서비스에 저장된 모든 데이터베이스 및 테이블 정보가 포함되어 있습니다.

고려사항

  • 복원 작업을 실행하는 동안에는 서비스를 업데이트할 수 없습니다. 예를 들어 구성 설정을 변경할 수 없습니다. 그러나 연결된 Dataproc 또는 자체 관리형 클러스터에서 메타데이터에 액세스하는 데 사용하는 등의 일반적인 작업에서는 서비스를 계속 사용할 수 있습니다.

  • Dataproc Metastore 라벨은 복원되지 않습니다.

  • 웨어하우스 디렉터리에 저장된 데이터는 복원되지 않습니다.

  • 백업에서 복원을 수행해도 세분화된 IAM 정책은 복원되거나 교체되지 않습니다.

  • 예약 백업에서 복원하려면 백업이 Cloud Storage 버킷에 있어야 합니다.

백업에서 복원

백업에서 Dataproc Metastore 서비스를 복원하려면 다음 단계를 완료하세요.

  • Google Cloud 콘솔을 사용하는 경우 새 서비스와 동일한 프로젝트 및 리전에서 생성된 백업에서만 메타데이터를 복원할 수 있습니다.

  • Google Cloud CLI 또는 Dataproc Metastore API를 사용하는 경우에는 다른 프로젝트 및 리전에 생성된 백업으로부터 메타데이터를 복원할 수 있습니다(서비스 간 백업).

Console

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

    Dataproc Metastore 열기

  2. Dataproc Metastore 페이지에서 백업에서 복원하려는 서비스 이름을 클릭합니다.

    서비스 세부정보 페이지가 열립니다.

    서비스 세부정보 페이지
    그림 1. Dataproc Metastore 서비스 세부정보 페이지
  3. 백업을 보려면 백업/복원 탭을 클릭합니다.

  4. 사용할 백업을 선택합니다. 이렇게 하려면 메뉴 아이콘 을 클릭하고 복원을 선택합니다.

    복원 페이지가 열립니다.

    또한 백업 세부정보 페이지에서 서비스를 복원할 수 있습니다. 이렇게 하려면 백업 이름을 클릭한 후 복원을 클릭합니다.

  5. 적절한 복원 작업을 선택합니다.

    • Metastore 데이터 복원. 모든 메타데이터를 복원하지만 백업에 저장된 구성 설정을 복원하지 않습니다.
    • Metastore 데이터 및 서비스 구성 복원. 백업에 저장된 모든 메타데이터 및 모든 구성 설정을 복원합니다.
  6. 서비스를 업데이트하려면 복원을 클릭합니다.

    Dataproc Metastore 페이지로 돌아가서 서비스가 성공적으로 백업되었는지 확인합니다.

    복원이 완료되면 복원 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

gcloud CLI

  1. Dataproc Metastore 서비스를 복원하려면 다음 gcloud metastore services restore 명령어를 실행합니다.

    gcloud metastore services restore SERVICE  \
        --project=PROJECT_ID \
        --location=LOCATION \
        --backup=BACKUP \
        --restore-type=RESTORE_TYPE \
        --backup-location=BACKUP_LOCATION
    

    다음을 바꿉니다.

    • SERVICE: Dataproc Metastore 서비스 이름
    • PROJECT_ID: Dataproc Metastore 서비스가 있는 Google Cloud 프로젝트의 프로젝트 ID입니다.
    • LOCATION: Dataproc metastore 서비스가 있는 Google Cloud 리전입니다.
    • BACKUP: (선택사항) 복원할 백업 파일의 식별자입니다. 이 값은 projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id} 형식의 백업 ID, 정규화된 URL, 상대 이름일 수 있습니다.
    • RESTORE_TYPE: 수행할 복원 작업의 유형입니다. 허용되는 값은 metadata-only 또는 full입니다. 기본값은 metadata-only입니다.
    • BACKUP_LOCATION: (선택사항) 예약 백업의 Cloud Storage 위치입니다. 예를 들면 gs://my-bucket/path/to/location입니다.
  2. 복원 작업이 성공했는지 확인합니다.

    복원이 완료되면 복원 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스로 메타데이터 복원을 수행합니다.

복원이 완료되면 복원 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

복원 기록 보기

Google Cloud 콘솔에서 Dataproc Metastore 서비스의 복원 기록을 보려면 다음 단계를 완료합니다.

  1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
  2. 탐색 메뉴에서 백업/복원을 클릭합니다.

    복원 기록이 복원 아래의 테이블에 표시됩니다.

    최근에 완료한 복원이 최대 25개까지 기록에 표시됩니다.

    Dataproc Metastore 서비스를 삭제하면 연관된 모든 복원 기록도 삭제됩니다.

일반적인 문제 해결

다음 단계