Dataproc Metastore 서비스 백업

이 페이지에서는 Dataproc Metastore 서비스 백업을 만드는 방법을 설명합니다.

백업은 서비스 스냅샷을 만들고 현재 구성 설정과 모든 저장된 메타데이터를 저장합니다.

백업을 만든 후 백업에서 복원 기능을 사용하여 스냅샷에 저장된 데이터로 새 Dataproc Metastore 서비스를 채울 수 있습니다.

시작하기 전에

필요한 역할

Dataproc Metastore 서비스를 백업하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

백업 완료를 위한 Dataproc Metastore 리소스의 전체 제어 권한을 부여하려면 다음 역할 중 하나 필요:
- 메타데이터 서비스에 대한 Dataproc Metastore 편집자 역할(roles/metastore.editor)
- 프로젝트에 대한 Dataproc Metastore 관리자 역할(roles/metastore.admin)
데이터베이스 및 테이블의 특정 메타데이터에 대한 읽기 및 수정 액세스 권한 부여: 메타데이터 서비스에 대한 Dataproc Metastore 메타데이터 작업자(roles/metastore.metadataOperator)
예약 백업을 저장하는 Cloud Storage 객체 사용: Dataproc Metastore 서비스 에이전트에 대한 Cloud Storage 객체 사용자(roles/storage.objectUser)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 Dataproc Metastore 서비스를 백업하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

Dataproc Metastore 서비스를 백업하려면 다음 권한이 필요합니다.

메타데이터 서비스 백업: metastore.backups.create
Cloud Storage 객체 사용:
- orgpolicy.policy.get
- resourcemanager.projects.get
- resourcemanager.projects.list
- storage.managedFolders.create
- storage.managedFolders.delete
- storage.managedFolders.get
- storage.managedFolders.list
- storage.multipartUploads.*
- storage.objects.create
- storage.objects.delete
- storage.objects.get
- storage.objects.list
- storage.objects.restore
- storage.objects.update

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

특정 Dataproc Metastore 역할 및 권한에 대한 자세한 내용은 Dataproc Metastore IAM 개요를 참조하세요.

백업 고려사항

백업 작업을 실행하기 전 다음 고려사항을 참조하세요.

각 Dataproc Metastore 서비스에 대해 한 번에 최대 7개까지 백업을 만들고 저장할 수 있습니다. 백업을 7개 넘게 시도하면 백업 프로세스가 실패합니다. 다른 백업을 만들려면 먼저 저장된 백업 파일 중 하나를 수동으로 삭제해야 합니다.
백업 작업이 실행되는 동안은 Dataproc Metastore 서비스를 업데이트할 수 없습니다. 예를 들어 구성 설정을 변경할 수 없습니다. 그러나 연결된 Dataproc 또는 자체 관리형 클러스터에서 메타데이터에 액세스하는 등의 일반적인 작업에서는 서비스를 계속 사용할 수 있습니다.
매일 등 다양한 크론 간격으로 실행되는 예약 백업을 만들 수 있습니다.

백업 만들기

Dataproc Metastore 서비스를 백업하려면 다음 탭 중 하나의 단계를 완료합니다.

Console

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

Dataproc Metastore 열기
Dataproc Metastore 페이지에서 백업하려는 서비스 이름을 클릭합니다.

서비스 세부정보 페이지가 열립니다.

그림 1. Dataproc Metastore 서비스 세부정보 페이지
페이지 상단에서 백업을 클릭합니다.

백업 페이지가 열립니다.
백업 이름을 입력합니다.
(선택사항) 백업에 대한 설명을 입력합니다.
백업 작업을 시작하려면 백업을 클릭합니다.

Dataproc Metastore 페이지로 돌아가서 서비스가 성공적으로 백업되었는지 확인합니다.

백업이 완료되면 백업 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

gcloud CLI

Dataproc Metastore 서비스를 백업하려면 다음 gcloud metastore services backups create 명령어를 실행합니다.
```
gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION
```
다음을 바꿉니다.
- BACKUP: 백업의 ID 또는 정규화된 식별자입니다.
- LOCATION: Dataproc Metastore 서비스가 있는 Google Cloud 리전입니다.
- SERVICE: Dataproc Metastore 서비스 이름
- DESCRIPTION: 백업에 대한 설명입니다.
서비스가 성공적으로 백업되었는지 확인합니다.

백업이 완료되면 백업 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스에서 메타데이터를 백업합니다.

백업이 완료되면 백업 성공 여부에 관계없이 Dataproc Metastore가 자동으로 활성 상태로 돌아갑니다.

백업 기록 보기

Google Cloud 콘솔에서 Dataproc Metastore 서비스의 백업 기록을 보려면 다음 단계를 완료합니다.

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
탐색 메뉴에서 백업/복원을 클릭합니다.

백업 기록이 백업 아래의 테이블에 표시됩니다.

최근 7개까지 백업이 기록에 표시됩니다.

Dataproc Metastore 서비스를 삭제하면 연관된 모든 백업 기록도 삭제됩니다.

백업 삭제

Google Cloud 콘솔에서 Dataproc Metastore 백업을 삭제하려면 다음 단계를 수행합니다.

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
탐색 메뉴에서 백업/복원을 클릭합니다.
삭제하려는 백업을 찾아서 설정 버튼을 클릭합니다.
삭제를 클릭합니다.

백업 예약

매일, 매주, 매월 등 사용자가 지정한 크론 작업 간격으로 백업이 실행되도록 예약할 수 있습니다. 크론 일정에서는 한 줄에 5개의 필드 집합이 있는 unix-cron 문자열 형식(* * * * *)을 사용해 작업을 실행해야 하는 시간을 나타냅니다.

예를 들어 매주 수요일 오후 2시(PST)에 백업을 만드는 등 커스텀 간격을 설정하여 매주 백업을 만들 수 있습니다.

예약 백업 고려사항

예약 백업은 백업 위치를 지정해야 하며, 이는 Cloud Storage 경로여야 합니다.
예약 백업은 항상 Avro 파일 형식으로 생성됩니다.
예약 백업은 기본적으로 UTC 시간대로 구성됩니다. 백업을 처음 만들 때 시간대를 변경할 수 있습니다.
예약 백업은 시간, 매일, 매주, 매월 간격으로 실행되도록 설정할 수 있습니다. 설정할 수 있는 최소 시간별 간격은 4시간입니다.

예약 백업 만들기

백업 일정은 서비스를 처음 만들 때 설정하거나 나중에 서비스를 업데이트할 때 추가할 수 있습니다.

예약 백업으로 Dataproc Metastore 서비스 2를 만들려면 다음 탭 중 하나의 단계를 완료합니다.

Console

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
Dataproc Metastore 페이지 상단에서 만들기 버튼을 클릭합니다.

서비스 만들기 페이지가 열립니다.
Dataproc Metastore 2를 선택합니다.
예약 백업에서 전환 버튼을 사용 설정으로 설정합니다.
위치에서 예약 백업을 저장할 Cloud Storage 위치를 선택합니다.
선택사항: 일정에서 다음을 선택합니다.
1. 반복에서 매일 또는 매주와 같은 반복을 선택합니다.
2. 시간에서 반복 시간(예:오전 12시)을 선택합니다.
3. 시간대에서 적절한 시간대(예: UTC-8)를 선택합니다.
남은 서비스 구성 옵션의 경우 제공된 기본값을 사용합니다.
제출을 클릭합니다.

gcloud CLI

Dataproc Metastore 서비스 백업을 예약하려면 다음 gcloud metastore services backups create 명령어를 실행합니다.
```
gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
```
다음을 바꿉니다.
- SERVICE: 백업의 ID 또는 정규화된 식별자입니다.
- LOCATION: Dataproc Metastore 서비스가 있는 Google Cloud 리전입니다.
- SCHEDULED_BACKUP_CRON: 크론 시간 형식으로 지정된 백업 빈도입니다. 예를 들어 크론 값 0 0 * * *은 일일 백업을 예약합니다.
- SCHEDULED_BACKUP_LOCATION: 백업의 Cloud Storage 위치입니다. 예를 들면 gs://my-bucket/path/to/location입니다.
또는

위의 값을 구성 파일에 저장하여 백업을 예약할 수도 있습니다.
```
gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
```
다음을 바꿉니다.
- SCHEDULED_BACKUP_CONFIGS_FROM_FILE: 백업 구성 값 enabled, cront_schedule, time_zone, backup_location이 포함된 JSON 파일의 경로입니다.
다음 예시에서는 예약 백업을 사용 설정하고, 백업 일정을 1시간 단위로 설정하고, 시간대를 PST로 지정하고, 백업 위치를 Cloud Storage 버킷으로 정의하는 백업 구성 파일을 보여줍니다. 공통 tz 데이터베이스 시간대 목록에서 시간대를 선택할 수 있습니다.
```
{
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}
```

REST

API 안내에 따라 API 탐색기를 사용하여 예약 백업을 만듭니다.

예약 백업 업데이트

예약 백업으로 구성된 Dataproc Metastore 서비스 2를 업데이트하려면 다음 탭 중 하나의 단계를 완료합니다.

Console

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
Dataproc Metastore 페이지에서 백업을 예약하려는 서비스 이름을 클릭합니다.
예약 백업에서 전환 버튼을 사용 설정됨으로 설정합니다.
위치에서 예약 백업을 저장할 Cloud Storage 위치를 선택합니다.
선택사항: 일정에서 다음 필드의 값을 선택합니다.
1. 반복에서 매일 또는 매주와 같은 반복을 선택합니다.
2. 시간에서 반복 시간(예:오전 12시)을 선택합니다.
3. 시간대에서 적절한 시간대(예: UTC-8)를 선택합니다.

gcloud CLI

Dataproc Metastore 서비스 백업을 예약하려면 다음 gcloud metastore services backups update 명령어를 실행합니다.
```
gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
```
다음을 바꿉니다.
- SERVICE: 백업의 ID 또는 정규화된 식별자입니다.
- LOCATION: Dataproc Metastore 서비스가 있는 Google Cloud 리전입니다.
- SCHEDULED_BACKUP_CRON: 크론 시간 형식으로 지정된 백업 빈도입니다. 예를 들어 크론 값 0 0 * * *은 일일 백업을 예약합니다.
- SCHEDULED_BACKUP_LOCATION: 예약 백업의 Cloud Storage 위치입니다. 예를 들면 gs://my-bucket/path/to/location입니다.
구성 파일에 저장된 위의 값을 사용하여 예약 백업을 업데이트할 수도 있습니다.
```
gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
```
다음을 바꿉니다.
- SCHEDULED_BACKUP_CONFIGS_FROM_FILE: 백업 구성이 포함된 JSON 파일의 경로입니다.
다음 예시에서는 예약 백업을 사용 중지하는 백업 구성 파일을 보여줍니다.
```
{
"enabled": false,
}
```

REST

API 안내에 따라 API 탐색기를 사용하여 예약 백업을 업데이트합니다.

예약 백업 보기

예약 백업으로 구성된 Dataproc Metastore 서비스 2를 보려면 다음 탭 중 하나의 단계를 완료합니다.

Console

Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.
페이지 상단에서 백업을 클릭합니다.

백업 페이지가 열리고 예약 백업이 표시됩니다. 백업은 예약 백업 구성에서 제공한 Cloud Storage 버킷에 실제로 저장됩니다.

gcloud CLI

다음 gcloud storage ls 명령어를 실행합니다.
```
gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION
```
다음을 바꿉니다.
- BUCKET_NAME: 보려는 예약 백업을 저장하는 Cloud Storage 버킷의 경로입니다.
- SERVICE: 백업의 ID 또는 정규화된 식별자입니다.
- LOCATION: Dataproc Metastore 서비스가 있는 Google Cloud 리전입니다.

REST

API 안내에 따라 API 탐색기를 사용하여 예약 백업을 봅니다.

일반적인 문제 해결

서비스 에이전트 또는 사용자 계정에 필요한 권한이 없음
일반적인 문제 해결을 위한 도움이 필요하면 백업 및 복원 오류 시나리오를 참조하세요.