このページでは、バックアップから Dataproc Metastore サービスを復元する方法について説明します。
バックアップは、Dataproc Metastore サービスに保存された構成設定とメタデータのスナップショットです。復元機能を使用すると、以前にバックアップに保存したデータを使用して、新しい Dataproc Metastore サービスをすばやく設定できます。
始める前に
- プロジェクトで Dataproc Metastore を有効にします。
- Dataproc Metastore サービスを作成します。
- Dataproc Metastore サービスをバックアップします。
必要なロール
バックアップから Dataproc Metastore サービスを復元するために必要な権限を取得するには、管理者に次の IAM ロールを付与するよう依頼してください。
-
バックアップを完了するために Dataproc Metastore リソースに対する完全アクセス権を付与するには、次のいずれかを行います。
-
メタデータ サービスに対する Dataproc Metastore 編集者(
roles/metastore.editor
)。 -
プロジェクトに対する Dataproc Metastore 管理者(
roles/metastore.admin
)。
-
メタデータ サービスに対する Dataproc Metastore 編集者(
-
スケジュール バックアップを格納する Cloud Storage オブジェクトを使用する場合: Dataproc Metastore サービス エージェントの Cloud Storage オブジェクト ユーザー (
roles/storage.objectUser
)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
これらの事前定義ロールには、バックアップから Dataproc Metastore サービスを復元するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。
必要な権限
バックアップから Dataproc Metastore サービスを復元するには、次の権限が必要です。
-
メタデータ サービスを復元するには:
metastore.services.restore, metastore.backups.use
-
Cloud Storage オブジェクトを使用するには:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。
Dataproc Metastore の特定のロールと権限については、Dataproc Metastore IAM の概要をご覧ください。バックアップからの復元について
バックアップからサービスを復元する場合は、次のいずれかのオプションを選択できます。
- バックアップに保存されているすべてのメタデータと構成設定を復元します。
すべてのメタデータを復元しますが、バックアップに保存されている構成設定は復元しません。代わりに、現在の構成設定が維持されます。
構成設定には、サービス名、ポート番号、ネットワーク設定などの Dataproc Metastore パラメータが含まれます。メタデータには、Dataproc Metastore サービスに保存されたすべてのデータベースとテーブル情報が含まれます。
考慮事項
復元オペレーションの実行中は、サービスを更新できません(構成設定を変更できないなど)。ただし、接続された Dataproc やセルフマネージド クラスタからメタデータにアクセスするために使用するなど、通常のオペレーションには引き続きサービスを使用できます。
Dataproc Metastore ラベルは復元されません。
ウェアハウス ディレクトリに保存されているデータは復元されません。
バックアップからの復元では、きめ細かい IAM ポリシーは復元または置き換えられません。
スケジュール設定されたバックアップから復元するには、バックアップが Cloud Storage バケットに配置されている必要があります。
バックアップから復元する
バックアップから Dataproc Metastore サービスを復元するには、次の操作を行います。
Google Cloud コンソールを使用している場合、新しいサービスと同じプロジェクトとリージョンで作成されたバックアップからのみメタデータを復元できます。
Google Cloud CLI または Dataproc Metastore API を使用する場合、別のプロジェクトとリージョンで作成されたバックアップからメタデータを復元できます(サービス間のバックアップ)。
Console
Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。
[Dataproc Metastore] ページで、バックアップから復元するサービスの名前をクリックします。
サービスの詳細ページが開きます。
バックアップを表示するには、[バックアップ / 復元] タブをクリックします。
使用するバックアップを選択します。これを行うには、メニュー アイコン
をクリックし、[復元] を選択します。[復元] ページが開きます。
[バックアップの詳細] ページでサービスを復元することもできます。 これを行うには、バックアップの名前をクリックし、[復元] をクリックします。
適切な復元オペレーションを選択します。
- メタストアのデータを復元する。すべてのメタデータを復元しますが、バックアップに保存されている構成設定は復元しません。
- メタストアのデータとサービスの構成を復元する。バックアップに保存されているすべてのメタデータとすべての構成設定を復元します。
サービスを更新するには、[復元] をクリックします。
[Dataproc Metastore] ページに戻り、サービスが正常にバックアップされたことを確認します。
復元が正常に完了したかどうかに関係なく、復元が完了すると、Dataproc Metastore は自動的にアクティブな状態に戻ります。
gcloud CLI
Dataproc Metastore サービスを復元するには、次の
gcloud metastore services restore
コマンドを実行します。gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
以下を置き換えます。
SERVICE
: Dataproc Metastore サービスの名前。PROJECT_ID
: Dataproc Metastore サービスが存在する Google Cloud プロジェクトのプロジェクト ID。LOCATION
: Dataproc Metastore サービスが存在する Google Cloud リージョン。BACKUP
: 省略可。復元に使用するバックアップ ファイルの ID。この値は、バックアップ ID、完全修飾された URL、または「projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
」の形式の相対名にすることができます。RESTORE_TYPE
: 実行する復元オペレーションのタイプ。指定できる値はmetadata-only
またはfull
です。デフォルト値はmetadata-only
です。BACKUP_LOCATION
: 省略可: スケジュール バックアップの Cloud Storage のロケーション。例:gs://my-bucket/path/to/location
。
復元オペレーションが成功したことを確認します。
復元が正常に完了したかどうかに関係なく、復元が完了すると、Dataproc Metastore は自動的にアクティブな状態に戻ります。
REST
API Explorer を使用して API の手順に沿って操作し、サービスにメタデータを復元します。
復元が正常に完了したかどうかに関係なく、復元が完了すると、Dataproc Metastore は自動的にアクティブな状態に戻ります。
復元履歴を表示する
Google Cloud コンソールで Dataproc Metastore サービスの復元履歴を表示するには、次の手順を実行します。
- Google Cloud コンソールで [Dataproc Metastore] ページを開きます。
ナビゲーション バーで、[バックアップ / 復元] をクリックします。
復元履歴が [復元] の下の表に表示されます。
履歴には、完了した最新の 25 件の復元が表示されます。
Dataproc Metastore サービスを削除すると、関連する復元履歴もすべて削除されます。
一般的な問題のトラブルシューティング
- サービス エージェントまたはユーザー アカウントに必要な権限がない。
- 一般的なトラブルシューティングの問題の解決については、バックアップと復元のエラーシナリオをご覧ください。