トラブルシューティング

このページでは、さまざまなエラーのシナリオと、それらのエラーを解決するためのトラブルシューティング手順について説明します。

接続とネットワークのエラーシナリオ

サービスの接続またはネットワークに関する問題が発生した場合は、このセクションのシナリオを参照して、いずれかのシナリオが問題の原因になっているかどうかを確認してください。

VPC ピアリングに対する制限が原因で、サービスを作成できませんでした

VPC ピアリングを制限する組織ポリシーの制限を設定しないでください。constraints/compute.restrictVpcPeering を指定すると、作成リクエストが INVALID_ARGUMENT エラーで失敗します。制限を設定する必要がある場合は、次のコマンドを使用して under:folders/270204312590 を許可します。

gcloud resource-manager org-policies allow compute.restrictVpcPeering under:folders/270204312590 --organization ORGANIZATION_ID

詳細については、組織のポリシーの制約をご覧ください。

サービス アカウントが存在しない可能性がある場合に、プロジェクト間でデプロイできない

サービスが属しているプロジェクトとは異なるプロジェクトに属するネットワークからアクセスできる Dataproc Metastore サービスを作成するには、ネットワーク プロジェクトの IAM ポリシーでサービス プロジェクトの Dataproc Metastore サービス エージェント(service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com)に roles/metastore.serviceAgent を付与する必要があります。

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
    --role "roles/metastore.serviceAgent" \
    --member "serviceAccount:service-SERVICE_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com"

詳細については、プロジェクト間のデプロイを設定するをご覧ください。

ネットワーク接続にプライベート IP が必要とされる

Dataproc Metastore はプライベート IP のみを使用し、パブリック IP は公開されません。これは、指定された Virtual Private Cloud(VPC)ネットワークまたは(Cloud VPN または Cloud Interconnect を介して接続された)オンプレミスの VM のみが Dataproc Metastore サービスにアクセスできることを意味します。

詳細については、サービスへのアクセスをご覧ください。

共有 VPC ネットワークでプロビジョニングされたリソースによる接続エラー

Dataproc Metastore サービスが別のプロジェクトに属するネットワークを使用しており、Compute Engine がサービス境界によって保護されている場合は、メタストア プロジェクトとネットワーク プロジェクトが同じ境界内に存在する必要があります。

既存の Dataproc Metastore プロジェクトを境界に追加するには、サービス境界の更新の手順に従ってください。

詳細については、Dataproc Metastore での VPC Service Controls をご覧ください。

割り当てられた IP 範囲を使い切った

提供されている VPC ネットワークで、Dataproc Metastore サービスで必要となる、利用可能な RFC 1918 アドレスが不足することがあります。この場合、Dataproc Metastore はサービス作成のために RFC 1918 以外のプライベート IP アドレス範囲を予約しようとします。サポートされている RFC 1918 以外のプライベート範囲のリストについては、VPC ネットワークのドキュメントの有効範囲をご覧ください。

Dataproc Metastore で使用される RFC 1918 以外のプライベート IP アドレスは、提供されている VPC ネットワークに接続されたオンプレミス ネットワークの範囲と競合する可能性があります。Dataproc Metastore で予約された RFC 1918 と RFC 1918 以外のプライベート IP アドレスのリストを確認するには:

gcloud compute addresses list \
    --project NETWORK_PROJECT_ID \
    --filter="purpose:VPC_PEERING AND name ~ cluster|resourcegroup"

競合が確認されオンプレミス ネットワークを再構成することによって緩和できない場合は、問題の Dataproc Metastore サービスを削除して、2 時間後に再度作成します。

詳細については、IP アドレス範囲の枯渇をご覧ください。

オペレーション タイムアウトのエラーシナリオ

次のエラーシナリオでは、サービスが応答しなくなるかオペレーションがタイムアウトします。

監査ログを使用したオペレーション タイムアウトのトラブルシューティング

サービス オペレーションのタイムアウトをトラブルシューティングするには、Cloud Console のログ エクスプローラを使用して Cloud プロジェクトの監査ログエントリを取得します。

[クエリビルダー] ペインで、Google Cloud リソースタイプとして [監査対象リソース] または [audited_resource] を選択した後、サービスとして、[Dataproc Metastore] または [metastore.googleapis.com] を選択します。メソッドの選択は省略可能です。

詳細については、ログの表示をご覧ください。

インポートとエクスポートのエラー シナリオ

このセクションでは、Dataproc Metastore のインポートとエクスポートを使用する際に発生する可能性のある一般的な問題について説明します。

Hive バージョンが一致しないためインポートが失敗する

メタデータをインポートするときに、Hive メタストアと Dataproc Metastore のバージョンに互換性がある必要があります。この 2 つが一致しない場合、インポートが失敗することがあります。詳細については、バージョン ポリシーをご覧ください。

Hive テーブル ファイルが欠落しているため、インポートに失敗する

Avro のインポートを準備する際には、テーブルが空であっても、各 Hive テーブルにファイルが存在する必要があります。この要件を満たさないと、インポートが失敗します。

サービス エージェントまたはユーザーに適切な権限が付与されていない

Dataproc Metastore サービス エージェント(service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com)とメタデータをインポートするユーザーには、インポートに使用する Cloud Storage バケットに対する次の読み取り権限が付与されている必要があります。

  • MySQL については、インポートに使用する Cloud Storage オブジェクト(SQL ダンプファイル)に対する storage.objects.get 権限を付与されている必要があります。

  • Avro については、インポートに使用する Cloud Storage バケットに対する storage.objects.get 権限を必要されている必要があります。

エクスポートについては、Dataproc Metastore サービス エージェント(service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com)とエクスポートを作成するユーザーに、バケットに対する storage.objects.create 権限が付与されている必要があります。

データベース ファイルが大きすぎるためジョブが失敗する

データベース ファイルが大きすぎると、インポートまたはエクスポートの処理を完了するまでに 1 時間を超える時間を要する場合があり、ジョブ タイムアウト制限に到達する可能性があります。

バックアップと復元のエラーシナリオ

このセクションでは、Dataproc Metastore のバックアップと復元を使用するときに発生する可能性のある、一般的な問題について説明します。

サービスの新しいバックアップを作成できない

サービスにバックアップがすでに 7 つ存在する場合は、新しいバックアップを作成する前に、手動でバックアップを削除する必要があります。既存のバックアップは、[バックアップ/復元] タブから削除できます。

ユーザーに適切な権限が付与されていない

メタデータをバックアップするには、metastore.backups.create IAM 権限を含む IAM ロールを付与されている必要があります。

メタデータを復元するには、metastore.services.restoremetastore.backups.use の IAM 権限を含む IAM ロールを付与されている必要があります。

サービス メタデータ ファイルが大きすぎるため、ジョブが失敗する

サービス メタデータ ファイルが大きすぎると、バックアップまたは復元の処理を完了するまでに 1 時間を超える時間を要する場合があり、ジョブ タイムアウト制限に到達する可能性があります。

gcloud コマンドライン ツールの問題のトラブルシューティング

gcloud ツールコマンドが使用できない問題が発生した場合や、コマンドの動作がドキュメントと異なる場合は、gcloud SDK を更新してください。

gcloud components update