Dataproc のエラー メッセージをトラブルシューティングする

このページでは、Dataproc のエラー メッセージとその一般的な原因、解決策を記載します。

その他のガイダンスについては、以下をご覧ください。

クラスタ作成のエラー メッセージ

  • オペレーション タイムアウト: 最低 2 つ必要な実行中のデータノード / ノード マネージャーが 0 個です

    原因: マスターノードが、ワーカーノードと通信できないためクラスタを作成できない。

    解決方法:

    • ファイアウォール ルールの警告を確認します。
    • 正しいファイアウォール ルールが設定されていることを確認します(デフォルトの Dataproc ファイアウォール ルールの概要をご覧ください)。
    • Google Cloud コンソールで接続テストを実行して、マスターノードとワーカーノード間の通信をブロックしているものを特定します。
  • projects/{projectId}/regions/{region}/subnetworks/{subnetwork} に対する「compute.subnetworks.use」権限が必要です

    原因: このエラーは、別のプロジェクトの VPC ネットワークを使用して Dataproc クラスタを設定する際、ネットワークをホストする共有 VPC プロジェクトの Dataproc サービス エージェント サービス アカウントに必要な権限がない場合に発生します。

    解決策: 別のプロジェクトで VPC ネットワークを使用するクラスタを作成するの手順に沿って行います。

  • ゾーン「projects/zones/{zone}」には、リクエスト「(resource type:compute)」を満たす十分なリソースがありません

    原因: クラスタの作成に使用されているゾーンに十分なリソースがない。

    解決方法:

  • 割り当て超過エラー

    CPUS/CPUS_ALL_REGIONS の割り当てが不足しています
    「DISKS_TOTAL_GB」の割り当てが不足しています
    「IN_USE_ADDRESSES」の割り当てが不足しています

    原因: CPUディスク、または IP アドレスのリクエストが利用可能な割り当てを超えています。

    解決策: Google Cloud コンソール から追加の割り当てをリクエストします。

  • 初期化アクションに失敗しました

    原因: インストールがクラスタの作成時に指定された初期化アクションで失敗しました。

    解決方法:

  • ノード {cluster-name}: {component} を初期化できませんでした

    原因: Dataproc コンポーネントを初期化できなかった。

    解決策: 以下をご覧ください。

  • クラスタの作成に失敗: IP アドレス空間が枯渇

    原因: リクエストされたクラスタノードをプロビジョニングするために必要な IP アドレス空間を使用できません。

    解決方法:

    • 別のサブネットワークまたはネットワークにクラスタを作成します。
    • IP アドレス空間を解放するためにネットワークの使用量を減らします。
    • ネットワークで十分な IP スペースが使用可能になるまで待ちます。