Dataproc のエラーメッセージをトラブルシューティングする

このページでは、Dataproc のエラーメッセージとその一般的な原因、解決策を記載します。

その他のガイダンスについては、以下をご覧ください。

クラスタ作成のエラーメッセージ

オペレーションタイムアウト: 最低 2 つ必要な実行中のデータノード / ノードマネージャーが 0 個です

原因: マスターノードが、ワーカーノードと通信できないためクラスタを作成できない。

解決方法:
- ファイアウォールルールの警告を確認します。
- 正しいファイアウォールルールが設定されていることを確認します（デフォルトの Dataproc ファイアウォールルールの概要をご覧ください）。
- Google Cloud コンソールで接続テストを実行して、マスターノードとワーカーノード間の通信をブロックしているものを特定します。
projects/{projectId}/regions/{region}/subnetworks/{subnetwork} に対する「compute.subnetworks.use」権限が必要です

原因: このエラーは、別のプロジェクトの VPC ネットワークを使用して Dataproc クラスタを設定する際、ネットワークをホストする共有 VPC プロジェクトの Dataproc サービスエージェントサービスアカウントに必要な権限がない場合に発生します。

解決策: 別のプロジェクトで VPC ネットワークを使用するクラスタを作成するの手順に沿って行います。
ゾーン「projects/zones/{zone}」には、リクエスト「(resource type:compute)」を満たす十分なリソースがありません

原因: クラスタの作成に使用されているゾーンに十分なリソースがない。

解決方法:
- クラスタを別のゾーンに作成します。
- Dataproc の自動ゾーンプレースメント機能を使用します。
割り当て超過エラー

CPUS/CPUS_ALL_REGIONS の割り当てが不足しています
「DISKS_TOTAL_GB」の割り当てが不足しています
「IN_USE_ADDRESSES」の割り当てが不足しています

原因: CPU、ディスク、または IP アドレスのリクエストが利用可能な割り当てを超えています。

解決策: Google Cloud コンソールから追加の割り当てをリクエストします。
初期化アクションに失敗しました

原因: インストールがクラスタの作成時に指定された初期化アクションで失敗しました。

解決方法:
- 初期化アクションの考慮事項とガイドラインをご覧ください。
- 出力ログを調べます。エラーメッセージに、Cloud Storage のログへのリンクが表示されます。
ノード {cluster-name}: {component} を初期化できませんでした

原因: Dataproc コンポーネントを初期化できなかった。

解決策: 以下をご覧ください。
- コンポーネントのドキュメントページ
- Spark ジョブ調整のヒント
クラスタの作成に失敗: IP アドレス空間が枯渇

原因: リクエストされたクラスタノードをプロビジョニングするために必要な IP アドレス空間を使用できません。

解決方法:
- 別のサブネットワークまたはネットワークにクラスタを作成します。
- IP アドレス空間を解放するためにネットワークの使用量を減らします。
- ネットワークで十分な IP スペースが使用可能になるまで待ちます。

初期化スクリプトのエラーメッセージ: リポジトリ REPO_NAME にはリリースファイルがありません

原因: Debian の旧安定版のバックポートリポジトリが完全に削除された。

解決方法:

初期化スクリプトで、apt-get を実行するコードの前に次のコードを追加します。

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

ネットワークにアクセスできません: dataproccontrol-REGION.googleapis.com/...*

原因: Dataproc クラスタの VPC ネットワークに、必要なインターネットへのルートがない可能性があります。クラスタ VM で実行されている Dataproc エージェントから Dataproc Control API にアクセスしてジョブを取得し、ステータスを報告するには、インターネットへのルートが必要です。インターネットへのシステム生成のデフォルトルートが削除された可能性があります。

解決方法:

--next-hop-gateway=default-internet-gateway を指定して、インターネットへのルートをクラスタ VPC ネットワークに追加します（IPv4 の場合は 0.0.0.0/0、IPv6 の場合は ::/0)。アクセス制御用のファイアウォールルールを追加します。

Dataproc のエラー メッセージをトラブルシューティングする

クラスタ作成のエラー メッセージ

Dataproc のエラーメッセージをトラブルシューティングする

クラスタ作成のエラーメッセージ