Fehlerbehebung bei Dataproc-Fehlermeldungen

Auf dieser Seite werden Dataproc-Fehlermeldungen und ihre häufigsten Ursachen und Lösungen aufgeführt.

Weitere Informationen finden Sie unter

• Dataproc beheben und überwachen
• Dataproc-Cluster diagnostizieren
• Dataproc – FAQ

Fehlermeldungen bei der Clustererstellung

• Zeitüberschreitung bei Vorgang: Nur 0 von 2 erforderlichen Datenknoten/Knotenmanagern.

  Ursache: Der Masterknoten kann den Cluster nicht erstellen, da er nicht mit Worker-Knoten kommunizieren kann.

  Lösung:

  • Überprüfen Sie die Warnungen für Firewallregeln.
  • Prüfen Sie, ob die richtigen Firewallregeln vorhanden sind. Weitere Informationen finden Sie unter Übersicht über die standardmäßigen Dataproc-Firewallregeln.
  • Führen Sie einen Konnektivitätstest in der Google Cloud Console durch, um festzustellen, was die Kommunikation zwischen dem Master- und den Worker-Knoten blockiert.

• Erforderliche Berechtigung 'compute.subnetworks.use' für 'Projekte/{projectId}/Regionen/{region}/Subnetzwerke/{subnetwork}

  Ursache: Dieser Fehler kann auftreten, wenn Sie versuchen, einen Dataproc-Cluster mit einem VPC-Netzwerk in einem anderen Projekt einzurichten und das Dataproc-Dienstkonto Dienst-Agent nicht die erforderlichen Berechtigungen für das freigegebene VPC-Projekt hat, in dem das Netzwerk gehostet wird.

  Lösung: Führen Sie die unter Cluster erstellen, der ein VPC-Netzwerk in einem anderen Projekt verwendet aufgeführten Schritten aus.

• Die Zone "projects/zones/{zone}" verfügt nicht über genügend Ressourcen, um die Anfrage "resource (compute:compute)" auszuführen

  Ursache: Die Zone, die zum Erstellen des Clusters verwendet wird, hat nicht genügend Ressourcen.

  Lösung:

  • Erstellen Sie den Cluster in einer anderen Zone.
  • Verwenden Sie das Dataproc-Feature zur automatischen Zonenplatzierung.

• Fehler bei Kontingentüberschreitung

  Unzureichendes CPUS-/CPUS_ALL_REGIONS-Kontingent
  Unzureichendes Kontingent "DISKS_SUM_GB"
  Unzureichendes Kontingent "IN_USE_ADDRESSES"

  Ursache: Ihre CPU-, Laufwerk- oder IP-Adressanfrage überschreitet das verfügbare Kontingent.

  Lösung: Über die Google Cloud Console können Sie zusätzliche Kontingente anfordern.

• Initialisierungsaktion fehlgeschlagen

  Ursache: Die während der Clustererstellung angegebene Initialisierungsaktion konnte nicht installiert werden.

  Lösung:

  • Siehe Überlegungen und Richtlinien für Initialisierungsaktionen.
  • Untersuchen Sie die Ausgabelogs. Die Fehlermeldung sollte einen Link zu den Logs in Cloud Storage enthalten.

• Knoten {cluster-name} konnte nicht initialisiert werden: {component}

  Ursache: Eine Dataproc-Komponente konnte nicht initialisiert werden.

  Lösung, siehe:

  • Dokumentationsseiten zu Komponenten
  • Tipps zur Abstimmung von Spark-Jobs

• Clustererstellung fehlgeschlagen: IP-Adressbereich erschöpft

  Ursache: Der für die Bereitstellung der angeforderten Clusterknoten erforderliche IP-Adressbereich ist nicht verfügbar.

  Lösung:

  • Erstellen Sie einen Cluster in einem anderen Subnetzwerk oder Netzwerk.
  • Reduzieren Sie die Nutzung im Netzwerk, um IP-Adressbereiche freizugeben.
  • Warten Sie, bis im Netzwerk genügend IP-Bereich verfügbar ist.

• Fehlermeldung im Initialisierungsskript: Das Repository REPO_NAME enthält keine Release-Datei mehr.

  Ursache: Das Debian Oldstable Backports-Repository wurde dauerhaft gelöscht.

  Lösung:

  Fügen Sie den folgenden Code vor dem Code ein, mit dem apt-get in Ihrem Initialisierungsskript ausgeführt wird.

  oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
  stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');
  
  matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
  if [[ -n "$matched_files" ]]; then
    for filename in "$matched_files"; do
      grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
        sed -i -e 's/^.*-backports.*$//' "$filename"
    done
  fi