Fehlerbehebung bei Dataproc-Fehlermeldungen

Auf dieser Seite werden Dataproc-Fehlermeldungen und ihre häufigsten Ursachen und Lösungen aufgeführt.

Weitere Informationen finden Sie unter

• Dataproc beheben und überwachen
• Dataproc-Cluster diagnostizieren
• Dataproc – FAQ

Fehlermeldungen bei der Clustererstellung

• Zeitüberschreitung bei Vorgang: Nur 0 von 2 erforderlichen Datenknoten/Knotenmanagern.

  Ursache: Der Masterknoten kann den Cluster nicht erstellen, da er nicht mit Worker-Knoten kommunizieren kann.

  Lösung:

  • Überprüfen Sie die Warnungen für Firewallregeln.
  • Prüfen Sie, ob die richtigen Firewallregeln vorhanden sind. Weitere Informationen finden Sie unter Übersicht über die standardmäßigen Dataproc-Firewallregeln.
  • Führen Sie einen Konnektivitätstest in der Google Cloud Console durch, um festzustellen, was die Kommunikation zwischen dem Master- und den Worker-Knoten blockiert.

• Erforderliche Berechtigung 'compute.subnetworks.use' für 'Projekte/{projectId}/Regionen/{region}/Subnetzwerke/{subnetwork}

  Ursache: Dieser Fehler kann auftreten, wenn Sie versuchen, einen Dataproc-Cluster mit einem VPC-Netzwerk in einem anderen Projekt einzurichten und das Dataproc-Dienstkonto Dienst-Agent nicht die erforderlichen Berechtigungen für das freigegebene VPC-Projekt hat, in dem das Netzwerk gehostet wird.

  Lösung: Führen Sie die unter Cluster erstellen, der ein VPC-Netzwerk in einem anderen Projekt verwendet aufgeführten Schritten aus.

• Die Zone "projects/zones/{zone}" verfügt nicht über genügend Ressourcen, um die Anfrage "resource (compute:compute)" auszuführen

  Ursache: Die Zone, die zum Erstellen des Clusters verwendet wird, hat nicht genügend Ressourcen.

  Lösung:

  • Erstellen Sie den Cluster in einer anderen Zone.
  • Verwenden Sie das Dataproc-Feature zur automatischen Zonenplatzierung.

• Fehler bei Kontingentüberschreitung

  Unzureichendes CPUS-/CPUS_ALL_REGIONS-Kontingent
  Unzureichendes Kontingent "DISKS_SUM_GB"
  Unzureichendes Kontingent "IN_USE_ADDRESSES"

  Ursache: Ihre CPU-, Laufwerk- oder IP-Adressanfrage überschreitet das verfügbare Kontingent.

  Lösung: Über die Google Cloud Console können Sie zusätzliche Kontingente anfordern.

• Initialisierungsaktion fehlgeschlagen

  Ursache: Die während der Clustererstellung angegebene Initialisierungsaktion konnte nicht installiert werden.

  Lösung:

  • Siehe Überlegungen und Richtlinien für Initialisierungsaktionen.
  • Untersuchen Sie die Ausgabelogs. Die Fehlermeldung sollte einen Link zu den Logs in Cloud Storage enthalten.

• Knoten {cluster-name} konnte nicht initialisiert werden: {component}

  Ursache: Eine Dataproc-Komponente konnte nicht initialisiert werden.

  Lösung, siehe:

  • Dokumentationsseiten zu Komponenten
  • Tipps zur Abstimmung von Spark-Jobs

• Clustererstellung fehlgeschlagen: IP-Adressbereich erschöpft

  Ursache: Der für die Bereitstellung der angeforderten Clusterknoten erforderliche IP-Adressbereich ist nicht verfügbar.

  Lösung:

  • Erstellen Sie einen Cluster in einem anderen Subnetzwerk oder Netzwerk.
  • Reduzieren Sie die Nutzung im Netzwerk, um IP-Adressbereiche freizugeben.
  • Warten Sie, bis im Netzwerk genügend IP-Bereich verfügbar ist.

• Fehlermeldung im Initialisierungsskript: Das Repository REPO_NAME enthält keine Release-Datei mehr.

  Ursache: Das Debian Oldstable Backports-Repository wurde dauerhaft gelöscht.

  Lösung:

  Fügen Sie den folgenden Code vor dem Code ein, mit dem apt-get in Ihrem Initialisierungsskript ausgeführt wird.

  oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
  stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');
  
  matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
  if [[ -n "$matched_files" ]]; then
    for filename in "$matched_files"; do
      grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
        sed -i -e 's/^.*-backports.*$//' "$filename"
    done
  fi
  

• Netzwerk ist nicht erreichbar: dataproccontrol-REGION.googleapis.com/...*

  Ursache: Das VPC-Netzwerk des Dataproc-Clusters hat möglicherweise keine erforderliche Route zum Internet. Der Dataproc-Agent, der auf Cluster-VMs ausgeführt wird, benötigt eine Route zum Internet, um auf die Dataproc Control API zuzugreifen und Jobs abzurufen und den Status zu melden. Die vom System generierte Standardroute zum Internet wurde möglicherweise gelöscht.

  Lösung:

  Fügen Sie dem VPC-Netzwerk des Clusters eine Route zum Internet hinzu: 0.0.0.0/0 für IPv4 und ::/0 für IPv6 mit --next-hop-gateway=default-internet-gateway. Fügen Sie Firewallregeln für die Zugriffssteuerung hinzu.