Risolvere i problemi relativi ai messaggi di errore di Dataproc

In questa pagina sono elencati i messaggi di errore di Dataproc e le relative cause e soluzioni comuni.

Per ulteriori indicazioni, consulta

• Risolvere i problemi e monitorare Dataproc
• Diagnostica i cluster Dataproc
• Domande frequenti su Dataproc

Messaggi di errore relativi alla creazione del cluster

• Timeout dell'operazione: solo 0 su 2 gestori di nodi/nodi obbligatori minimi sono in esecuzione.

  Causa: il nodo master non è in grado di creare il cluster perché non può comunicare con i nodi worker.

  Soluzione:

  • Controlla gli avvisi sulle regole firewall.
  • Assicurati che siano configurate le regole firewall corrette (consulta la Panoramica delle regole firewall predefinite di Dataproc).
  • Esegui un test di connettività nella console Google Cloud per determinare cosa blocca la comunicazione tra nodi master e nodi worker.

• Autorizzazione "compute.subnetworks.use" obbligatoria per "projects/{projectId}/regions/{region}/subnetworks/{subnetwork}"

  Causa: questo errore può verificarsi quando tenti di configurare un cluster Dataproc utilizzando una rete VPC in un altro progetto e l'account di servizio dell'agente di servizio Dataproc non dispone delle autorizzazioni necessarie sul progetto VPC condiviso che ospita la rete.

  Soluzione: segui i passaggi elencati in Creare un cluster che utilizza una rete VPC in un altro progetto.

• La zona "projects/zones/{zone}" non dispone di risorse sufficienti per soddisfare la richiesta "(resource type:compute)"

  Causa: la zona utilizzata per creare il cluster non dispone di risorse sufficienti.

  Soluzione:

  • Crea il cluster in una zona diversa.
  • Utilizza la funzionalità Posizionamento automatico della zona di Dataproc.

• Errori di quota superata

  Quota CPUS/CPUS_ALL_REGIONS insufficiente
  Quota "DISKS_TOTAL_GB" insufficiente
  Quota "IN_USE_ADDRESSES" insufficiente

  Causa: la richiesta di CPU, disco o indirizzo IP supera la quota disponibile.

  Soluzione: richiedi una quota aggiuntiva dalla console Google Cloud.

• Azione di inizializzazione non riuscita

  Causa: l'installazione dell'azione di inizializzazione specificata durante la creazione del cluster non è riuscita.

  Soluzione:

  • Leggi le considerazioni e le linee guida sulle azioni di inizializzazione.
  • Esamina i log di output. Il messaggio di errore dovrebbe fornire un link ai log in Cloud Storage.

• Impossibile inizializzare il nodo {cluster-name}: {component}

  Causa: impossibile inizializzare un componente Dataproc.

  Soluzione: fai riferimento a:

  • Pagine della documentazione dei componenti
  • Suggerimenti per l'ottimizzazione dei job di Spark

• Creazione del cluster non riuscita: spazio degli indirizzi IP esaurito

  Causa: lo spazio di indirizzi IP necessario per eseguire il provisioning dei nodi cluster richiesti non è disponibile.

  Soluzione:

  • Crea un cluster in un'altra subnet o rete.
  • Riduci l'utilizzo sulla rete per liberare spazio di indirizzi IP.
  • Attendi finché sulla rete non sarà disponibile spazio IP sufficiente.

• Messaggio di errore dello script di inizializzazione: Il repository REPO_NAME non dispone più di un file Release

  Causa: il repository di backports oldstable Debian è stato eliminato definitivamente.

  Soluzione:

  Aggiungi il seguente codice prima del codice che esegue apt-get nello script di inizializzazione.

  oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
  stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');
  
  matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
  if [[ -n "$matched_files" ]]; then
    for filename in "$matched_files"; do
      grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
        sed -i -e 's/^.*-backports.*$//' "$filename"
    done
  fi
  

• La rete non è raggiungibile: dataproccontrol-REGION.googleapis.com/...*

  Causa: la rete VPC del cluster Dataproc potrebbe non avere una route verso internet richiesta. L'agente Dataproc in esecuzione sulle VM del cluster ha bisogno di una route a internet per accedere all'API Dataproc Control e recuperare i job e lo stato del report. La route predefinita generata dal sistema verso internet potrebbe essere stata eliminata.

  Soluzione:

  Aggiungi una route a internet alla tua rete VPC del cluster: 0.0.0.0/0 per IPv4 e ::/0 per IPv6 con --next-hop-gateway=default-internet-gateway. Aggiungi regole firewall per il controllo dell'accesso.