Soluciona problemas de mensajes de error de Dataproc

En esta página, se enumeran los mensajes de error de Dataproc, y sus causas comunes y soluciones.

Para obtener más orientación, consulta

• Soluciona problemas y supervisa Dataproc
• Diagnostica clústeres de Dataproc
• Preguntas frecuentes sobre Dataproc

Mensajes de error de la creación de clústeres

• Se agotó el tiempo de espera de la operación: Solo se ejecutan 0 de cada 2 nodos de datos o nodos mínimos necesarios.

  Causa: El nodo principal no puede crear el clúster porque no puede comunicarse con los nodos trabajadores.

  Solución:

  • Verifica las advertencias de las reglas de firewall.
  • Asegúrate de que la regla de firewall sea la correcta (consulta Descripción general de las reglas de firewall predeterminadas de Dataproc).
  • Realiza una prueba de conectividad en la consola de Google Cloud para determinar qué está bloqueando la comunicación entre los nodos principales y trabajadores.

• Permiso “compute.subnetworks.use” obligatorio para “projects/{projectId}/regions/{region}/subnetworks/{subnetwork}”

  Causa: Este error puede ocurrir cuando intentas configurar un clúster de Dataproc mediante una red de VPC en otro proyecto y la cuenta de servicio del agente de servicio de Dataproc no tiene los permisos necesarios. En el proyecto de VPC compartida que aloja la red.

  Solución: Sigue los pasos que se indican en Crea un clúster que use una red de VPC en otro proyecto.

• La zona “projects/zones/{zone}” no tiene suficientes recursos disponibles para completar la solicitud “(resource type:compute)”

  Causa: La zona que se usa para crear el clúster no tiene suficientes recursos.

  Solución:

  • Crea el clúster en una zona diferente.
  • Usa la función de posición de zona automática de Dataproc.

• Errores de cuota excedida

  Cuota insuficiente de CPUS/CPUS_ALL_REGIONS
  Cuota insuficiente “DISKS_TOTAL_GB”
  Cuota insuficiente “IN_USE_ADDRESSES”

  Causa: La solicitud de CPU, disco o dirección IP supera la cuota disponible.

  Solución: Solicita una cuota adicional de la consola de Google Cloud.

• No se pudo realizar la acción de inicialización

  Causa: No se pudo instalar la acción de inicialización proporcionada durante la creación del clúster.

  Solución:

  • Consulta los lineamientos y consideraciones para las acciones de inicialización.
  • ExaminA los registros de resultados. El mensaje de error debe proporcionar un vínculo a los registros en Cloud Storage.

• No se pudo inicializar el nodo {cluster-name}: {component}

  Causa: No se pudo inicializar un componente de Dataproc.

  Solución: Consulta los siguientes vínculos:

  • Páginas de documentación de componentes
  • Sugerencias de ajuste para trabajos de Spark

• No se pudo crear el clúster: se agotó el espacio de la dirección IP

  Causa: El espacio de direcciones IP necesario para aprovisionar los nodos del clúster solicitados no está disponible.

  Solución:

  • Crear un clúster en una red o subred diferente
  • Reduce el uso en la red para liberar espacio de direcciones IP.
  • Espera hasta que haya suficiente espacio de IP disponible en la red.

• Mensaje de error de la secuencia de comandos de inicialización: El repositorio REPO_NAME ya no tiene un archivo de versión

  Causa: Se borró definitivamente el repositorio de portabilidad a versiones anteriores de Debian

  Solución:

  Agrega el siguiente código antes del código que ejecuta apt-get en tu secuencia de comandos de inicialización.

  oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
  stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');
  
  matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
  if [[ -n "$matched_files" ]]; then
    for filename in "$matched_files"; do
      grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
        sed -i -e 's/^.*-backports.*$//' "$filename"
    done
  fi