Configuración de red de Dataproc Serverless para Spark

La subred de VPC que se usa a fin de ejecutar cargas de trabajo de Dataproc Serverless para Spark debe cumplir con los siguientes requisitos:

• Abrir conectividad de subred: la subred debe permitir la comunicación de subred en todos los puertos. El siguiente comando de gcloud conecta un firewall de red a una subred que permite comunicaciones de entrada con todos los protocolos en todos los puertos:

  gcloud compute firewall-rules create allow-internal-ingress \
      --network=network-name \
      --source-ranges=SUBNET_RANGES \
      --direction=ingress \
      --action=allow \
      --rules=all
  

  • SUBNET_RANGES: Consulta Permite conexiones de entrada internas entre VM. La red de VPC default en un proyecto con la regla de firewall default-allow-internal, que permite la comunicación de entrada en todos los puertos (tcp:0-65535, udp:0-65535 y protocolos icmp:ports), cumple con el requisito de conectividad de subred abierta. Sin embargo, también permite la entrada desde cualquier instancia de VM en la red.
  Usa etiquetas de red para limitar la conectividad. En producción, la práctica recomendada es limitar las reglas de firewall a las direcciones IP que usan tus cargas de trabajo de Spark.

• Acceso privado a Google: la subred debe tener habilitado el Acceso privado a Google.

  • Acceso a la red externa Si tu carga de trabajo requiere una red externa o acceso a Internet, puedes configurar Cloud NAT para permitir el tráfico saliente mediante IP internas en tu red de VPC.

Redes de Dataproc Serverless y VPC-SC

Los Controles del servicio de VPC permiten a los administradores definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación entre esos servicios.

Ten en cuenta las siguientes limitaciones y estrategias cuando uses redes de VPC-SC con Dataproc Serverless:

• Configura la conectividad privada.

• Para instalar dependencias fuera del perímetro de VPC-SC, crea una imagen de contenedor personalizada que instale previamente las dependencias y, luego, envía una carga de trabajo por lotes de Spark que use tu imagen de contenedor personalizada.