Configuración de la red de Dataproc Serverless para Spark

La subred de VPC que se usa para ejecutar Dataproc Serverless para las cargas de trabajo de Spark deben cumplir los siguientes requisitos:

• Conectividad de subred abierta: La subred debe permitir la comunicación de subred. en todos los puertos. El siguiente comando de gcloud adjunta un firewall de red a una subred que permite las comunicaciones de entrada utilizando todos los protocolos en todos los puertos:

  gcloud compute firewall-rules create allow-internal-ingress \
      --network=network-name \
      --source-ranges=SUBNET_RANGES \
      --destination-ranges=SUBNET_RANGES \
      --direction=ingress \
      --action=allow \
      --rules=all
  

  • SUBNET_RANGES: Ver Permitir conexiones de entrada internas entre VMs. La red de VPC default en un proyecto con la regla de firewall default-allow-internal, que permite la comunicación de entrada en todos los puertos (protocolos tcp:0-65535, icmp y udp:0-65535) cumpla con el requisito de open-subnet-connectivity. Sin embargo, también permite que puede ingresar cualquier instancia de VM en la red.
  Usa etiquetas de red para limitar la conectividad. En producción, la práctica recomendada es limitar reglas de firewall a las direcciones IP usadas por tus cargas de trabajo de Spark.

• Acceso privado a Google: La subred debe tener Acceso privado a Google habilitado

  • Acceso externo a la red. Si tu carga de trabajo requiere una red externa o Internet de acceso, puedes configurar Cloud NAT para permitir el tráfico saliente con IP internas en tu red de VPC.

Dataproc Serverless y redes VPC-SC

Los Controles del servicio de VPC permiten a los administradores definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación entre esos servicios.

Ten en cuenta las siguientes limitaciones y estrategias cuando uses redes VPC-SC con Dataproc sin servidores:

• Configura la conectividad privada.

• Para instalar dependencias fuera del perímetro de VPC-SC, crea un de contenedor personalizada instala previamente las dependencias y, luego, enviar una carga de trabajo por lotes de Spark que usa tu imagen de contenedor personalizada.