Configuración de la red de Dataproc Serverless para Spark

La subred de VPC que se usa para ejecutar las cargas de trabajo de Dataproc Serverless para Spark debe cumplir con los siguientes requisitos:

• Conectividad de subred abierta: la subred debe permitir la comunicación de subred en todos los puertos. El siguiente comando de gcloud adjunta un firewall de red a una subred que permite las comunicaciones de entrada con todos los protocolos en todos los puertos:

  gcloud compute firewall-rules create allow-internal-ingress \
      --network=network-name \
      --source-ranges=SUBNET_RANGES \
      --destination-ranges=SUBNET_RANGES \
      --direction=ingress \
      --action=allow \
      --rules=all
  

  • SUBNET_RANGES: Consulta Cómo permitir conexiones de entrada internas entre VM. La red de VPC default en un proyecto con la regla de firewall default-allow-internal, que permite la comunicación de entrada en todos los puertos (tcp:0-65535, icmpProtocol:ports y udp:0-65535), cumple con el requisito de conectividad de subred abierta. Sin embargo, también permite la entrada de cualquier instancia de VM en la red.
  Usa etiquetas de red para limitar la conectividad. En producción, la práctica recomendada es limitar las reglas de firewall a las direcciones IP que usan las cargas de trabajo de Spark.

• Acceso privado a Google: La subred debe tener habilitado el Acceso privado a Google.

  • Acceso externo a la red. Si tu carga de trabajo requiere acceso a Internet o a una red externa, puedes configurar Cloud NAT para permitir el tráfico saliente mediante IP internas en tu red de VPC.

Dataproc Serverless y redes VPC-SC

Los Controles del servicio de VPC permiten a los administradores definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación entre esos servicios.

Ten en cuenta las siguientes limitaciones y estrategias cuando uses redes de VPC-SC con Dataproc Serverless:

• Configura la conectividad privada.

• Para instalar dependencias fuera del perímetro de VPC-SC, crea una imagen de contenedor personalizada que instale previamente las dependencias y, luego, envía una carga de trabajo por lotes de Spark que use tu imagen de contenedor personalizada.