Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se proporciona información sobre cómo configurar las herramientas de redes de tu proyecto de Google Cloud para entornos de IP privada.
Para entornos de IP privada, Cloud Composer solo asigna direcciones IP privadas (RFC 1918) a las VM administradas de Google Kubernetes Engine y Cloud SQL en tu entorno.
Como opción, también puedes usar direcciones IP públicas usadas de forma privada y el agente de enmascaramiento de IP para guardar el espacio de direcciones IP y usar direcciones que no sean RFC 1918.
Para obtener información sobre cómo conectarse a los recursos de tu entorno, consulta IP privada.
Entornos con intercambios de tráfico entre VPC y Private Service Connect
De forma predeterminada, Cloud Composer 2 usa Private Service Connect para que tu archivo de IPs se comunican internamente sin el uso de intercambios de tráfico entre VPC, a menos que que debes especificar cuando crees el entorno.
Recomendamos usar entornos con Private Service Connect si no tienes un requisito específico para usar entornos con VPC intercambios de tráfico entre redes de VPC.
Antes de comenzar
- Asegúrate de tener los permisos de cuenta de servicio y usuario adecuados para crear un entorno.
- Comprueba que Políticas de la organización incompatibles no están definidos en tu proyecto.
Verifica los requisitos de red
Verifica que la red de VPC de tu proyecto cumpla con los siguientes requisitos:
Asegúrate de que no haya conflictos de bloqueo de IP privada. Si tu red de VPC y los intercambios de tráfico de VPC establecidos tienen bloques de IP superpuestos con la red de VPC en el proyecto de inquilino administrado por Google, Cloud Composer no podrá crear tu entorno. Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada región.
Asegúrate de que haya suficientes rangos de IP secundarias para los pods y los servicios de GKE de Cloud Composer. GKE busca rangos de IP secundarias para el alias de IP. Si GKE no puede encontrar un rango, Cloud Composer no podrá crear tu entorno.
Asegúrate de que la cantidad de rangos secundarios en tu subred no sea superior a 30. Ten en cuenta lo siguiente:
- El clúster de GKE para tu entorno de IP privada crea dos rangos secundarios en la subred. Puedes crear varias subredes en la misma región para la misma red de VPC.
- La cantidad máxima de rangos secundarios admitidos es 30. Cada El entorno de IP privada requiere dos rangos secundarios los Pods y servicios de GKE de Cloud Composer.
Asegúrate de que la red de tu proyecto admita el límite en la cantidad máxima de conexiones a una sola red de VPC. La cantidad máxima de entornos de IP privada que puedes crear depende de la cantidad de conexiones de intercambio de tráfico de VPC existentes en tu red de VPC.
Cada entorno de IP privada con PSC usa un intercambio de tráfico de VPC por entorno. El intercambio de tráfico entre VPC se crea clúster de GKE de tu entorno y Los clústeres de GKE pueden volver a usar esta conexión. En el caso de los entornos de IP privada con PSC, cada ubicación puede admitir un máximo de 75 clústeres privados.
Cada entorno de IP privada con intercambios de tráfico de VPC usa, como máximo, dos intercambios de tráfico de VPC por entorno. Cloud Composer crea un intercambio de tráfico de VPC para la red del proyecto de usuario. El clúster de GKE de tu entorno crea el segundo intercambio de tráfico, y los clústeres de GKE pueden volver a usar esta conexión.
Elige una red, subred y rangos de red
Elige los rangos de red para tu entorno de IP privada (o usa los predeterminados). Usarás estos rangos de red más adelante cuando crees un entorno de IP privada.
Para crear un entorno de IP privada, debes tener la siguiente información:
- El ID de tu red de VPC
- El ID de tu subred de VPC
- Dos rangos de IP secundarios en la subred de VPC:
- Rango de IP secundario para Pods
- Rango de IP secundario para servicios
Rangos de IP para los componentes del entorno:
Si tu entorno usa Private Service Connect, haz lo siguiente:
Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.
Si especificas el rango de IP del plano de GKE para un GKE crea una subred nueva en esta para aprovisionar la dirección IP y comunicarse con el Plano de control de GKE. De lo contrario, usa la subred especificado en el rango de subred de conexión de Cloud Composer.
Subred de conexión de Cloud Composer. rango de IP para el Subred de conexión de Cloud Composer. Puedes especificar de solo dos direcciones IP. Varios entornos de tu proyecto pueden usar este rango. De forma predeterminada, este rango es la subred del entorno (ID de subred de VPC).
Si tu entorno usa intercambios de tráfico de VPC, haz lo siguiente:
- Rango de IP del plano de control de GKE. Es el rango de IP para el plano de control de GKE.
- Rango de IP para la red de usuarios de Cloud Composer. Rango de IP para la red de usuarios de Cloud Composer. Esta red aloja el componente de proxy de SQL de tu entorno.
Rango de IP de Cloud SQL Es el rango de IP para la instancia de Cloud SQL.
Consulta la tabla de rangos de IP predeterminados para conocer los valores predeterminados que se usan en cada uno región.
Rangos de IP predeterminados
Entornos con Private Service Connect
Región | Rango de IP del plano de control de GKE |
---|---|
africa-south1 | 172.16.64.0/23 |
asia-east1 | 172.16.42.0/23 |
asia-east2 | 172.16.0.0/23 |
asia-northeast1 | 172.16.2.0/23 |
asia-northeast2 | 172.16.32.0/23 |
asia-northeast3 | 172.16.30.0/23 |
asia-south1 | 172.16.4.0/23 |
asia-south2 | 172.16.50.0/23 |
asia-southeast1 | 172.16.40.0/23 |
asia-southeast2 | 172.16.44.0/23 |
australia-southeast1 | 172.16.6.0/23 |
australia-southeast2 | 172.16.56.0/23 |
europe-central2 | 172.16.36.0/23 |
europe-north1 | 172.16.48.0/23 |
europe-southwest1 | 172.16.58.0/23 |
europe-west1 | 172.16.8.0/23 |
europe-west10 | 172.16.62.0/23 |
europe-west12 | 172.16.62.0/23 |
europe-west2 | 172.16.10.0/23 |
europe-west3 | 172.16.12.0/23 |
europe-west4 | 172.16.42.0/23 |
europe-west6 | 172.16.14.0/23 |
europe-west8 | 172.16.60.0/23 |
europe-west9 | 172.16.46.0/23 |
me-central1 | 172.16.58.0/23 |
me-west1 | 172.16.54.0/23 |
northamerica-northeast1 | 172.16.16.0/23 |
northamerica-northeast2 | 172.16.46.0/23 |
southamerica-east1 | 172.16.18.0/23 |
southamerica-west1 | 172.16.58.0/23 |
us-central1 | 172.16.20.0/23 |
us-east1 | 172.16.22.0/23 |
us-east4 | 172.16.24.0/23 |
us-east5 | 172.16.52.0/23 |
us-south1 | 172.16.56.0/23 |
us-west1 | 172.16.38.0/23 |
us-west2 | 172.16.34.0/23 |
us-west3 | 172.16.26.0/23 |
us-west4 | 172.16.28.0/23 |
Entornos con intercambios de tráfico entre VPC
Región | Rango de IP del plano de control de GKE | Rango de IP de la red de usuarios de Cloud Composer | Rango de IP de Cloud SQL |
---|---|---|---|
africa-south1 | 172.16.64.0/23 | 172.31.223.0/24 | 10.0.0.0/12 |
asia-east1 | 172.16.42.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-east2 | 172.16.0.0/23 | 172.31.255.0/24 | 10.0.0.0/12 |
asia-northeast1 | 172.16.2.0/23 | 172.31.254.0/24 | 10.0.0.0/12 |
asia-northeast2 | 172.16.32.0/23 | 172.31.239.0/24 | 10.0.0.0/12 |
asia-northeast3 | 172.16.30.0/23 | 172.31.240.0/24 | 10.0.0.0/12 |
asia-south1 | 172.16.4.0/23 | 172.31.253.0/24 | 10.0.0.0/12 |
asia-south2 | 172.16.50.0/23 | 172.31.230.0/24 | 10.0.0.0/12 |
asia-southeast1 | 172.16.40.0/23 | 172.31.235.0/24 | 10.0.0.0/12 |
asia-southeast2 | 172.16.44.0/23 | 172.31.233.0/24 | 10.0.0.0/12 |
australia-southeast1 | 172.16.6.0/23 | 172.31.252.0/24 | 10.0.0.0/12 |
australia-southeast2 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
europe-central2 | 172.16.36.0/23 | 172.31.237.0/24 | 10.0.0.0/12 |
europe-north1 | 172.16.48.0/23 | 172.31.231.0/24 | 10.0.0.0/12 |
europe-southwest1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
europe-west1 | 172.16.8.0/23 | 172.31.251.0/24 | 10.0.0.0/12 |
europe-west10 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west12 | 172.16.62.0/23 | 172.31.224.0/24 | 10.0.0.0/12 |
europe-west2 | 172.16.10.0/23 | 172.31.250.0/24 | 10.0.0.0/12 |
europe-west3 | 172.16.12.0/23 | 172.31.249.0/24 | 10.0.0.0/12 |
europe-west4 | 172.16.42.0/23 | 172.31.234.0/24 | 10.0.0.0/12 |
europe-west6 | 172.16.14.0/23 | 172.31.248.0/24 | 10.0.0.0/12 |
europe-west8 | 172.16.60.0/23 | 172.31.225.0/24 | 10.0.0.0/12 |
europe-west9 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
me-central1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
me-west1 | 172.16.54.0/23 | 172.31.228.0/24 | 10.0.0.0/12 |
northamerica-northeast1 | 172.16.16.0/23 | 172.31.247.0/24 | 10.0.0.0/12 |
northamerica-northeast2 | 172.16.46.0/23 | 172.31.232.0/24 | 10.0.0.0/12 |
southamerica-east1 | 172.16.18.0/23 | 172.31.246.0/24 | 10.0.0.0/12 |
southamerica-west1 | 172.16.58.0/23 | 172.31.226.0/24 | 10.0.0.0/12 |
us-central1 | 172.16.20.0/23 | 172.31.245.0/24 | 10.0.0.0/12 |
us-east1 | 172.16.22.0/23 | 172.31.244.0/24 | 10.0.0.0/12 |
us-east4 | 172.16.24.0/23 | 172.31.243.0/24 | 10.0.0.0/12 |
us-east5 | 172.16.52.0/23 | 172.31.229.0/24 | 10.0.0.0/12 |
us-south1 | 172.16.56.0/23 | 172.31.227.0/24 | 10.0.0.0/12 |
us-west1 | 172.16.38.0/23 | 172.31.236.0/24 | 10.0.0.0/12 |
us-west2 | 172.16.34.0/23 | 172.31.238.0/24 | 10.0.0.0/12 |
us-west3 | 172.16.26.0/23 | 172.31.242.0/24 | 10.0.0.0/12 |
us-west4 | 172.16.28.0/23 | 172.31.241.0/24 | 10.0.0.0/12 |
(Opcional) Configura la conectividad a los servicios y las APIs de Google
Como opción, puedes enrutar todo el tráfico a las APIs y los servicios de Google
a través de varias direcciones IP que pertenecen al private.googleapis.com
dominio. Con esta configuración, tu entorno accede a las APIs de Google y
con direcciones IP que solo se pueden enrutar desde Google Cloud.
Si tu entorno de IP privada también usa los Controles del servicio de VPC, usa instrucciones para entornos con Controles del servicio de VPC en su lugar.
Los entornos de Cloud Composer usan los siguientes dominios:
*.googleapis.com
se usa para acceder a otros servicios de Google.*.composer.cloud.google.com
se usa para crear el servidor web de Airflow de tu accesible. Esta regla se debe aplicar antes de crear una en un entorno de nube.- Como alternativa, puedes crear una regla para una región específica. Para ello, sigue estos pasos:
usa
REGION.composer.cloud.google.com
. ReemplazaREGION
por la región en la que se encuentra el entorno, por Por ejemplo,us-central1
.
- Como alternativa, puedes crear una regla para una región específica. Para ello, sigue estos pasos:
usa
(Opcional) Se usa
*.composer.googleusercontent.com
cuando se accede al El servidor web de Airflow de tu entorno. Esta regla es obligatoria solo si accedes al servidor web de Airflow desde una instancia que se ejecuta en la red de VPC y no es obligatoria en otro caso. Una situación común para esto es cuando quieres llamar a la API de REST de Airflow desde la red de VPC.- Como alternativa, puedes crear una regla para un entorno específico. Para
hazlo, usa
ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com
de Google Cloud. ReemplazaENVIRONMENT_WEB_SERVER_NAME
por la parte única de la URL de la IU de Airflow de tu entorno, por ejemplo,bffe6ce6c4304c55acca0e57be23128c-dot-us-central1
.
- Como alternativa, puedes crear una regla para un entorno específico. Para
hazlo, usa
*.pkg.dev
se usa para obtener imágenes de entorno, como cuando se crean o actualizar un entorno.*.gcr.io
GKE requiere conectividad al dominio de Container Registry, independientemente de la versión de Cloud Composer.
Configura la conectividad con el extremo private.googleapis.com
.
Dominio | Nombre de DNS | Registro CNAME | Registro A |
---|---|---|---|
*.googleapis.com
|
googleapis.com. |
Nombre de DNS: *.googleapis.com. Tipo de registro de recursos: CNAME Nombre canónico: googleapis.com. |
Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.cloud.google.com
|
composer.cloud.google.com. |
Nombre de DNS: *.composer.cloud.google.com. Tipo de registro de recursos: CNAME Nombre canónico: composer.cloud.google.com. |
Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.composer.googleusercontent.com
(opcional, consulta la descripción) |
composer.googleusercontent.com. |
Nombre de DNS: *.composer.googleusercontent.com. Tipo de registro de recursos: CNAME Nombre canónico: composer.googleusercontent.com. |
Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.pkg.dev
|
pkg.dev. |
Nombre de DNS: *.pkg.dev. Tipo de registro de recursos: CNAME Nombre canónico: pkg.dev. |
Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
*.gcr.io
|
gcr.io. |
Nombre de DNS: *.gcr.io. Tipo de registro de recursos: CNAME Nombre canónico: gcr.io. |
Tipo de registro de recursos: A Direcciones IPv4: 199.36.153.8 , 199.36.153.9 , 199.36.153.10 , 199.36.153.11
|
Para crear una regla de DNS, sigue estos pasos:
Crea una nueva zona del DNS y usa el nombre de DNS como nombre del DNS de esta zona.
Ejemplo:
pkg.dev.
Agrega un conjunto de registros para el registro CNAME.
Ejemplo:
- Nombre de DNS:
*.pkg.dev.
- Tipo de registro de recursos:
CNAME
- Nombre canónico:
pkg.dev.
- Nombre de DNS:
Agrega un conjunto de registros con el siguiente registro A:
Ejemplo:
- Tipo de registro de recursos:
A
- Direcciones IPv4:
199.36.153.8
,199.36.153.9
,199.36.153.10
,199.36.153.11
- Tipo de registro de recursos:
Para obtener más información, consulta Configura la conectividad privada a los servicios y las APIs de Google.
(Opcional) Configura reglas de firewall
Realiza este paso solo si tu proyecto tiene reglas de firewall que no son predeterminadas, como reglas que anulan reglas de firewall implícitas o modifican reglas prepropagadas en la red predeterminada.
Por ejemplo, es posible que Cloud Composer no cree un entorno si tienes una regla de firewall que rechace todo el tráfico de salida. Para evitar problemas,
definir reglas allow
selectivas que siguen la lista y tienen una prioridad más alta
que la regla deny
global.
Configura tu red de VPC para permitir el tráfico de tu entorno:
- Consulta Cómo usar reglas de firewall para obtener información sobre verificar, agregar y actualizar reglas para tu red de VPC.
- Usa la herramienta de conectividad para validar la conectividad entre los rangos de IP.
- Puedes usar etiquetas de herramientas de redes para y limitar el acceso. Puedes establecer estas etiquetas cuando creas un entorno.
Descripción | Dirección | Acción | Origen o destino | Protocolos | Puertos |
---|---|---|---|---|---|
DNS | Salida | Permitir | Cualquier destino (0.0.0.0/0 ) o dirección IP de servidor DNS |
TCP, UDP | 53 |
Servicios y APIs de Google | Salida | Permitir | Rango de direcciones IP del dominio que elegiste para las APIs y los servicios de Google Consulta Direcciones IP para dominios predeterminados si usas valores predeterminados. | TCP | 443 |
Nodos del clúster del entorno | Salida | Permitir | Rango de direcciones IP principal de la subred del entorno | TCP, UDP | todos |
Pods del clúster del entorno | Salida | Permitir | Rango de direcciones IP secundario para Pods en la subred del entorno | TCP, UDP | todos |
Plano de control del clúster del entorno | Salida | Permitir | Rango de IP del plano de control de GKE | TCP, UDP | todos |
(Si tu entorno usa Private Service Connect) Subred de conexión | Salida | Permitir | Rango de subred de conexión de Cloud Composer | TCP | 3306 y 3307 |
(Si tu entorno usa intercambios de tráfico entre VPC) Red del usuario | Salida | Permitir | Rango de IP de la red de usuarios de Cloud Composer | TCP | 3306 y 3307 |
Para obtener rangos de IP, haz lo siguiente:
Los rangos de direcciones de Pod, Service y Control Plane están disponibles en la página Clústeres del clúster de tu entorno:
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Ve a la pestaña Configuración del entorno.
Sigue el vínculo Ver detalles del clúster.
Como puedes ver, El rango de IP de la red de usuarios de Cloud Composer en la pestaña Configuración del entorno.
Puedes ver el ID de la subred del entorno y el ID de la subred de conexión de Cloud Composer en la pestaña Configuración del entorno. Para obtener los rangos de IP de una subred, ve a la página Redes de VPC y haz clic en el nombre de la red para ver los detalles:
Establecer la configuración del servidor proxy
Puedes configurar variables de entorno HTTP_PROXY
y HTTPS_PROXY
en tu entorno. Los clientes web que se ejecutan en contenedores del clúster de tu entorno usan estas variables estándar de Linux para enrutar el tráfico a través de los proxies especificados.
De forma predeterminada, la variable NO_PROXY
se establece en una lista de dominios de Google para que se excluyan del proxy: .google.com,.googleapis.com,metadata.google.internal
. Esta configuración
permite crear un entorno con el conjunto de HTTP_PROXY
y
Variables de entorno HTTPS_PROXY
en casos en los que el proxy no está configurado
para manejar el tráfico hacia los servicios de Google.