Crea una instancia privada con el intercambio de tráfico entre VPC

En esta página, se describe cómo crear una instancia de Cloud Data Fusion con una dirección IP interna. Creas la instancia en un red de VPC o una Red de VPC compartida.

Nota: En Cloud Data Fusion 6.10.0 y versiones posteriores, recomendamos crear imágenes instancias con Private Service Connect, no con el intercambio de tráfico entre redes de VPC.

Una instancia privada de Cloud Data Fusion tiene los siguientes beneficios:

• Las conexiones a la instancia se establecen a través de un red de VPC privada en tu proyecto de Google Cloud. El tráfico de la red no pasa por la Internet pública.

• La instancia puede conectarse a tus recursos locales, como bases de datos porque tu red local se conecta a la red de VPC privada de Google Cloud Cloud VPN o Cloud Interconnect. Puedes acceder de forma segura a tus recursos locales, como las bases de datos, a través de la red privada sin abrir el acceso a Google Cloud.

Objetivos

• Configura la red de VPC o la red de VPC compartida.
• Asigna un rango de IP que se usará para implementar la instancia de Cloud Data Fusion en el proyecto de usuario.
• Crea la instancia privada de Cloud Data Fusion.
• Configurar el intercambio de tráfico entre redes de VPC contiene la instancia de Cloud Data Fusion y la VPC que contiene el proyecto de usuario asociado.
• Para redes de VPC compartida, configura Identity and Access Management (IAM) permisos.
• Si tu instancia privada usa la versión 6.2.0 de Cloud Data Fusion o anteriormente, crearemos una regla de firewall.
• Habilita el Acceso privado a Google en la subred de Dataproc para permitir que diferentes servicios de Google Cloud se comuniquen internamente entre sí.

Antes de comenzar

• Para obtener más información sobre la arquitectura de implementación de Cloud Data Fusion, consulta Herramientas de redes.

Configura la red de VPC

Si aún no lo hiciste, crea una red de VPC. o una red de VPC compartida.

Para configurar tu red de VPC, debes asignar una dirección IP del rango de destino de la ruta.

Asignar un rango de IP

Red de VPC

Si no usas una red de VPC compartida, Cloud Data Fusion asigna un rango de IP de forma predeterminada cuando creas una instancia.

Nota: Si no usas una red de VPC compartida, omite esta sección y ve a Crea una instancia privada.

Red compartida de VPC

Nota: Sigue estos pasos solo si usas una red de VPC compartida.

Para usar una VPC compartida, debes asignar una IP para tu instancia de Cloud Data Fusion.

Para asignar un rango de IP a tu instancia de Cloud Data Fusion, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Redes de VPC.

   Ir a las redes de VPC

2. En la columna Nombre, haz clic en la red de VPC en la que deseas crear una instancia privada de Cloud Data Fusion.

   Se abrirá la página Detalles de la red de VPC.

3. Haz clic en Conexión de servicio privada. Si se te solicita, habilita los Para la API de Service Networking, haz clic en Habilitar API.

   

4. Haz clic en Asigna rangos de IP.

   1. Asigna un nombre a tu rango de IP.

   2. En Rango de IP, haz clic en Automático.

      Nota: En el caso de los rangos personalizados, Cloud Data Fusion admite rangos de direcciones IPv4 privadas válidos, incluidos los rangos de IP que no son RFC 1918. No admite rangos de direcciones IP externas que se usan de forma privada. Esta asignación de rango no tiene que consumir IPs de ninguna de tus subredes, pero no debe superponerse con ninguna asignación de rango que realices en el futuro.

   3. Especifica un tamaño de prefijo de 22.

      Nota: El rango de IP /22 es obligatorio por Cloud Data Fusion de Compute Engine y no puede compartirse entre varias instancias. El rango de IP pertenece a Google Cloud y es donde se alojan los componentes y la infraestructura subyacentes de la instancia.

   4. Haz clic en Allocate.

      

Crea una instancia privada

Crea la instancia privada de Cloud Data Fusion en una red de VPC o en una red de VPC compartida.

Precaución: Después de crear una instancia de Cloud Data Fusion, no puedes cambiar su edición.

Red de VPC

Para crear la instancia en una red de VPC, usa el la consola de Google Cloud o cURL.

Si usas la consola de Google Cloud para crear tu instancia privada, Cloud Data Fusion asigna el rango de direcciones IP /22 de forma predeterminada. Para elegir un rango de IP diferente, debes usar el comando cURL.

Console

1. Ve a la página Crear instancia de Data Fusion.

   Ir a Crear instancia de Data Fusion

2. Ingresa un nombre y una descripción para tu instancia.

3. Selecciona la Región en la que se creará la instancia.

4. Selecciona una Versión y una Edición de Cloud Data Fusion.

5. Especifica la cuenta de servicio de Dataproc que se usará para ejecutar tu canalización de Cloud Data Fusion en Dataproc. La red predeterminada de Compute Engine está preseleccionada.

   Nota: Debes otorgar los roles de Identity and Access Management adecuados para tus necesidades. la cuenta de servicio. Para obtener más información, consulta Otorga permiso de usuario de cuenta de servicio.

6. Expande el menú Opciones avanzadas y haz clic en Habilitar IP privada.

7. En el campo Red, elige la red en la que deseas crear la red. instancia.

8. Haz clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse.

   Nota: Mientras Cloud Data Fusion crea la instancia, se muestra una rueda de progreso junto al nombre de la instancia en la página Instances. Cuando se completa, se convierte en una marca de verificación verde y se indica que puedes comenzar a usar la instancia.

cURL

Para tu comodidad, puedes exportar las siguientes variables o reemplazar directamente estos valores en los siguientes comandos:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear la instancia, llama a su create() método:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Reemplaza lo siguiente:

• INSTANCE_ID: Es la cadena de ID que debe obtener tu instancia nueva.
• NETWORK_NAME: Es el nombre del red de VPC en la que quieres crear tu instancia.
• IP_RANGE: Es el rango de IP que asignaste. Para encontrar el rango de IP en la consola de Google Cloud, ve a Detalles de la red de VPC > Conexión de servicio privada > Rango de IP interna.

Red compartida de VPC

Para crear tu instancia en una red de VPC compartida, usa cURL, no la consola de Google Cloud.

cURL

Para tu comodidad, puedes exportar las siguientes variables. Como alternativa, puedes reemplazar directamente estos valores en los siguientes ejemplos: comandos:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear la instancia, llama a su método create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Reemplaza lo siguiente:

• INSTANCE_ID: Es la cadena de ID que debería obtener tu instancia nueva.
• SHARED_VPC_HOST_PROJECT_ID: Es el ID del proyecto que aloja la red de VPC compartida.
• NETWORK_NAME: Es el nombre del red de VPC en la que quieres crear la red instancia.
• IP_RANGE: El rango de IP que asignaste. Para encontrar el rango de IP en la consola de Google Cloud, ve a la página Detalles de la red de VPC > Conexión de servicio privada > Rango de IP interna.

Nota: No puedes usar un rango de IP asignado a otro servicio de Google Cloud. servicio. Debe ser el mismo rango de IP que se asignó en el paso anterior.

Nota: Cuando usas una red de VPC compartida, el nombre del aprovisionamiento de red de VPC que se crea entre tu proyecto y el proyecto de usuario es una combinación del nombre de la red de VPC y el nombre de la instancia. La longitud del nombre del intercambio de tráfico entre redes de VPC no debe tienen más de 63 caracteres.

Configura el intercambio de tráfico entre redes de VPC

Punto clave: Tu instancia de Cloud Data Fusion se crea en su propia VPC y es posible que debas configurar el intercambio de tráfico entre redes de VPC para conectarte con la fuente y el destino que usas en tu canalización.

Los servicios de Cloud Data Fusion que usas en tu entorno de diseño (por ejemplo, Wrangler, Connection Manager y Schema Validation) inician conexiones de red desde la VPC del proyecto de usuario a los sistemas de origen. Cloud Data Fusion usa Intercambio de tráfico entre redes de VPC para establecer conectividad a la VPC o VPC compartida que contiene tus instancia. El intercambio de tráfico entre redes de VPC permite que Cloud Data Fusion acceda a los recursos de tu red a través de direcciones IP internas con tu propia VPC y sus controles. Para conectarte con un recurso en otro red, consulta los pasos para los casos de uso de conexión.

En la siguiente sección, se describe cómo crear una configuración de intercambio de tráfico entre tu red y la red del proyecto de usuario de Cloud Data Fusion.

Obtén el ID del proyecto del usuario

Para crear una configuración de intercambio de tráfico, necesitas la proyecto de usuario.

1. Ve a la página de Instancias de Cloud Data Fusion.

   Ir a Instancias

2. En la columna Nombre de la instancia, selecciona la instancia.

3. En la página Detalles de la instancia, copia el ID del proyecto del usuario, que es obligatorio cuando creas una conexión de intercambio de tráfico en los siguientes pasos.

Crear conexión de intercambio de tráfico

1. Ve a la página Intercambio de tráfico entre redes de VPC.

   Ir a Intercambio de tráfico entre redes de VPC

2. Haz clic en Crear conexión > Continuar.

3. En la página Crear conexión de intercambio de tráfico que se abre, haz lo siguiente:

   1. Ingresa un Nombre para la conexión de intercambio de tráfico.
   2. En Tu red de VPC, selecciona la red que contiene tu instancia de Cloud Data Fusion.
   3. En Red de VPC con intercambio de tráfico, selecciona En otro proyecto.
   4. En ID del proyecto, ingresa el ID del proyecto de usuario que encontraste antes en este instructivo.

   5. En Nombre de la red de VPC, selecciona una red o ingresa INSTANCE_REGION - INSTANCE_ID

      Reemplaza lo siguiente:

      • INSTANCE_REGION: Es la región en la que creaste tu instancia de Cloud Data Fusion.
      • INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.
      Nota: Cuando se crea la instancia, se crea una red de VPC llamada INSTANCE_REGION-INSTANCE_ID en el proyecto del inquilino. La instancia privada de Cloud Data Fusion se implementa en esa VPC. Esta red ya existe con la configuración para establecer un intercambio de tráfico con la VPC de tu proyecto de cliente.

   6. Selecciona la versión del protocolo de Internet para la conexión de intercambio de tráfico intercambiar rutas IPv4 e IPv6 entre tu red de VPC y la red de VPC con intercambio de tráfico. Para obtener más información, consulta Intercambio de tráfico entre redes de VPC.

   7. Selecciona Exportar rutas personalizadas para que las rutas personalizadas se puedan exportar de tu red de VPC a la red de VPC del usuario.

   8. Elige si permites que se importen o exporten rutas de subredes con IPv4 públicas a tu red de VPC.

   9. Haz clic en Crear.

   El intercambio de tráfico entre redes de VPC se activa poco después de su creación.

Configura los permisos de IAM

Red de VPC

Omite este paso y ve a Crea una regla de firewall.

Red compartida de VPC

Si creas tu instancia de Cloud Data Fusion en una VPC compartida debes otorgar el rol de usuario de la red de Compute a las siguientes cuentas de servicio. Para otorgar permisos a todas las subredes, otorga el rol en el proyecto host de la VPC compartida.

Para controlar aún más el acceso, otorga el rol a una subred específica y el rol de Visualizador de red en el proyecto host.

• Cuenta de servicio de Cloud Data Fusion: [e-mail]
• Cuenta de servicio de Dataproc: [e-mail]

PROJECT_NUMBER es el número de Proyecto de Google Cloud que contiene tu Cloud Data Fusion instancia.

Para obtener más información, consulta Cómo otorgar acceso. a las cuentas de servicio requeridas.

Crea una regla de firewall

Crea una regla de firewall en tu red de VPC que permita las conexiones SSH entrantes desde el rango de IP que especificaste cuando creaste tu instancia privada de Cloud Data Fusion.

Este paso es obligatorio para las versiones de Cloud Data Fusion anteriores a la 6.2.0. Permite la comunicación entre Cloud Data Fusion y los clústeres de Dataproc que ejecutan canalizaciones.

Puedes crear la regla de firewall con la consola de Google Cloud o con la CLI de gcloud.

Console

Consulta Crea reglas de firewall.

gcloud

Ejecuta el comando siguiente:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Reemplaza lo siguiente:

• FIREWALL_NAME: Es el nombre de la regla de firewall que se creará.
• IP_RANGE: Es el rango de IP que asignaste.
• NETWORK_NAME: Es el nombre de la red a la que se adjunta la regla de firewall. Es el nombre de la VPC red en la que creaste la instancia privada.
• PROJECT_ID: Es el ID del proyecto que aloja la red de VPC.

Pasos para casos de uso de conexión

En las siguientes secciones, se describen casos de uso relacionados con la conexión para instancias privadas.

Habilite el Acceso privado a Google

Para acceder a los recursos a través de direcciones IP internas, Cloud Data Fusion debe crear los clústeres de Dataproc y ejecutar las canalizaciones de datos en una subred con Acceso privado a Google. Debes habilitar el Acceso privado a Google para la subred que contiene los clústeres de Dataproc.

• Si solo hay una subred en la región donde se inician los clústeres de Dataproc, el clúster se inicia en esa subred.

• Si hay varias subredes en una región, debes configurar Cloud Data Fusion para que seleccione la subred con Acceso privado a Google para iniciar clústeres de Dataproc.

  Precaución: Si el Acceso privado a Google no está habilitado en esa subred, la ejecución de la canalización falla. Para especificar la subred después de crear una instancia, editar el perfil de procesamiento.

Para habilitar el Acceso privado a Google para la subred, consulta Configuración del Acceso privado a Google.

Opcional: Conéctate a otras fuentes

Después de crear una instancia privada en Cloud Data Fusion, puedes conectarte a otras fuentes, como los siguientes casos de uso:

• Bases de datos y sistemas locales que se ejecutan en otras redes de VPC
• Otros servicios de Google Cloud que se ejecutan en su propia red en modo privado, como Cloud SQL
• Fuentes en la Internet pública

Opcional: Habilita el intercambio de tráfico de DNS

Habilita el intercambio de tráfico de DNS en los siguientes casos:

• Cuando Cloud Data Fusion se conecta a sistemas mediante nombres de host, y no IP addresses
• Cuando el sistema de destino se implementa detrás de un balanceador de cargas, como ocurre en algunas implementaciones de SAP

¿Qué sigue?

• Obtén más información sobre los conceptos de seguridad en Cloud Data Fusion.
• Obtén más información para conectarte a recursos en redes externas.
• Obtén más información sobre otros conceptos y características de Cloud Data Fusion.
• Consulta los precios de Cloud Data Fusion.