Crea una instancia privada

En esta página, se describe cómo crear una instancia de Cloud Data Fusion con una dirección IP interna. Creas la instancia en una red de VPC o en una red de VPC compartida.

Una instancia privada de Cloud Data Fusion tiene los siguientes beneficios:

• Las conexiones a la instancia se establecen a través de una red de VPC privada en tu proyecto de Google Cloud. El tráfico a través de la red no pasa por la Internet pública.

• La instancia puede conectarse a tus recursos locales, como bases de datos relacionales, debido a que la red local se conecta a la red de VPC privada de Google Cloud mediante Cloud VPN o Cloud Interconnect. Puedes acceder de forma segura a tus recursos locales, como bases de datos, a través de la red privada sin abrir el acceso a Google Cloud.

Configura la red de VPC

Si aún no lo hiciste, crea una red de VPC o una red de VPC compartida.

Para configurar tu red de VPC, debes habilitar el Acceso privado a Google y asignar un rango de IP.

Habilite el Acceso privado a Google

La región en la que creas la instancia privada de Cloud Data Fusion debe tener una subred con el Acceso privado a Google habilitado.

Si deseas habilitar el acceso privado a Google para la subred, consulta Configuración del acceso privado a Google.

Asigna un rango de IP

Red de VPC

Si no usas una red de VPC compartida, Cloud Data Fusion asigna un rango de IP de forma predeterminada cuando creas una instancia.

Nota: Si no usas una red de VPC compartida, omite esta sección y ve a Crear una instancia privada.

Red compartida de VPC

Nota: Sigue estos pasos solo si usas una red de VPC compartida.

Si quieres usar una red de VPC compartida, debes asignar un rango de IP para tu instancia de Cloud Data Fusion. La canalización se ejecuta en un clúster de Dataproc que usa un rango de IP diferente al asignado a la instancia de Cloud Data Fusion.

Para asignar un rango de IP a la instancia de Cloud Data Fusion, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Redes de VPC.

   Ir a las redes de VPC

2. En la columna Nombre, haz clic en la red de VPC en la que deseas crear una instancia privada de Cloud Data Fusion.

   Se abrirá la página Detalles de la red de VPC.

3. Haz clic en Conexión de servicio privada. Si se te solicita, haz clic en Habilitar API para habilitar la API de Service Networking.

   

4. Haz clic en Asigna rangos de IP.

   1. Asigna un nombre a tu rango de IP.

   2. En Rango de IP, haz clic en Automático.

      Nota: En los rangos personalizados, Cloud Data Fusion admite rangos de direcciones IPv4 privadas válidos, incluidos los rangos de IP que no son RFC 1918. No es compatible con los rangos de direcciones IP públicas de uso privado.

   3. Especifica un tamaño de prefijo de 22.

      Nota: El rango de IP /22 es obligatorio por instancia de Cloud Data Fusion y no se puede compartir entre varias instancias. El rango de IP pertenece a Google Cloud y es el lugar en el que se alojan la infraestructura y los componentes de instancia subyacentes.

   4. Haz clic en Allocate.

      

Crea una instancia privada

Crea la instancia privada de Cloud Data Fusion en una red de VPC o en una red de VPC compartida.

Red de VPC

Para crear la instancia en una red de VPC, usa Google Cloud Console o cURL.

Si usas Google Cloud Console para crear tu instancia privada, Cloud Data Fusion asigna el rango de direcciones IP /22 de forma predeterminada. Para elegir un rango de IP diferente, debes usar el comando cURL.

Consola

1. Ve a la página Crear instancia de Data Fusion.

   Ir a Crear instancia de Data Fusion

2. Ingresa un nombre y una descripción para tu instancia.

3. Selecciona la Región en la que se creará la instancia. La región debe tener habilitado el Acceso privado a Google.

4. Selecciona una Versión y una Edición de Cloud Data Fusion.

5. Especifica la cuenta de servicio de Dataproc que se usará para ejecutar la canalización de Cloud Data Fusion en Dataproc. La cuenta predeterminada de Compute Engine está preseleccionada.

   Nota: Debes otorgar las funciones de Identity and Access Management adecuadas para tus necesidades a la cuenta de servicio. Para obtener más información, consulta Otorga permiso de usuario a la cuenta de servicio.

6. Expande el menú Advanced Options (Opciones avanzadas) y haz clic en Enable Private IP (Habilitar IP privada).

7. En el campo Red, elige una red en la que se creará la instancia.

8. Haz clic en Crear. El proceso de creación de instancias tarda hasta 30 minutos en completarse.

   Nota: Mientras Cloud Data Fusion crea tu instancia, se muestra una rueda de progreso junto al nombre de la instancia en la página Instancias. Cuando finaliza, se convierte en una marca de verificación verde y, además, indica que puedes comenzar a usar la instancia.

cURL

Para tu comodidad, puedes exportar las siguientes variables o sustituir directamente estos valores en los siguientes comandos:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear la instancia, llama a su método create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Reemplaza lo siguiente:

• INSTANCE_ID: la string de ID de tu instancia.
• NETWORK_NAME: El nombre de la red de VPC en la que deseas crear tu instancia privada.
• IP_RANGE: El rango de IP que asignaste. Para encontrar el rango de IP en Google Cloud Console, ve a Detalles de la red de VPC > Conexión privada a servicios > Rango de IP internas .

Red compartida de VPC

Para crear tu instancia en una red de VPC compartida, usa cURL, no Google Cloud Console.

cURL

Para tu comodidad, puedes exportar las siguientes variables. Como alternativa, puedes sustituir estos valores directamente en los siguientes comandos:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear la instancia, llama a su método create():

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Reemplaza lo siguiente:

• INSTANCE_ID: la string de ID de tu instancia.
• SHARED_VPC_HOST_PROJECT_ID: El ID del proyecto que aloja la red de VPC compartida.
• NETWORK_NAME: El nombre de la red de VPC en la que deseas crear la instancia privada.
• IP_RANGE: El rango de IP que asignaste. Para encontrar el rango de IP en Google Cloud Console, ve a la página Detalles de la red de VPC > Conexión privada a servicios > Rango de IP internas .

Nota: No puedes usar un rango de IP asignado a otro servicio de Google Cloud. Debe ser el mismo rango de IP que se asignó en el paso anterior.

Configura el intercambio de tráfico entre redes de VPC

Punto clave: Tu instancia de Cloud Data Fusion se crea en su propia VPC y es posible que debas configurar el intercambio de tráfico entre redes de VPC para conectarse con la fuente y el receptor que usas en tu canalización.

Cloud Data Fusion usa el Intercambio de tráfico entre redes de VPC para establecer la conectividad de red a tu red de VPC o VPC compartida. Esto permite que Cloud Data Fusion acceda a los recursos de tu red a través de direcciones IP internas.

En esta sección, se describe cómo crear una configuración de intercambio de tráfico entre tu red y la red del proyecto de inquilino de Cloud Data Fusion.

Conéctate a una fuente externa

Para conectarse a un recurso en una red externa (una red local o alguna otra red de VPC), la red externa y la instancia de Cloud Data Fusion deben conectarse a través de la misma red de VPC.

A continuación, se describe cómo conectar una red externa a la red de VPC de Cloud Data Fusion mediante túneles de Cloud VPN con enrutamiento BGP o adjuntos de VLAN:

• Asegúrate de que tu red de VPC esté conectada a la red externa mediante un túnel de Cloud VPN o un adjunto de VLAN para una interconexión dedicada o una interconexión de socio.
• Asegúrate de que las sesiones de BGP en los Cloud Routers que administran tus túneles de Cloud VPN o adjuntos de VLAN hayan recibido prefijos (destinos) específicos de tu red externa.

  Las rutas predeterminadas (destino 0.0.0.0/0) no se pueden importar a la red de VPC de Cloud Data Fusion porque esa red tiene su propia ruta predeterminada local. Siempre se usan las rutas locales de un destino, aunque el intercambio de tráfico de Cloud Data Fusion está configurado para importar rutas personalizadas de tu red de VPC.

• Identifica las conexiones de intercambio de tráfico que produce la conexión privada a los servicios. Según el servicio, la conexión privada a servicios puede crear una o más de las siguientes conexiones de intercambio de tráfico, pero no necesariamente todas:
  • datafusion-googleapis-com
  • servicenetworking-googleapis-com
• Actualiza todas las conexiones de intercambio de tráfico para habilitar la exportación de rutas personalizadas.
• Identifica el rango asignado que usa la conexión de servicios privados.
• Crea un anuncio de ruta personalizado de Cloud Router para el rango asignado en los Cloud Routers que administran las sesiones de BGP para tus túneles de Cloud VPN o adjuntos de VLAN.

Obtén el ID del proyecto de usuario

Para crear una configuración de intercambio de tráfico, necesitas el ID del proyecto de usuario.

1. Ve a la página de Instancias de Cloud Data Fusion.

   Ir a Instancias

2. En la columna Nombre de la instancia, selecciona la instancia.

3. En la página Detalles de la instancia, copia el valor Cuenta de servicio de la instancia. El ID del proyecto de inquilino es la parte entre el símbolo "at" (@) y el punto siguiente (.). Por ejemplo, si el valor de la cuenta de servicio es
   [e-mail],
   , el ID del proyecto de inquilino es r8170c9b5e7699803-tp.

   

Crear conexión de intercambio de tráfico

1. Ve a la página Intercambio de tráfico entre redes de VPC.

   Ir a Intercambio de tráfico entre redes de VPC

2. Haz clic en Crear conexión > Continuar.

3. En la página Crear conexión de intercambio de tráfico que se abre, haz lo siguiente:

   1. Ingresa un Nombre para la conexión de intercambio de tráfico.
   2. En Tu red de VPC, selecciona la red que contenga la instancia de Cloud Data Fusion.
   3. En Red de VPC con intercambio de tráfico, selecciona En otro proyecto.
   4. En ID del proyecto, ingresa el ID del proyecto de usuario que encontraste antes en este instructivo.

   5. En Nombre de la red de VPC, selecciona una red o ingresa INSTANCE_REGION-INSTANCE_ID.

      Reemplaza lo siguiente:

      • INSTANCE_REGION: Es la región en la que creaste la instancia de Cloud Data Fusion.
      • INSTANCE_ID: Es el ID de la instancia de Cloud Data Fusion.

   6. Selecciona la versión del protocolo de Internet de la conexión de intercambio de tráfico para intercambiar rutas IPv4 e IPv6 entre tu red de VPC y la red de VPC de intercambio de tráfico. Para obtener más información, consulta Intercambio de tráfico entre redes de VPC.

   7. Selecciona Exportar rutas personalizadas para que las rutas personalizadas se puedan exportar de tu red de VPC a la red de VPC del usuario.

   8. Elige si deseas importar o exportar rutas de subred con IPv4 públicas a tu red de VPC.

   9. Haz clic en Crear.

Configura los permisos de IAM

Red de VPC

Omite este paso y ve a Crear una regla de firewall.

Red compartida de VPC

Si creas tu instancia de Cloud Data Fusion en una red de VPC compartida, debes otorgar la función de usuario de la red de Compute a las siguientes cuentas de servicio. Para otorgar permisos a todas las subredes, otorga la función al proyecto host de VPC compartida.

Para controlar aún más el acceso, otorga la función a una subred específica y a la función Visualizador de red en el proyecto host.

• Cuenta de servicio de Cloud Data Fusion: [e-mail]
• Cuenta de servicio de Dataproc: [e-mail]

PROJECT_NUMBER es el número del proyecto de Google Cloud al que pertenece tu instancia de Cloud Data Fusion.

Para obtener más información, consulta Otorga acceso a las cuentas de servicio necesarias.

Crea una regla de firewall

Crea una regla de firewall en tu red de VPC que permita las conexiones SSH entrantes desde el rango de IP que especificaste cuando creaste tu instancia privada de Cloud Data Fusion.

Este paso es obligatorio para las versiones de Cloud Data Fusion anteriores a la 6.2.0. Permite la comunicación entre los clústeres de Cloud Data Fusion y Dataproc que ejecutan canalizaciones.

Puedes crear la regla de firewall mediante Google Cloud Console o gcloud con la CLI. Para usar gcloud, ejecuta el siguiente comando:

Consola

Consulta Crea reglas de firewall.

gcloud

Ejecuta el siguiente comando:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Reemplaza lo siguiente:

• FIREWALL_NAME: Es el nombre de la regla de firewall que se creará.
• IP_RANGE: El rango de IP que asignaste.
• NETWORK_NAME: El nombre de la red a la que se adjunta la regla de firewall. Es el nombre de la red de VPC en la que creaste la instancia privada.
• PROJECT_ID: Es el ID del proyecto que aloja la red de VPC.

Ahora puedes usar tu instancia privada de Cloud Data Fusion.

¿Qué sigue?

• Obtén más información sobre otros conceptos y características de Cloud Data Fusion.
• Consulta los precios de Cloud Data Fusion.