Crea una instancia privada

En esta página, se describe cómo crear una instancia de Cloud Data Fusion con una dirección IP privada. Debes crear la instancia privada de Cloud Data Fusion en una red de VPC o de VPC compartida.

La creación de una instancia de IP privada de Cloud Data Fusion proporciona los siguientes beneficios:

  • Las conexiones a la instancia de Cloud Data Fusion se establecen a través de una red de VPC privada en tu proyecto de Google Cloud. El tráfico en esta red no pasa por la Internet pública.

  • Para que tus instancias se conecten a tus recursos locales, como bases de datos relacionales, conecta tu red local a la red de VPC privada de Google Cloud con Cloud VPN o Cloud Interconnect. Puedes acceder de forma segura a tus recursos locales, como las bases de datos, a través de la red privada sin abrir el acceso a Google Cloud.

Configura tu red de VPC

Si aún no lo hiciste, crea una red de VPC o una red de VPC compartida.

En esta sección, se muestra cómo habilitar el acceso privado a Google y asignar un rango de IP, ambos necesarios para configurar la red de VPC.

Habilite el Acceso privado a Google

La región en la que creas tu instancia privada de Cloud Data Fusion debe tener una subred con el Acceso privado a Google habilitado.

Si quieres habilitar el acceso privado a Google en tu subred, sigue estos pasos:

  1. Ve a la página Redes de VPC en Google Cloud Console.

    Abrir la página Redes de VPC

  2. En la columna Región, busca la región en la que deseas crear tu instancia privada de Cloud Data Fusion. Haz clic en la subred de esa región.

  3. Haz clic en Editar.

  4. En Acceso privado a Google, selecciona Activado.

  5. Haz clic en Guardar.

    imagen

Asignar un rango de IP

En estos pasos se muestra cómo asignar un rango de IP para tu instancia de Cloud Data Fusion. Ten en cuenta que tu canalización se ejecuta en un clúster de Dataproc, que utiliza un rango de IP diferente del que se asignó a tu instancia de Cloud Data Fusion.

Sigue estos pasos solo si usas una red de VPC compartida. Si no usas una red de VPC compartida, Cloud Data Fusion asignará un rango de IP automáticamente cuando crees tu instancia. Si no usas una red de VPC compartida, omite esta sección y crea una instancia privada.

Para asignar un rango de IP en tu instancia de Cloud Data Fusion, sigue estos pasos:

  1. Ve a la página Redes de VPC en Cloud Console.

    Ir a las redes de VPC

  2. En Nombre, haz clic en la red de VPC en la que deseas crear una instancia privada de Cloud Data Fusion.

  3. En la página Detalles de la red de VPC (VPC network details), haz clic en la pestaña Conexión de servicio privada (Private service connection). Si se te solicita, haz clic en Habilitar API (Enable API) para habilitar la API de Herramientas de redes de servicios.

    imagen

  4. Haz clic en Asigna rangos de IP.

    1. Asigna un nombre a tu rango de IP.

    2. En Rango de IP (IP range), selecciona Automático (Automatic).

    3. Especifica un tamaño de prefijo de 22.

    4. Haz clic en Allocate.

      imagen

Crea una instancia privada

Crea una instancia privada de Cloud Data Fusion en una red de VPC o en una red de VPC compartida. Para crear tu instancia en una red de VPC, usa Cloud Console o cURL. Para crear tu instancia en una red de VPC compartida, usa cURL.

Crea una instancia privada en una red de VPC

Si usas Cloud Console para crear tu instancia privada, Cloud Data Fusion asignará automáticamente el rango de direcciones IP /22. Si prefieres proporcionar una asignación de IP explícita, usa el comando de cURL.

Console

Si la API está habilitada, la sección de Cloud Data Fusion en Cloud Console muestra una página Instancias en la que puede administrar sus instancias de Cloud Data Fusion. Cuando no existen instancias, la página tiene un vínculo para crear una, además de algunos vínculos útiles a la documentación y las muestras.

  1. Ve a la página Crear instancia en Cloud Console.

    Ir a Crear instancia

  2. Ingresa un Nombre de instancia.

  3. Ingresa una Descripción para tu instancia.

  4. Selecciona la Región en la que deseas crear la instancia, la región para la que habilitaste el acceso privado a Google.

  5. Especifica la Versión de Cloud Data Fusion que prefieras.

  6. Selecciona la Edición de Cloud Data Fusion que desees.

  7. En Cloud Data Fusion 6.2.3 y versiones posteriores, especifica la cuenta de servicio de Dataproc para usar en la ejecución de tu canalización de Cloud Data Fusion en Dataproc. La IU preselecciona la cuenta de Compute Engine predeterminada. Sin importar la versión, asegúrate de que la cuenta de servicio tenga las funciones adecuadas de Identity and Access Management para tus necesidades. Para obtener más información, consulta Otorga permiso de usuario de cuenta de servicio.

  8. Haz clic en Opciones avanzadas. En IP privada, selecciona Habilitar IP privada.

  9. En Redes asociadas, selecciona una red para crear tu instancia privada.

  10. Haga clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse.

cURL

Para tu comodidad, puedes exportar las siguientes variables o reemplazar directamente estos valores en los siguientes comandos.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear una instancia de Cloud Data Fusion con la API de REST, envía la siguiente solicitud a la API create.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "network", "ipAllocation": "ip_range"}}'
Parámetro Descripción
instance_id Proporciona un ID para tu instancia.
network El nombre de la red de VPC en la que deseas crear tu instancia privada.
ip_range Es el rango de IP que asignaste. Puedes encontrar tu rango de IP en la página de detalles de la red de VPC en Cloud Console, en la pestaña Conexión privada a servicios, en Rango de IP internas.

Crea una instancia privada en una red de VPC compartida

Para tu comodidad, puedes exportar las siguientes variables. Como alternativa, puedes sustituir estos valores directamente en los comandos que se muestran a continuación.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Para crear una instancia de Cloud Data Fusion con la API de REST, envía la siguiente solicitud a la API create.

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/shared_vpc_host_project_id/global/networks/network", "ipAllocation": "ip_range"}}'
  

Parámetro Descripción
instance_id Proporciona un ID para tu instancia.
shared_vpc_host_project_id Es el ID del proyecto que aloja la red de VPC compartida.
network El nombre de la red de VPC en la que deseas crear tu instancia privada.
ip_range Es el rango de IP que asignaste. Puedes encontrar tu rango de IP en la página de detalles de la red de VPC en Cloud Console, en la pestaña Conexión privada a servicios, en Rango de IP internas.

Configura el intercambio de tráfico entre redes de VPC

Cloud Data Fusion usa el intercambio de tráfico entre redes de VPC para establecer la conectividad de red a tu red de VPC. Esto permite que Cloud Data Fusion acceda a los recursos de tu red a través de direcciones IP privadas.

En esta sección, se muestra cómo crear una configuración de intercambio de tráfico entre tu red y la red del proyecto de usuario de Cloud Data Fusion.

Conéctate a una fuente externa

Para conectarse a un recurso en una red externa (una red local o alguna otra red de VPC), la red externa y la instancia de Cloud Data Fusion deben estar conectadas a través de la misma red de VPC.

A continuación, se describe cómo conectar una red externa a la red de VPC de Cloud Data Fusion mediante túneles de Cloud VPN con enrutamiento BGP o adjuntos de Cloud Interconnect:

  • Asegúrate de que tu red de VPC esté conectada a la red externa mediante un túnel de Cloud VPN o un adjunto de VLAN para la interconexión dedicada o la interconexión de socio.
  • Asegúrate de que las sesiones de BGP en los Cloud Routers que administran tus túneles de Cloud VPN o adjuntos de Cloud Interconnect ( VLAN) hayan recibido prefijos específicos (destinos) de tu red externa.

    Las rutas predeterminadas (destino 0.0.0.0/0) no se pueden importar a la red de VPC de Cloud Data Fusion porque esa red tiene su propia ruta predeterminada local. Siempre se usan rutas locales para un destino, aunque el intercambio de tráfico de Cloud Data Fusion esté configurado para importar rutas personalizadas desde tu red de VPC.

  • Identifica las conexiones de intercambio de tráfico que produce la conexión privada a los servicios. Según el servicio, la conexión privada a servicios puede crear una o más de las siguientes conexiones de intercambio de tráfico, pero no necesariamente todas:
    • datafusion-googleapis-com
    • servicenetworking-googleapis-com
  • Actualiza todas las conexiones de intercambio de tráfico para habilitar la exportación de rutas personalizadas.
  • Identifica el rango asignado que usa la conexión de servicios privados.
  • Crea un anuncio de ruta personalizado de Cloud Router para el rango asignado en los Cloud Routers que administran sesiones de BGP para tus túneles de Cloud VPN o adjuntos de Cloud Interconnect (VLAN).

Encuentra el ID del proyecto del usuario

Para crear una configuración de intercambio de tráfico, necesitas el ID del proyecto de usuario.

  1. Ve a la página Instancias de Cloud Data Fusion en Cloud Console.

    Ir a Instancias

  2. En Nombre de la instancia, selecciona tu instancia.

  3. En la página Detalles de la instancia (Instance details), copia el valor de la cuenta de servicio (Service account) de tu instancia. El ID de proyecto de la instancia es la parte entre el símbolo “arroba” (@) y el siguiente punto (.). Por ejemplo, si el valor de la cuenta de servicio es
    cloud-datafusion-management-sa@r8170c9b5e7699803-tp.iam.gserviceaccount.com
    , entonces el ID del proyecto de usuario es r8170c9b5e7699803-tp.

    imagen

Crear conexión de intercambio de tráfico

  1. Ve a la página Intercambio de tráfico entre redes de VPC en Cloud Console.

    Ir a Intercambio de tráfico entre redes de VPC

  2. Haz clic en Crear conexión de intercambio de tráfico.

  3. Haga clic en Continuar.

  4. Ingresa un Nombre para la conexión de intercambio de tráfico.

  5. En Tu red de VPC, selecciona la red en la que creaste la instancia de Cloud Data Fusion.

  6. En Red de VPC de intercambio de tráfico, selecciona En otro proyecto.

  7. En ID del proyecto ingresa el ID del proyecto de usuario que encontraste antes en este instructivo.

  8. En Nombre de la red de VPC, ingresa instance_region-instance_id.

    • instance_region es la región en la que creaste tu instancia de Cloud Data Fusion.
    • instance_id es el ID de tu instancia de Cloud Data Fusion.
  9. Haz clic en Intercambiar rutas personalizadas. Selecciona Exportar rutas personalizadas. Esto permite intercambiar cualquier ruta personalizada definida en tu red de VPC con la red de VPC de la instancia.

  10. Haga clic en Crear.

    imagen

Configura los permisos de IAM

Sigue estos pasos solo si usas una red de VPC compartida. Si no usas una red de VPC compartida, omite esta sección y ve a Crea una regla de firewall.

Si creas tu instancia de Cloud Data Fusion en una red de VPC compartida, debes otorgar la función de usuario de red de Compute en el proyecto host de VPC compartida a las siguientes cuentas de servicio:

  • Cuenta de servicio de Cloud Data Fusion: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
  • Cuenta de servicio de Dataproc: service-project-number@dataproc-accounts.iam.gserviceaccount.com

project-number es el número del proyecto de Cloud Console al que pertenece tu instancia de Cloud Data Fusion.

Sigue estos pasos para otorgar acceso a las cuentas de servicio necesarias.

Crea una regla de firewall

Crea una regla de firewall en tu red de VPC que permita las conexiones SSH entrantes desde el rango de IP que especificaste cuando creaste tu instancia privada de Cloud Data Fusion.

Puedes crear la regla de firewall mediante Cloud Console o gcloud. Para usar gcloud, ejecuta el siguiente comando:

  gcloud compute firewall-rules create name-allow-ssh --allow=tcp:22 --source-ranges=ip_range --network=network --project=project
  

Parámetro Descripción
name Es el nombre de la regla de firewall que se creará.
ip_range Es el rango de IP que asignaste. Puedes encontrar tu rango de IP en la página de detalles de la red de VPC en Cloud Console, en la pestaña Conexión privada a servicios, en Rango de IP internas.
network Es la red a la que se adjunta esta regla. Es el nombre de la red de VPC en la que creaste tu instancia privada.
project Es el ID del proyecto que aloja la red de VPC.


Ahora puedes usar tu instancia privada de Cloud Data Fusion.

¿Qué sigue?