En esta página, se describe cómo configurar Private Service Connect en Cloud Data Fusion.
Acerca de Private Service Connect en Cloud Data Fusion
Es posible que las instancias de Cloud Data Fusion deban conectarse a recursos ubicados de forma local, en Google Cloud o en otros proveedores de servicios en la nube. Al usar Cloud Data Fusion con direcciones IP internas, conexiones a externas recursos se establecen a través de una red de nube privada virtual (VPC) en tu proyecto de Google Cloud. El tráfico en la red no pasa por el público a Internet. Cuando se proporciona acceso a tu red de VPC a Cloud Data Fusion con el intercambio de tráfico entre VPC, existen limitaciones que se hacen evidentes cuando se usa redes a gran escala.
Con interfaces de Private Service Connect, Cloud Data Fusion se conecta a la VPC sin el intercambio de tráfico entre VPC. Private Service Connect interfaz es un tipo de Private Service Connect que proporciona una forma para que Cloud Data Fusion inicie conexiones a redes de VPC del consumidor. Esto no solo proporciona la flexibilidad y facilita el acceso (como el intercambio de tráfico entre VPC), pero también ofrece autorización explícita y el control del consumidor que ofrece Private Service Connect.
En el siguiente diagrama, se muestra cómo la interfaz de Private Service Connect se implementa en Cloud Data Fusion:
Figura 1. Deployment de la interfaz de Private Service Connect
Descripción de la Figura 1:
Las máquinas virtuales (VM) que ejecutan Cloud Data Fusion se alojan en Proyecto de usuario de Google. Para acceder a los recursos en la VPC del cliente, Las VMs de Cloud Data Fusion usan la dirección IP que asigna el Interfaz de red de Private Service Connect, desde la interfaz de usuario subred. Esta subred se agrega al adjunto de red que usa Cloud Data Fusion.
Paquetes de IP que se originan en Private Service Connect se tratan de manera similar a las de una VM en la misma subred. Esta permite que Cloud Data Fusion acceda directamente a los recursos a la VPC del cliente o a una VPC de intercambio de tráfico sin la necesidad de usar un proxy.
Los recursos de Internet se vuelven accesibles cuando Cloud NAT está habilitado en la VPC del cliente, mientras que los recursos locales son accesibles a través de una o interconexión dedicada.
Para administrar la entrada o la salida de Private Service Connect, puedes implementar reglas de firewall.
Ventajas clave
Los siguientes son los beneficios clave de usar Cloud Data Fusion con Private Service Connect:
Mejor control del espacio de IP. Tú controlas las direcciones IP que Cloud Data Fusion usa para conectarse a tu red. Tú eliges las subredes desde la cual se asignan las direcciones IP a Cloud Data Fusion. Todas las tráfico de Cloud Data Fusion tiene una dirección IP de origen de tu subred configurada.
Private Service Connect elimina la necesidad de tener IP reservadas externas desde una VPC de cliente. El intercambio de tráfico entre VPC requiere un bloque CIDR /22 (1,024 direcciones IP) por instancia de Cloud Data Fusion.
Aislamiento y seguridad mejorados. Cuando configuras un adjunto de red, puedes controlar qué servicios pueden acceder a tu red.
Configuración simplificada de instancias de Cloud Data Fusion. Crea una red por VPC de cliente solo una vez. No es necesario usar VMs de proxy para conectarse. en Internet, en las VPC de intercambio de tráfico o de forma local.
Conceptos clave
En esta sección, se explican los conceptos involucrados en Private Service Connect en Cloud Data Fusion.
Adjunto de red
El adjunto de red es un recurso regional que se usa para autorizar Cloud Data Fusion usa y establece conexiones de red de forma privada, por el acceso a los recursos en tu VPC. Para obtener más información, consulta Acerca de los adjuntos de red.
VPC compartida
El siguiente es un caso de uso de Private Service Connect con VPC compartida:
La red o el equipo de infraestructura son propietarios de las subredes en un proyecto host. Permiten los equipos de aplicaciones usan estas subredes desde su proyecto de servicio.
Los equipos de aplicaciones son propietarios de los adjuntos de red en un proyecto de servicio. El el adjunto de red define qué usuario de Cloud Data Fusion los proyectos pueden conectarse a las subredes vinculadas al adjunto de red.
Puedes crear un adjunto de red en un proyecto de servicio. Las subredes usadas en un el adjunto de red solo puede estar en el proyecto host.
En el siguiente diagrama, se ilustra este caso de uso:
Figura 2. Caso de uso de las interfaces de Private Service Connect con VPC compartida
Descripción de la Figura 2:
El adjunto de red está presente en el proyecto de servicio. La red adjunto usa una subred que pertenece a una VPC compartida en el host en un proyecto final.
La instancia de Cloud Data Fusion está presente en el proyecto de servicio usa el adjunto de red del proyecto de servicio para establecer conectividad.
A la instancia de Cloud Data Fusion se le asignan direcciones IP desde la subred. en la VPC compartida.
Antes de comenzar
Private Service Connect solo está disponible en Cloud Data Fusion versión 6.10.0 y posteriores.
Puedes habilitar Private Service Connect solo cuando creas una instancia nueva de Cloud Data Fusion. No puedes migrar las instancias existentes para usar Private Service Connect.
Precios
La entrada y salida de datos a través de Private Service Connect que se hayan cargado correctamente. Para obtener más información, consulta la documentación de Private Service Connect precios.
Funciones y permisos requeridos
A fin de obtener los permisos que necesitas para crear una instancia de Cloud Data Fusion y el adjunto de red, pídele a tu administrador que te otorgue Roles de Identity and Access Management (IAM) en tu proyecto:
- Crea una instancia de Cloud Data Fusion:
Administrador de Cloud Data Fusion (
roles/datafusion.admin) - Crea, visualiza y borra adjuntos de red:
Administrador de la red de Compute (
roles/compute.networkAdmin)
Obtener los permisos que Cloud Data Fusion necesita para validar la red
de IAM, pídele a tu administrador que otorgue los siguientes roles de IAM
Agente de servicio de Cloud Data Fusion
(del formato
service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com):
Para la VPC asociada con el adjunto de red: Visualizador de la red de Compute (
roles/compute.networkViewer)Para que Cloud Data Fusion agregue su proyecto de usuario a la aceptación del productor lista del adjunto de red:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
El rol más restrictivo con estos permisos es el Administrador de la red de Compute (
roles/compute.networkAdmin). Estos permisos forman parte del Agente de servicio de la API de Cloud Data Fusion (roles/datafusion.serviceAgent), que se otorga automáticamente al Agente de servicio de Cloud Data Fusion. Por lo tanto, no se debe realizar ninguna acción obligatorio, a menos que se haya quitado de forma explícita el otorgamiento del rol de agente de servicio.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.
Para obtener más información sobre las opciones de control de acceso en Cloud Data Fusion, consulta Control de acceso con la IAM.
Crea una red de VPC o de VPC compartida
Asegúrate de haber creado red de VPC o una Red de VPC compartida.
Configura Private Service Connect
Para configurar Private Service Connect en Cloud Data Fusion, primero debes crear un adjunto de red y, luego, crear un Instancia de Cloud Data Fusion con Private Service Connect.
Crea un adjunto de red
El adjunto de red proporciona un conjunto de subredes. Cómo crear una red archivo adjunto, sigue estos pasos:
Console
En la consola de Google Cloud, ve a la página Adjuntos de red:
Haz clic en Create network attachment.
En el campo Name, ingresa el nombre de tu red.
En la lista Red, selecciona una VPC o una VPC compartida. en cada red.
En la lista Región, selecciona una región de Google Cloud. Esta región debe ser la misma que la instancia de Cloud Data Fusion.
En la lista Subred, selecciona un rango de subred.
En Preferencia de conexión, selecciona Acepta las conexiones para los proyectos seleccionados.
Cloud Data Fusion agrega automáticamente el usuario de Cloud Data Fusion proyecto a la lista Proyectos aceptados cuando crees el instancia de Cloud Data Fusion.
No agregues Proyectos aceptados ni Proyectos rechazados.
Haz clic en Create network attachment.
gcloud
Crea una o más subredes. Por ejemplo:
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONEl adjunto de red usa estas subredes en los pasos posteriores.
Crea un recurso de adjunto de red en la misma región que el Instancia de Cloud Data Fusion, con la propiedad
connection-preferenceConfigurado enACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETReemplaza lo siguiente:
NAME: Es el nombre de tu adjunto de red.REGION: Es el nombre de la región de Google Cloud. Esta región debe ser la misma que la instancia de Cloud Data Fusion.SUBNET: Es el nombre de la subred.
El resultado de este comando es una URL de adjunto de red de la siguiente formato:
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_IDToma nota de esta URL, ya que Cloud Data Fusion la necesita para conectividad.
API de REST
Crea un adjunto de red:
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Reemplaza lo siguiente:
NETWORK_ATTACHMENT_NAME: Es el nombre de tu adjunto de red.REGION: Es el nombre de la región de Google Cloud. Esta región debe ser la misma que la instancia de Cloud Data Fusion.SUBNET: Es el nombre de la subred.PROJECT_ID: el ID de tu proyecto.
Cree una instancia de Cloud Data Fusion
Cloud Data Fusion usa un bloque de /25 CIDR (128 IP) para los recursos en la proyecto de usuario. Esto se denomina rango reservado o inaccesible. Puedes usar las mismas direcciones IP en las VPC, pero las VMs de Cloud Data Fusion no podrán conectarte con tus recursos mediante este rango.
En la mayoría de los casos, este no es un problema, ya que el bloque CIDR inaccesible se encuentra en un rango que no sea RFC 1918 (240.0.0.0/8), de forma predeterminada. Si quieres controlar rango inaccesible, consulta Configuraciones avanzadas.
Para crear una instancia de Cloud Data Fusion con Private Service Connect habilitado, sigue estos pasos:
Console
En la consola de Google Cloud, ve a Instancias de Cloud Data Fusion. y haz clic en Crear instancia.
En el campo Nombre de la instancia, ingresa un nombre para tu nueva instancia.
En el campo Description, ingresa una descripción para la instancia.
En la lista Región, selecciona la región de Google Cloud en la que deseas crear la instancia.
En la lista Versión, selecciona
6.10o una versión posterior.Selecciona una edición. Para obtener más información sobre los precios de los diferentes consulta la descripción general de los precios de Cloud Data Fusion.
Expande Advanced options y haz lo siguiente:
Selecciona Enable private IP.
Selecciona Private Service Connect como el Tipo de conectividad.
En la sección Adjunto de red, selecciona el adjunto de red. que creaste en Crea un adjunto de red.
Haz clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse.
API de REST
Ejecuta el siguiente comando:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Reemplaza lo siguiente:
EDITION: Cloud Data Fusion edición:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: el ID de tu proyecto.REGION: Es el nombre de la región de Google Cloud. Esta región debe ser la misma que la instancia de Cloud Data Fusion.INSTANCE_ID: Es el ID de la instancia.NETWORK_ATTACHMENT_ID: Es el ID de tu adjunto de red.
Configuración avanzada
Para habilitar el uso compartido de subredes, puedes proporcionar el mismo adjunto de red a varias instancias de Cloud Data Fusion. Por el contrario, si quieres dedicar una subred para una instancia específica de Cloud Data Fusion, proporcionar un adjunto de red específico para que lo use Cloud Data Fusion instancia.
Recomendación: Para aplicar una política de firewall uniforme a todos los Las instancias de Cloud Data Fusion usan el mismo adjunto de red.
Si quieres controlar el bloque CIDR /25 al que no puede acceder
Cloud Data Fusion, especifica la propiedad unreachableCidrBlock cuando
crear la instancia. Por ejemplo:
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"unreachableCidrBlock": "$UNREACHABLE_RANGE"
"privateServiceConnectConfig": {
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Reemplaza lo siguiente:
EDITION: Cloud Data Fusion edición:BASIC,DEVELOPERoENTERPRISE.PROJECT_ID: el ID de tu proyecto.REGION: Es el nombre de la región de Google Cloud. Esta región debe ser la misma que la instancia de Cloud Data Fusion.INSTANCE_ID: Es el ID de la instancia.NETWORK_ATTACHMENT_ID: Es el ID de tu adjunto de red.UNREACHABLE_RANGE: el elemento inaccesible rango, por ejemplo,10.0.0.0/25.
Seguridad
En esta sección, se describe la seguridad entre Cloud Data Fusion y los consumidores.
Cloud Data Fusion para la seguridad del consumidor
Las interfaces de Private Service Connect admiten reglas de firewall de salida para controlar a qué puede acceder Cloud Data Fusion dentro de tu VPC. Para obtener más información, consulta Limita la entrada de productor a consumidor.
Seguridad del consumidor a Cloud Data Fusion
VMs de Cloud Data Fusion con la interfaz de Private Service Connect bloquear el tráfico que se origine en tu VPC y que no sea un paquete de respuesta.