Cette page explique comment configurer Private Service Connect dans Cloud Data Fusion.
À propos de Private Service Connect dans Cloud Data Fusion
Les instances Cloud Data Fusion peuvent avoir besoin de se connecter à des ressources situées sur site, sur Google Cloud ou chez d'autres fournisseurs cloud. Lorsque vous utilisez Cloud Data Fusion avec adresses IP internes, connexions aux serveurs externes vos ressources sont établies sur un réseau cloud privé virtuel (VPC) projet Google Cloud. Le trafic sur le réseau ne passe pas par l'Internet public. Lorsque Cloud Data Fusion a accès à votre réseau VPC à l'aide de l'appairage de réseaux VPC, des limites s'appliquent, qui deviennent apparentes lorsque vous utilisez des réseaux à grande échelle.
Grâce aux interfaces Private Service Connect, Cloud Data Fusion se connecte à votre VPC sans utiliser l'appairage de VPC. Une interface Private Service Connect est un type de Private Service Connect qui permet à Cloud Data Fusion d'établir des connexions privées et sécurisées aux réseaux VPC consommateurs. Cela offre non seulement la flexibilité et la facilité d'accès (comme l'appairage VPC), mais aussi l'autorisation explicite et le contrôle côté client que Private Service Connect propose.
Le schéma suivant montre comment l'interface de Private Service Connect est déployé dans Cloud Data Fusion:
Figure 1 : Déploiement de l'interface Private Service Connect
Description de la figure 1 :
Les machines virtuelles (VM) exécutant Cloud Data Fusion sont hébergées dans un Projet locataire appartenant à Google. Pour accéder aux ressources du VPC du client, Les VM Cloud Data Fusion utilisent l'adresse IP attribuée par le Interface réseau Private Service Connect, provenant de l'interface réseau du client sous-réseau. Ce sous-réseau est ajouté au rattachement réseau utilisé par Cloud Data Fusion.
Les paquets IP provenant de l'interface Private Service Connect sont traités de la même manière que ceux d'une VM du même sous-réseau. Cette configuration permet à Cloud Data Fusion d'accéder directement aux ressources du VPC client ou d'un VPC homologue sans avoir besoin d'un proxy.
Les ressources Internet deviennent accessibles lorsque Cloud NAT est activé dans le le VPC du client, tandis que les ressources sur site sont accessibles via un interconnectés.
Pour gérer l'entrée ou la sortie de Private Service Connect, vous pouvez implémenter des règles de pare-feu.
Principaux avantages
Voici les principaux avantages de l'utilisation de Cloud Data Fusion avec Private Service Connect :
Meilleur contrôle de l'espace d'adresses IP. Vous contrôlez les adresses IP que Cloud Data Fusion utilise pour se connecter à votre réseau. Vous choisissez les sous-réseaux à partir desquels les adresses IP sont attribuées à Cloud Data Fusion. Toutes les le trafic provenant de Cloud Data Fusion dispose d'une adresse IP source issue de sous-réseau configuré.
Private Service Connect élimine le besoin d'adresses IP réservées à partir d'un VPC client. L'appairage de VPC nécessite un bloc CIDR /22 (1 024 adresses IP) par instance Cloud Data Fusion.
Sécurité et isolation améliorées En configurant une connexion réseau, vous contrôlez les services pouvant accéder à votre réseau.
Configuration d'instances Cloud Data Fusion simplifiée. Ne créez une association réseau par VPC client qu'une seule fois. Pas besoin d'utiliser des VM proxy pour se connecter des ressources sur Internet, dans des VPC pairs ou sur site.
Concepts clés
Cette section explique les concepts impliqués dans Private Service Connect dans Cloud Data Fusion.
Rattachement de réseau
Un rattachement de réseau est une ressource régionale qui permet d'autoriser Cloud Data Fusion à utiliser et à établir des connexions réseau de manière privée pour accéder aux ressources de votre VPC. Pour en savoir plus, consultez la page À propos des rattachements de réseau.
VPC partagé
Voici un cas d'utilisation des interfaces Private Service Connect avec un VPC partagé :
Le réseau ou l'équipe d'infrastructure est propriétaire des sous-réseaux d'un projet hôte. Ils permettent les équipes de développement utilisent ces sous-réseaux à partir de leur projet de service.
Les équipes en charge des applications sont propriétaires des rattachements de réseau dans un projet de service. L'association réseau définit les projets de locataire Cloud Data Fusion pouvant se connecter aux sous-réseaux associés à l'association réseau.
Vous pouvez créer un rattachement de réseau dans un projet de service. Les sous-réseaux utilisés dans un rattachement réseau ne peuvent se trouver que dans le projet hôte.
Le schéma suivant illustre ce cas d'utilisation:
Figure 2. Cas d'utilisation des interfaces Private Service Connect avec un VPC partagé
Description de la figure 2 :
Le rattachement de réseau est présent dans le projet de service. L'association de réseau utilise un sous-réseau appartenant à un VPC partagé dans le projet hôte.
L'instance Cloud Data Fusion est présente dans le projet de service et utilise le rattachement réseau du projet de service pour établir une connectivité privée.
Les adresses IP du sous-réseau sont attribuées à l'instance Cloud Data Fusion dans le VPC partagé.
Avant de commencer
Private Service Connect n'est disponible que dans Cloud Data Fusion à partir de la version 6.10.0.
Vous ne pouvez activer Private Service Connect que lorsque vous créez un nouvelle instance Cloud Data Fusion. Vous ne pouvez pas migrer les instances existantes pour utiliser Private Service Connect.
Tarifs
L'entrée et la sortie des données via Private Service Connect facturés. Pour en savoir plus, consultez les tarifs de Private Service Connect.
Rôles et autorisations requis
Pour obtenir les autorisations nécessaires pour créer une instance Cloud Data Fusion et un rattachement de réseau, demandez à votre administrateur de vous accorder les rôles IAM (Identity and Access Management) suivants sur votre projet :
- Créez une instance Cloud Data Fusion:
Administrateur Cloud Data Fusion (
roles/datafusion.admin) - Créer, afficher et supprimer des rattachements de réseau:
Administrateur de réseaux Compute (
roles/compute.networkAdmin)
Pour s'assurer que Cloud Data Fusion dispose des autorisations nécessaires pour valider
la configuration réseau, demandez à votre administrateur d'accorder
Agent de service Cloud Data Fusion
(au format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com)
les rôles IAM suivants sur votre projet:
Pour le VPC associé à l'association de réseau : Lecteur de réseau Compute (
roles/compute.networkViewer)Pour que Cloud Data Fusion ajoute son projet locataire au producteur, acceptez liste du rattachement de réseau:
compute.networkAttachments.getcompute.networkAttachments.updatecompute.networkAttachments.list
Le rôle le plus restrictif disposant de ces autorisations est Administrateur de réseaux Compute (
roles/compute.networkAdmin). Ces autorisations font partie du rôle Agent de service de l'API Cloud Data Fusion (roles/datafusion.serviceAgent), qui est automatiquement accordé à l'agent de service Cloud Data Fusion. Par conséquent, aucune action n'est n'est requise, sauf si l'attribution du rôle d'agent de service a été explicitement supprimée.
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus sur les options de contrôle des accès disponibles dans Cloud Data Fusion, consultez la page Contrôle des accès avec IAM.
Créer un VPC ou un réseau VPC partagé
Assurez-vous d'avoir créé un réseau VPC ou un Réseau VPC partagé :
Configurer Private Service Connect
Pour configurer Private Service Connect dans Cloud Data Fusion, vous devez d'abord créer un rattachement réseau, puis une instance Cloud Data Fusion avec Private Service Connect.
Créer un rattachement de réseau
La connexion réseau fournit un ensemble de sous-réseaux. Pour créer un réseau , procédez comme suit:
Console
Dans la console Google Cloud, accédez à la page Rattachements de réseau:
Cliquez sur Créer un rattachement de réseau.
Dans le champ Nom, saisissez le nom du rattachement de réseau.
Dans la liste Réseau, sélectionnez un VPC ou un VPC partagé. réseau.
Dans la liste Région, sélectionnez une région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.
Dans la liste Sous-réseau, sélectionnez une plage de sous-réseaux.
Dans Préférences de connexion, sélectionnez Acceptez les connexions pour les projets sélectionnés.
Cloud Data Fusion ajoute automatiquement le locataire Cloud Data Fusion à la liste Projets acceptés lorsque vous créez le Instance Cloud Data Fusion.
N'ajoutez pas de projets acceptés ni de projets refusés.
Cliquez sur Créer un rattachement de réseau.
gcloud
Créez un ou plusieurs sous-réseaux. Exemple :
gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGIONL'association de réseau utilise ces sous-réseaux dans les étapes suivantes.
Créez une ressource de rattachement de réseau dans la même région que le Instance Cloud Data Fusion, avec la propriété
connection-preferencedéfinie surACCEPT_MANUAL:gcloud compute network-attachments create NAME --region=REGION --connection-preference=ACCEPT_MANUAL --subnets=SUBNETRemplacez les éléments suivants :
NAME: nom de votre rattachement de réseau.REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.SUBNET: nom du sous-réseau
Le résultat de cette commande est une URL d'attachement réseau au format suivant :
projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.Notez cette URL, car Cloud Data Fusion en a besoin pour la connectivité.
API REST
Créez un rattachement de réseau :
alias authtoken="gcloud auth print-access-token" NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME REGION=REGION SUBNET=SUBNET PROJECT_ID=PROJECT_ID read -r -d '' BODY << EOM { "name": "$NETWORK_ATTACHMENT_NAME", "description": "Network attachment for private Cloud Data Fusion", "connectionPreference": "ACCEPT_MANUAL", "subnetworks": [ "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET" ] } EOM curl -H "Authorization: Bearer $(authtoken)" \ -H "Content-Type: application/json" \ -X POST -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"Remplacez les éléments suivants :
NETWORK_ATTACHMENT_NAME: nom de votre un rattachement de réseau.REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.SUBNET: nom du sous-réseauPROJECT_ID: par l'ID du projet.
Créer une instance Cloud Data Fusion
Cloud Data Fusion utilise un bloc CIDR /25 (128 adresses IP) pour les ressources du projet locataire. C'est ce qu'on appelle la plage inaccessible ou réservée. Vous pouvez utiliser les mêmes adresses IP dans les VPC, mais les VM Cloud Data Fusion ne pourront pas à vos ressources en utilisant cette plage.
Dans la plupart des cas, ce n'est pas un problème, car le bloc CIDR inaccessible se trouve dans une plage non-RFC 1918 (240.0.0.0/8), par défaut. Si vous souhaitez contrôler la plage inaccessible, consultez la section Configurations avancées.
Pour créer une instance Cloud Data Fusion avec Private Service Connect activé, procédez comme suit:
Console
Dans la console Google Cloud, accédez aux instances Cloud Data Fusion. et cliquez sur Créer une instance.
Dans le champ Nom de l'instance, saisissez le nom de la nouvelle instance.
Dans le champ Description, saisissez une description de votre instance.
Dans la liste Région, sélectionnez la région Google Cloud dans laquelle vous souhaitez créer l'instance.
Dans la liste Version, sélectionnez
6.10ou une version ultérieure.Sélectionnez une édition. Pour en savoir plus sur la tarification des différentes consultez la présentation des tarifs de Cloud Data Fusion.
Développez Options avancées et procédez comme suit :
Sélectionnez Activer l'adresse IP privée.
Sélectionnez Private Service Connect comme Type de connectivité.
Dans la section Rattachement de réseau, sélectionnez le rattachement de réseau. que vous avez créé dans Créer un rattachement de réseau.
Cliquez sur Créer. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.
API REST
Exécutez la commande suivante :
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"networkAttachment": "$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Remplacez les éléments suivants :
EDITION: Cloud Data Fusion édition :BASIC,DEVELOPERouENTERPRISE.PROJECT_ID: par l'ID du projet.REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.INSTANCE_ID: ID de votre instance.NETWORK_ATTACHMENT_ID: ID de votre un rattachement de réseau.
Configurations avancées
Pour activer le partage de sous-réseaux, vous pouvez fournir le même rattachement réseau à plusieurs instances Cloud Data Fusion. En revanche, si vous souhaitez consacrer un sous-réseau à une instance Cloud Data Fusion particulière, vous devez fournir un rattachement réseau spécifique à utiliser par l'instance Cloud Data Fusion.
Recommandé: Pour appliquer une stratégie de pare-feu uniforme à tous les instances Cloud Data Fusion utilisent le même rattachement de réseau.
Si vous souhaitez contrôler le bloc CIDR /25 qui n'est pas accessible par
Cloud Data Fusion, spécifiez la propriété unreachableCidrBlock lorsque vous
créer l'instance. Exemple :
alias authtoken="gcloud auth print-access-token"
EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE
read -r -d '' BODY << EOM
{
"description": "PSC enabled instance",
"version": "6.10",
"type": "$EDITION",
"privateInstance": "true",
"networkConfig": {
"connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
"privateServiceConnectConfig": {
"unreachableCidrBlock": "$UNREACHABLE_RANGE",
"networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
}
}
}
EOM
curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"
Remplacez les éléments suivants :
EDITION: Cloud Data Fusion édition :BASIC,DEVELOPERouENTERPRISE.PROJECT_ID: par l'ID du projet.REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.INSTANCE_ID: ID de votre instance.NETWORK_ATTACHMENT_ID: ID de votre rattachement réseau.UNREACHABLE_RANGE: les URL inaccessibles (par exemple,10.0.0.0/25).
Sécurité
Cette section décrit la sécurité entre Cloud Data Fusion et les clients.
Cloud Data Fusion pour la sécurité des consommateurs
Les interfaces Private Service Connect acceptent les règles de pare-feu de sortie pour contrôler les éléments auxquels Cloud Data Fusion peut accéder dans votre VPC. Pour en savoir plus, consultez Limitez le trafic d'entrée du producteur vers le client.
Sécurité du client à Cloud Data Fusion
Les VM Cloud Data Fusion avec l'interface Private Service Connect bloquent tout trafic provenant de votre VPC et qui n'est pas un paquet de réponse.