Créer une instance privée avec Private Service Connect

Cette page explique comment configurer Private Service Connect dans Cloud Data Fusion.

À propos de Private Service Connect dans Cloud Data Fusion

Les instances Cloud Data Fusion peuvent devoir se connecter à des ressources situées sur site, sur Google Cloudou auprès d'autres fournisseurs cloud. Lorsque vous utilisez Cloud Data Fusion avec des adresses IP internes, les connexions aux ressources externes sont établies sur un réseau cloud privé virtuel (VPC) dans votre projetGoogle Cloud . Le trafic sur le réseau ne passe pas par l'Internet public. Lorsque Cloud Data Fusion est autorisé à accéder à votre réseau VPC à l'aide de l'appairage de réseaux VPC, des limites apparaissent, qui deviennent évidentes lorsque vous utilisez des réseaux à grande échelle.

Avec les interfaces Private Service Connect, Cloud Data Fusion se connecte à votre VPC sans utiliser l'appairage de VPC. Une interface Private Service Connect est un type de Private Service Connect qui permet à Cloud Data Fusion d'établir des connexions privées et sécurisées aux réseaux VPC des clients. Cela offre non seulement la flexibilité et la facilité d'accès (comme l'appairage VPC), mais aussi l'autorisation explicite et le contrôle côté client que Private Service Connect propose.

Le schéma suivant montre comment l'interface Private Service Connect est déployée dans Cloud Data Fusion:

Déploiement de l'interface Private Service Connect.

Figure 1 : Déploiement de l'interface Private Service Connect

Description de la figure 1:

  • Les machines virtuelles (VM) exécutant Cloud Data Fusion sont hébergées dans un projet locataire appartenant à Google. Pour accéder aux ressources du VPC du client, les VM Cloud Data Fusion utilisent l'adresse IP attribuée par l'interface réseau Private Service Connect, à partir du sous-réseau du client. Ce sous-réseau est ajouté au rattachement réseau utilisé par Cloud Data Fusion.

  • Les paquets IP provenant de l'interface Private Service Connect sont traités de la même manière que ceux d'une VM du même sous-réseau. Cette configuration permet à Cloud Data Fusion d'accéder directement aux ressources du VPC client ou d'un VPC homologue sans avoir besoin d'un proxy.

  • Les ressources Internet deviennent accessibles lorsque Cloud NAT est activé dans le VPC du client, tandis que les ressources sur site sont accessibles via un interconnect.

  • Pour gérer l'entrée ou la sortie de Private Service Connect, vous pouvez implémenter des règles de pare-feu.

Principaux avantages

Voici les principaux avantages de l'utilisation de Cloud Data Fusion avec Private Service Connect:

  • Contrôle amélioré de l'espace IP Vous contrôlez les adresses IP que Cloud Data Fusion utilise pour se connecter à votre réseau. Vous choisissez les sous-réseaux à partir desquels les adresses IP sont attribuées à Cloud Data Fusion. Tout le trafic provenant de Cloud Data Fusion a une adresse IP source de votre sous-réseau configuré.

    Private Service Connect élimine le besoin d'adresses IP réservées dans un VPC client. L'appairage de VPC nécessite un bloc CIDR /22 (1 024 adresses IP) par instance Cloud Data Fusion.

  • Sécurité et isolation améliorées En configurant une connexion réseau, vous contrôlez les services pouvant accéder à votre réseau.

  • Configuration simplifiée des instances Cloud Data Fusion Ne créez une association réseau par VPC client qu'une seule fois. Vous n'avez pas besoin d'utiliser de VM proxy pour vous connecter aux ressources sur Internet, aux VPC associés ou sur site.

Concepts clés

Cette section explique les concepts impliqués dans Private Service Connect dans Cloud Data Fusion.

Rattachement de réseau

Un rattachement de réseau est une ressource régionale qui permet d'autoriser Cloud Data Fusion à utiliser et à établir des connexions réseau de manière privée pour accéder aux ressources de votre VPC. Pour en savoir plus, consultez la page À propos des rattachements de réseau.

VPC partagé

Voici un cas d'utilisation des interfaces Private Service Connect avec un VPC partagé:

  • L'équipe réseau ou d'infrastructure est propriétaire des sous-réseaux d'un projet hôte. Ils permettent aux équipes d'applications d'utiliser ces sous-réseaux à partir de leur projet de service.

  • Les équipes d'application sont propriétaires des pièces jointes réseau dans un projet de service. L'association réseau définit les projets de locataire Cloud Data Fusion pouvant se connecter aux sous-réseaux associés à l'association réseau.

Vous pouvez créer un rattachement réseau dans un projet de service. Les sous-réseaux utilisés dans un rattachement réseau ne peuvent se trouver que dans le projet hôte.

Le diagramme suivant illustre ce cas d'utilisation:

Cas d'utilisation des interfaces Private Service Connect avec un VPC partagé

Figure 2. Cas d'utilisation des interfaces Private Service Connect avec un VPC partagé

Description de la figure 2:

  • Le rattachement de réseau est présent dans le projet de service. L'association de réseau utilise un sous-réseau appartenant à un VPC partagé dans le projet hôte.

  • L'instance Cloud Data Fusion est présente dans le projet de service et utilise le rattachement réseau du projet de service pour établir une connectivité privée.

  • L'instance Cloud Data Fusion reçoit des adresses IP du sous-réseau du VPC partagé.

Avant de commencer

  • Private Service Connect n'est disponible que dans Cloud Data Fusion version 6.10.0 et ultérieure.

  • Vous ne pouvez activer Private Service Connect que lorsque vous créez une instance Cloud Data Fusion. Vous ne pouvez pas migrer les instances existantes vers Private Service Connect.

Tarifs

Les entrées et sorties de données via Private Service Connect sont facturées. Pour en savoir plus, consultez les tarifs de Private Service Connect.

Rôles et autorisations requis

Pour obtenir les autorisations nécessaires pour créer une instance Cloud Data Fusion et un rattachement de réseau, demandez à votre administrateur de vous accorder les rôles IAM (Identity and Access Management) suivants sur votre projet:

Pour vous assurer que Cloud Data Fusion dispose des autorisations nécessaires pour valider la configuration réseau, demandez à votre administrateur d'accorder à l'agent de service Cloud Data Fusion (au format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) les rôles IAM suivants sur votre projet:

  • Pour le VPC associé à l'association de réseau : Lecteur de réseau Compute (roles/compute.networkViewer)

  • Pour que Cloud Data Fusion ajoute son projet locataire à la liste d'acceptation du producteur de l'association réseau:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Le rôle le plus restrictif avec ces autorisations est le rôle Administrateur de réseau Compute (roles/compute.networkAdmin). Ces autorisations font partie du rôle Agent de service de l'API Cloud Data Fusion (roles/datafusion.serviceAgent), qui est automatiquement accordé à l'agent de service Cloud Data Fusion. Par conséquent, aucune action n'est requise, sauf si l'attribution du rôle d'agent de service a été supprimée explicitement.

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les options de contrôle des accès dans Cloud Data Fusion, consultez la section Contrôle des accès avec IAM.

Créer un VPC ou un réseau VPC partagé

Assurez-vous d'avoir créé un réseau VPC ou un réseau VPC partagé.

Configurer Private Service Connect

Pour configurer Private Service Connect dans Cloud Data Fusion, vous devez d'abord créer un rattachement réseau, puis une instance Cloud Data Fusion avec Private Service Connect.

Créer un rattachement de réseau

La connexion réseau fournit un ensemble de sous-réseaux. Pour créer une pièce jointe réseau, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Pièces jointes réseau:

    Accéder aux rattachements de réseau

  2. Cliquez sur Créer un rattachement de réseau.

  3. Dans le champ Nom, saisissez le nom du rattachement de réseau.

  4. Dans la liste Réseau, sélectionnez un réseau VPC ou un réseau VPC partagé.

  5. Dans la liste Région, sélectionnez une région. Google Cloud Cette région doit être la même que l'instance Cloud Data Fusion.

  6. Dans la liste Sous-réseau, sélectionnez une plage de sous-réseaux.

  7. Dans Préférences de connexion, sélectionnez Accepter les connexions pour les projets sélectionnés.

    Cloud Data Fusion ajoute automatiquement le projet locataire Cloud Data Fusion à la liste Projets acceptés lorsque vous créez l'instance Cloud Data Fusion.

  8. N'ajoutez pas de projets acceptés ni de projets refusés.

  9. Cliquez sur Créer un rattachement de réseau.

    Créer un rattachement de réseau

gcloud

  1. Créez un ou plusieurs sous-réseaux. Exemple :

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION

    L'association de réseau utilise ces sous-réseaux dans les étapes suivantes.

  2. Créez une ressource de rattachement de réseau dans la même région que l'instance Cloud Data Fusion, avec la propriété connection-preference définie sur ACCEPT_MANUAL:

    gcloud compute network-attachments create NAME
--region=REGION
--connection-preference=ACCEPT_MANUAL
--subnets=SUBNET

    Remplacez les éléments suivants :

    • NAME: nom de votre rattachement réseau.
    • REGION: nom de la région. Google Cloud Cette région doit être la même que celle de l'instance Cloud Data Fusion.
    • SUBNET : nom du sous-réseau

    Le résultat de cette commande est une URL d'attachement réseau au format suivant:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID

    Notez cette URL, car Cloud Data Fusion en a besoin pour la connectivité.

API REST

  1. Créer un sous-réseau

  2. Créez un rattachement de réseau:

    alias authtoken="gcloud auth print-access-token"
NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
REGION=REGION
SUBNET=SUBNET
PROJECT_ID=PROJECT_ID

read -r -d '' BODY << EOM
{
  "name": "$NETWORK_ATTACHMENT_NAME",
  "description": "Network attachment for private Cloud Data Fusion",
  "connectionPreference": "ACCEPT_MANUAL",
  "subnetworks": [
    "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
  ]
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"

    Remplacez les éléments suivants :

    • NETWORK_ATTACHMENT_NAME: nom de votre rattachement de réseau.
    • REGION: nom de la région. Google Cloud Cette région doit être la même que celle de l'instance Cloud Data Fusion.
    • SUBNET : nom du sous-réseau
    • PROJECT_ID : par l'ID du projet.

Créer une instance Cloud Data Fusion

Cloud Data Fusion utilise un bloc CIDR /25 (128 adresses IP) pour les ressources du projet locataire. C'est ce qu'on appelle la plage inaccessible ou réservée. Vous pouvez utiliser les mêmes adresses IP dans les VPC, mais les VM Cloud Data Fusion ne pourront pas se connecter à vos ressources à l'aide de cette plage.

Dans la plupart des cas, ce n'est pas un problème, car le bloc CIDR inaccessible se trouve dans une plage non conforme à la norme RFC 1918 (240.0.0.0/8), par défaut. Si vous souhaitez contrôler la plage inaccessible, consultez la section Configurations avancées.

Pour créer une instance Cloud Data Fusion avec Private Service Connect activé, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion, puis cliquez sur Créer une instance.

    Créer une instance

  2. Dans le champ Nom de l'instance, saisissez le nom de la nouvelle instance.

  3. Dans le champ Description, saisissez une description de votre instance.

  4. Dans la liste Région, sélectionnez la région Google Cloud dans laquelle vous souhaitez créer l'instance.

  5. Dans la liste Version, sélectionnez 6.10 ou une version ultérieure.

  6. Sélectionnez une édition. Pour en savoir plus sur les tarifs des différentes éditions, consultez la présentation des tarifs de Cloud Data Fusion.

  7. Développez Options avancées et procédez comme suit :

    1. Sélectionnez Activer l'adresse IP privée.

    2. Sélectionnez Private Service Connect comme Type de connectivité.

    3. Dans la section Rattachement de réseau, sélectionnez le rattachement de réseau que vous avez créé dans Créer un rattachement de réseau.

  8. Cliquez sur Créer. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.

    Créer une instance Cloud Data Fusion avec Private Service Connect

API REST

Exécutez la commande suivante :

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Remplacez les éléments suivants :

  • EDITION : édition Cloud Data Fusion : BASIC, DEVELOPER ou ENTERPRISE.
  • PROJECT_ID : par l'ID du projet.
  • REGION: nom de la région. Google Cloud Cette région doit être la même que celle de l'instance Cloud Data Fusion.
  • INSTANCE_ID: ID de votre instance.
  • NETWORK_ATTACHMENT_ID: ID de votre rattachement réseau.

Configurations avancées

Pour activer le partage de sous-réseaux, vous pouvez fournir le même rattachement réseau à plusieurs instances Cloud Data Fusion. En revanche, si vous souhaitez consacrer un sous-réseau à une instance Cloud Data Fusion particulière, vous devez fournir un rattachement réseau spécifique à utiliser par l'instance Cloud Data Fusion.

Recommandé: Pour appliquer une stratégie de pare-feu uniforme à toutes les instances Cloud Data Fusion, utilisez la même connexion réseau.

Si vous souhaitez contrôler le bloc CIDR /25 qui n'est pas accessible par Cloud Data Fusion, spécifiez la propriété unreachableCidrBlock lorsque vous créez l'instance. Exemple :

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Remplacez les éléments suivants :

  • EDITION : édition Cloud Data Fusion : BASIC, DEVELOPER ou ENTERPRISE.
  • PROJECT_ID : par l'ID du projet.
  • REGION: nom de la région. Google Cloud Cette région doit être la même que celle de l'instance Cloud Data Fusion.
  • INSTANCE_ID: ID de votre instance.
  • NETWORK_ATTACHMENT_ID: ID de votre rattachement réseau.
  • UNREACHABLE_RANGE: plage inaccessible (par exemple, 10.0.0.0/25).

Sécurité

Cette section décrit la sécurité entre Cloud Data Fusion et les consommateurs.

Cloud Data Fusion pour la sécurité des consommateurs

Les interfaces Private Service Connect acceptent les règles de pare-feu de sortie pour contrôler les éléments auxquels Cloud Data Fusion peut accéder dans votre VPC. Pour en savoir plus, consultez la section Limiter l'entrée du producteur vers le consommateur.

Sécurité de l'utilisateur vers Cloud Data Fusion

Les VM Cloud Data Fusion avec l'interface Private Service Connect bloquent tout trafic provenant de votre VPC et qui n'est pas un paquet de réponse.