Créer une instance privée avec Private Service Connect

Cette page explique comment configurer Private Service Connect dans Cloud Data Fusion.

À propos de Private Service Connect dans Cloud Data Fusion

Les instances Cloud Data Fusion peuvent avoir besoin de se connecter à des ressources situées sur site, sur Google Cloud ou chez d'autres fournisseurs cloud. Lorsque vous utilisez Cloud Data Fusion avec adresses IP internes, connexions aux serveurs externes vos ressources sont établies sur un réseau cloud privé virtuel (VPC) projet Google Cloud. Le trafic sur le réseau ne passe pas par le public à Internet. Lorsque Cloud Data Fusion dispose d'un accès à votre réseau VPC à l'aide de l'appairage de VPC, certaines limites apparaissent des réseaux à grande échelle.

Grâce aux interfaces Private Service Connect, Cloud Data Fusion se connecte à votre VPC sans utiliser l'appairage de VPC. Private Service Connect de commande est un type Private Service Connect qui permet à Cloud Data Fusion de créer des requêtes privées et sécurisées aux réseaux VPC des clients. Cette solution offre non seulement la flexibilité (par exemple, l'appairage de VPC), mais il fournit également une autorisation et un contrôle côté consommateur que Private Service Connect offre.

Le schéma suivant montre comment l'interface de Private Service Connect est déployé dans Cloud Data Fusion:

Déploiement de l'interface Private Service Connect

Figure 1 : Déploiement de l'interface Private Service Connect

Description de la figure 1:

  • Les machines virtuelles (VM) exécutant Cloud Data Fusion sont hébergées dans un Projet locataire appartenant à Google. Pour accéder aux ressources du VPC du client, Les VM Cloud Data Fusion utilisent l'adresse IP attribuée par le Interface réseau Private Service Connect, provenant de l'interface réseau du client sous-réseau. Ce sous-réseau est ajouté au rattachement de réseau utilisé par Cloud Data Fusion.

  • Paquets IP provenant de Private Service Connect sont traités de la même manière que ceux d'une VM du même sous-réseau. Ce permet à Cloud Data Fusion d'accéder directement aux ressources le VPC du client ou un VPC pair sans proxy.

  • Les ressources Internet deviennent accessibles lorsque Cloud NAT est activé dans le le VPC du client, tandis que les ressources sur site sont accessibles via un interconnectés.

  • Pour gérer l'entrée ou la sortie de Private Service Connect, vous pouvez implémenter des règles de pare-feu.

Principaux avantages

Voici les principaux avantages de l'utilisation de Cloud Data Fusion avec Private Service Connect:

  • Meilleur contrôle de l'espace d'adresses IP. Vous contrôlez les adresses IP Cloud Data Fusion utilise pour se connecter à votre réseau. Vous choisissez les sous-réseaux à partir desquelles les adresses IP sont allouées à Cloud Data Fusion. Toutes les le trafic provenant de Cloud Data Fusion dispose d'une adresse IP source issue de sous-réseau configuré.

    Private Service Connect élimine le besoin d'adresses IP réservées à partir d'un VPC client. L'appairage de VPC nécessite un bloc CIDR /22 (1 024 adresses IP) par instance Cloud Data Fusion.

  • Sécurité et isolation améliorées : En configurant un rattachement de réseau, vous contrôlez les services qui peuvent accéder à votre réseau.

  • Configuration d'instances Cloud Data Fusion simplifiée. Créer un réseau d'un rattachement de VPC client qu'une seule fois. Pas besoin d'utiliser des VM proxy pour se connecter des ressources sur Internet, dans des VPC pairs ou sur site.

Concepts clés

Cette section explique les concepts impliqués dans Private Service Connect dans Cloud Data Fusion

Rattachement de réseau

Le rattachement de réseau est une ressource régionale utilisée pour autoriser Cloud Data Fusion permet d'utiliser et d'établir des connexions réseau en privé pour qui accèdent aux ressources de votre VPC. Pour en savoir plus, consultez la page À propos des rattachements de réseau.

VPC partagé

Voici un cas d'utilisation de Private Service Connect avec un VPC partagé:

  • Le réseau ou l'équipe d'infrastructure est propriétaire des sous-réseaux d'un projet hôte. Ils permettent les équipes chargées des applications utilisent ces sous-réseaux à partir de leur projet de service.

  • Les équipes en charge des applications sont propriétaires des rattachements de réseau dans un projet de service. La le rattachement de réseau définit le locataire Cloud Data Fusion projets peuvent se connecter aux sous-réseaux liés au rattachement de réseau.

Vous pouvez créer un rattachement de réseau dans un projet de service. Les sous-réseaux utilisés dans un un rattachement de réseau ne peut se trouver que dans le projet hôte.

Le schéma suivant illustre ce cas d'utilisation:

Cas d'utilisation des interfaces Private Service Connect avec un VPC partagé

Figure 2. Cas d'utilisation des interfaces Private Service Connect avec un VPC partagé

Description de la figure 2:

  • Le rattachement de réseau est présent dans le projet de service. Le réseau utilise un sous-réseau appartenant à un VPC partagé sur l'hôte projet.

  • L'instance Cloud Data Fusion est présente dans le projet de service. utilise le rattachement de réseau du projet de service pour établir une connexion privée la connectivité.

  • Les adresses IP du sous-réseau sont attribuées à l'instance Cloud Data Fusion dans le VPC partagé.

Avant de commencer

  • Private Service Connect n'est disponible que dans Cloud Data Fusion à partir de la version 6.10.0.

  • Vous ne pouvez activer Private Service Connect que lorsque vous créez un nouvelle instance Cloud Data Fusion. Vous ne pouvez pas migrer les instances existantes pour utiliser Private Service Connect.

Tarifs

L'entrée et la sortie des données via Private Service Connect facturés. Pour en savoir plus, consultez la documentation Private Service Connect pricing.

Rôles et autorisations requis

Pour obtenir les autorisations nécessaires pour créer une instance Cloud Data Fusion et rattachement de réseau, demandez à votre administrateur de vous accorder les autorisations Rôles IAM (Identity and Access Management) sur votre projet:

Obtenir les autorisations nécessaires à Cloud Data Fusion pour valider le réseau , demandez à votre administrateur d'attribuer les rôles IAM suivants Agent de service Cloud Data Fusion (au format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com):

  • Pour le VPC associé au rattachement de réseau: Lecteur de réseau Compute (roles/compute.networkViewer)

  • Pour que Cloud Data Fusion ajoute son projet locataire au producteur, acceptez liste du rattachement de réseau:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Le rôle le plus restrictif doté de ces autorisations est Administrateur de réseaux Compute (roles/compute.networkAdmin). Ces autorisations font partie Agent de service de l'API Cloud Data Fusion (roles/datafusion.serviceAgent), qui est automatiquement accordé Agent de service Cloud Data Fusion. Par conséquent, aucune action n'est n'est requise, sauf si l'attribution du rôle d'agent de service a été explicitement supprimée.

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les options de contrôle des accès disponibles dans Cloud Data Fusion, consultez la page Contrôle des accès avec IAM.

Créer un VPC ou un réseau VPC partagé

Assurez-vous d'avoir créé un réseau VPC ou un Réseau VPC partagé :

Configurer Private Service Connect

Pour configurer Private Service Connect dans Cloud Data Fusion, vous devez d'abord créer un rattachement de réseau, puis Instance Cloud Data Fusion avec Private Service Connect.

Créer un rattachement de réseau

Le rattachement de réseau fournit un ensemble de sous-réseaux. Pour créer un réseau , procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez à la page Rattachements de réseau:

    Accéder à "Rattachements de réseau"

  2. Cliquez sur Créer un rattachement de réseau.

  3. Dans le champ Nom, saisissez le nom du rattachement de réseau.

  4. Dans la liste Réseau, sélectionnez un VPC ou un VPC partagé. réseau.

  5. Dans la liste Région, sélectionnez une région Google Cloud. Cette région doit être identique à l'instance Cloud Data Fusion.

  6. Dans la liste Sous-réseau, sélectionnez une plage de sous-réseau.

  7. Dans Préférences de connexion, sélectionnez Acceptez les connexions pour les projets sélectionnés.

    Cloud Data Fusion ajoute automatiquement le locataire Cloud Data Fusion à la liste Projets acceptés lorsque vous créez le Instance Cloud Data Fusion.

  8. N'ajoutez pas de projets acceptés ni de projets refusés.

  9. Cliquez sur Créer un rattachement de réseau.

    Créer un rattachement de réseau

gcloud

  1. Créez un ou plusieurs sous-réseaux. Exemple :

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION

    Le rattachement de réseau utilise ces sous-réseaux lors des étapes suivantes.

  2. Créez une ressource de rattachement de réseau dans la même région que le Instance Cloud Data Fusion, avec la propriété connection-preference définie sur ACCEPT_MANUAL:

    gcloud compute network-attachments create NAME
--region=REGION
--connection-preference=ACCEPT_MANUAL
--subnets=SUBNET

    Remplacez les éléments suivants :

    • NAME: nom de votre rattachement de réseau.
    • REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.
    • SUBNET : nom du sous-réseau

    Le résultat de cette commande est l'URL de rattachement de réseau suivante : format:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID

    Notez cette URL, car Cloud Data Fusion en a besoin pour la connectivité.

API REST

  1. Créer un sous-réseau

  2. Créez un rattachement de réseau:

    alias authtoken="gcloud auth print-access-token"
NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
REGION=REGION
SUBNET=SUBNET
PROJECT_ID=PROJECT_ID

read -r -d '' BODY << EOM
{
  "name": "$NETWORK_ATTACHMENT_NAME",
  "description": "Network attachment for private Cloud Data Fusion",
  "connectionPreference": "ACCEPT_MANUAL",
  "subnetworks": [
    "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
  ]
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"

    Remplacez les éléments suivants :

    • NETWORK_ATTACHMENT_NAME: nom de votre un rattachement de réseau.
    • REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.
    • SUBNET : nom du sous-réseau
    • PROJECT_ID : par l'ID du projet.

Créer une instance Cloud Data Fusion

Cloud Data Fusion utilise un bloc CIDR /25 (128 adresses IP) pour les ressources du du projet locataire. C'est ce qu'on appelle la plage inaccessible ou réservée. Vous pouvez utiliser les mêmes adresses IP dans les VPC, mais les VM Cloud Data Fusion ne pourront pas à vos ressources en utilisant cette plage.

Dans la plupart des cas, ce n'est pas un problème, car le bloc CIDR inaccessible se trouve dans une plage non-RFC 1918 (240.0.0.0/8), par défaut. Si vous souhaitez contrôler plage inaccessible, reportez-vous à la section Configurations avancées.

Pour créer une instance Cloud Data Fusion avec Private Service Connect activé, procédez comme suit:

Console

  1. Dans la console Google Cloud, accédez aux instances Cloud Data Fusion. et cliquez sur Créer une instance.

    <ph type="x-smartling-placeholder"></ph> Créer une instance

  2. Dans le champ Nom de l'instance, saisissez le nom de la nouvelle instance.

  3. Dans le champ Description, saisissez une description de votre instance.

  4. Dans la liste Région, sélectionnez la région Google Cloud dans laquelle vous que vous voulez créer l'instance.

  5. Dans la liste Version, sélectionnez 6.10 ou une version ultérieure.

  6. Sélectionnez une édition. Pour en savoir plus sur la tarification des différentes consultez la présentation des tarifs de Cloud Data Fusion.

  7. Développez Options avancées et procédez comme suit :

    1. Sélectionnez Activer l'adresse IP privée.

    2. Sélectionnez Private Service Connect comme Type de connectivité.

    3. Dans la section Rattachement de réseau, sélectionnez le rattachement de réseau. que vous avez créé dans Créer un rattachement de réseau.

  8. Cliquez sur Créer. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.

    Créer une instance Cloud Data Fusion avec Private Service Connect

API REST

Exécutez la commande suivante :

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Remplacez les éléments suivants :

  • EDITION: Cloud Data Fusion édition : BASIC, DEVELOPER ou ENTERPRISE.
  • PROJECT_ID : par l'ID du projet.
  • REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.
  • INSTANCE_ID: ID de votre instance.
  • NETWORK_ATTACHMENT_ID: l'ID de votre un rattachement de réseau.

Configurations avancées

Pour activer le partage de sous-réseaux, vous pouvez fournir le même rattachement de réseau à plusieurs instances Cloud Data Fusion. En revanche, si vous voulez dédier un sous-réseau pour une instance Cloud Data Fusion particulière, vous devez fournir un rattachement de réseau spécifique qui sera utilisé par Cloud Data Fusion Compute Engine.

Recommandé: Pour appliquer une stratégie de pare-feu uniforme à tous les instances Cloud Data Fusion utilisent le même rattachement de réseau.

Si vous souhaitez contrôler le bloc CIDR /25 qui n'est pas accessible par Cloud Data Fusion, spécifiez la propriété unreachableCidrBlock lorsque vous créer l'instance. Exemple :

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "unreachableCidrBlock": "$UNREACHABLE_RANGE"
    "privateServiceConnectConfig": {
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Remplacez les éléments suivants :

  • EDITION: Cloud Data Fusion édition : BASIC, DEVELOPER ou ENTERPRISE.
  • PROJECT_ID : par l'ID du projet.
  • REGION: nom de la région Google Cloud. Cette région doit être identique à celle de l'instance Cloud Data Fusion.
  • INSTANCE_ID: ID de votre instance.
  • NETWORK_ATTACHMENT_ID: l'ID de votre un rattachement de réseau.
  • UNREACHABLE_RANGE: les URL inaccessibles (par exemple, 10.0.0.0/25).

Sécurité

Cette section décrit la sécurité entre Cloud Data Fusion et les clients.

Cloud Data Fusion pour la sécurité des consommateurs

Les interfaces Private Service Connect sont compatibles avec les règles de pare-feu de sortie pour contrôler ce à quoi Cloud Data Fusion peut accéder au sein de votre VPC. Pour en savoir plus, consultez Limitez le trafic d'entrée du producteur vers le client.

Sécurité du client à Cloud Data Fusion

VM Cloud Data Fusion avec interface Private Service Connect de bloquer tout trafic provenant de votre VPC et qui n'est pas un paquet de réponse.