Présentation de Cloud Data Fusion: console

Cette page présente la console Cloud Data Fusion, également appelée plan de contrôle. Il s'agit d'un ensemble d'opérations d'API et d'une interface de console Google Cloud qui vous permettent de gérer une instance Cloud Data Fusion. Par exemple, vous pouvez créer, supprimer, redémarrer ou mettre à jour une instance à l'aide de la console.

Avant de commencer

Cloud Data Fusion: présentation de la console

Les sections suivantes décrivent des aspects importants de la console.

Instances

Une instance est un déploiement unique de Cloud Data Fusion. Pour commencer à utiliser Cloud Data Fusion, vous devez créer une instance dans la console Google Cloud. Vous pouvez créer plusieurs instances Cloud Data Fusion dans un même projetGoogle Cloud . Vous pouvez spécifier une région pour chaque instance. Google Cloud Chaque instance est un déploiement Cloud Data Fusion unique et indépendant, qui contient un ensemble de services qui gèrent le cycle de vie, l'orchestration, la coordination et la gestion des métadonnées du pipeline. Ces services s'exécutent à l'aide de ressources de longue durée dans un projet locataire.

Lorsque vous créez l'instance, tenez compte des options suivantes.

Édition

Vous créez l'instance dans l'une des éditions Cloud Data Fusion suivantes : Developer, Basic ou Enterprise. Choisissez l'édition en fonction des critères suivants:

  • Coût
  • Limites de simultanéité pour l'exécution de pipelines
  • Disponibilité du contrôle des accès basé sur les rôles (RBAC)

Les éditions sont destinées aux cas d'utilisation suivants:

Édition Cloud Data Fusion Cas d'utilisation
Édition développeur Pour le développement, les tests ou les intégrations à petite échelle
Édition Basic Pour la production avec des besoins modérés
Édition Enterprise Pour les pipelines de données à grande échelle et critiques avec RBAC

Instance publique ou privée

Selon vos besoins, décidez si vous avez besoin d'une instance publique ou privée. Les principales différences entre les instances privées et publiques dans Cloud Data Fusion concernent la connectivité et la sécurité du réseau:

Type d'instance Cloud Data Fusion Comportement
Instance publique
  • Connectivité réseau: utilise des adresses IP publiques pour se connecter à Internet.
  • Accès aux données: permet d'accéder directement aux sources de données sur l'Internet public.
Pour en savoir plus, consultez Créer une instance publique.
Instance privée
  • Connectivité réseau: utilise des adresses IP privées dans un réseau cloud privé virtuel (VPC).
  • Accès aux données: nécessite des connexions préconfigurées pour accéder aux sources de données. Les connexions suivantes sont acceptées :
    • Sources de données sur site connectées via un VPN ou Cloud Interconnect
    • Autres Google Cloud services exécutés de manière privée dans le même VPC.

Autorisation et compte de service

Cloud Data Fusion compte généralement deux comptes de service:

Compte de service au moment de la conception
Ce compte de service géré par Google, appelé "Agent de service de l'API Cloud Data Fusion", est utilisé dans le projet locataire de Cloud Data Fusion pour accéder aux ressources du projet client.
Compte de service d'exécution
Il s'agit du compte de service Compute Engine par défaut créé par Cloud Data Fusion pour déployer des tâches qui accèdent à d'autres ressourcesGoogle Cloud . Par défaut, il est associé à une VM de cluster Dataproc pour permettre à Cloud Data Fusion d'accéder aux ressources Dataproc pendant l'exécution d'un pipeline.

Pour en savoir plus, consultez Comptes de service dans Cloud Data Fusion.

Journalisation et surveillance

Cloud Logging et Cloud Monitoring sont essentiels pour obtenir des insights sur l'état et les performances de vos pipelines Cloud Data Fusion. Vous n'activez la journalisation et la surveillance que lorsque vous créez l'instance Cloud Data Fusion.

En activant la journalisation et la surveillance, vous pouvez afficher les journaux de pipeline Cloud Data Fusion dans la console Google Cloud, sur la page Visionneuse de journaux.

Monitoring fournit des tableaux de bord intégrés pour Cloud Data Fusion. Vous pouvez également créer des tableaux de bord personnalisés pour surveiller des métriques spécifiques.

Intégration de la traçabilité avec Dataplex

Cloud Data Fusion offre une intégration à Dataplex pour la traçabilité. Pour en savoir plus, consultez Afficher la traçabilité dans Dataplex.

Chiffrement

Les clés de chiffrement gérées par le client (CMEK, Customer-Managed Encryption Key) permettent de chiffrer les données au repos avec une clé contrôlable via Cloud Key Management Service. Le chiffrement CMEK permet aux utilisateurs de contrôler les données écrites dans les Google Cloud ressources internes des projets locataires et les données écrites par les pipelines Cloud Data Fusion. Pour en savoir plus, consultez la section Chiffrement des données géré par le client.

Gérer les autorisations avec le contrôle des accès basé sur les rôles (RBAC)

Cloud Data Fusion vous permet de contrôler l'accès à l'aide d'Identity and Access Management (IAM).

Pour des autorisations précises sur les actions effectuées dans Cloud Data Fusion: opérations Studio, utilisez RBAC. Pour en savoir plus, consultez la présentation du RBAC.

Mises à niveau de version

Cloud Data Fusion propose plusieurs versions. Vous pouvez mettre à niveau une instance vers une version ultérieure dans la console Cloud Data Fusion. Pour en savoir plus, consultez la section Gestion des versions dans Cloud Data Fusion.

Étape suivante