Cette page présente la console Cloud Data Fusion, également appelée plan de contrôle. Il s'agit d'un ensemble d'opérations d'API et d'une interface de console Google Cloud qui vous permettent de gérer une instance Cloud Data Fusion. Par exemple, vous pouvez créer, supprimer, redémarrer ou mettre à jour une instance à l'aide de la console.
Avant de commencer
- Activez l'API Cloud Data Fusion.
- Découvrez les coûts des éditions Cloud Data Fusion.
- Découvrez le contrôle des accès et les comptes de service dans Cloud Data Fusion.
Cloud Data Fusion: présentation de la console
Les sections suivantes décrivent les aspects importants de la console.
Instances
Une instance est un déploiement unique de Cloud Data Fusion. Pour commencer à utiliser Cloud Data Fusion, vous devez créer une instance dans la console Google Cloud. Vous pouvez créer plusieurs instances Cloud Data Fusion au sein d'une même projet Google Cloud. Vous pouvez spécifier une région Google Cloud pour chaque instance. Chaque instance est un déploiement Cloud Data Fusion unique et indépendant, qui contient un ensemble de services qui gèrent le cycle de vie, l'orchestration, la coordination et la gestion des métadonnées du pipeline. Ces services à l'aide de ressources de longue durée projet locataire.
Lorsque vous créez l'instance, tenez compte des options suivantes.
Édition
Vous créez l'instance dans l'une des éditions Cloud Data Fusion suivantes: Développeur, Basic ou Enterprise : Choisissez l'édition en fonction des critères suivants:
- Coût
- Limites de simultanéité pour l'exécution de pipelines
- Disponibilité du contrôle des accès basé sur les rôles (RBAC)
Les éditions sont destinées aux cas d'utilisation suivants :
| Édition Cloud Data Fusion | Cas d'utilisation |
|---|---|
| Édition développeur | Pour le développement, les tests ou les intégrations à petite échelle |
| Édition Basic | Pour la production avec des besoins modérés |
| Édition Enterprise | Pour les pipelines de données critiques à grande échelle avec RBAC |
Instance publique ou privée
Selon vos besoins, déterminez si vous avez besoin d'un compte Compute Engine. Les principales différences entre les instances privées et publiques Cloud Data Fusion regroupe la connectivité réseau et la sécurité:
| Type d'instance Cloud Data Fusion | Comportement |
|---|---|
| Instance publique |
|
| Instance privée |
|
Autorisation et compte de service
Cloud Data Fusion compte généralement deux comptes de service :
- Compte de service lors de la conception
- Ce compte de service géré par Google, appelé "Agent de service de l'API Cloud Data Fusion", est utilisé dans le projet locataire de Cloud Data Fusion pour accéder aux ressources du projet client.
- Compte de service d'exécution
- Il s'agit du compte de service Compute Engine par défaut créé par Cloud Data Fusion pour déployer des tâches qui accèdent à d'autres ressources Google Cloud. Par défaut, il est associé à une VM de cluster Dataproc pour permettre à Cloud Data Fusion d'accéder aux ressources Dataproc pendant l'exécution d'un pipeline.
Pour en savoir plus, consultez la page Comptes de service dans Cloud Data Fusion.
Journalisation et surveillance
Cloud Logging et Cloud Monitoring sont essentiels pour obtenir des insights sur l'état et les performances de vos pipelines Cloud Data Fusion. Vous n'activez la journalisation et la surveillance que lorsque vous créez l'instance Cloud Data Fusion.
En activant la journalisation et la surveillance, vous pouvez afficher les journaux de pipeline Cloud Data Fusion dans la console Google Cloud, sur la page Visionneuse de journaux.
Monitoring fournit des tableaux de bord intégrés pour Cloud Data Fusion. Vous pouvez aussi créer des tableaux de bord personnalisés pour surveiller des métriques spécifiques.
Intégration de la traçabilité avec Dataplex
Cloud Data Fusion fournit une intégration à Dataplex pour la traçabilité. Pour en savoir plus, consultez Afficher la traçabilité dans Dataplex.
Chiffrement
Les clés de chiffrement gérées par le client (CMEK, Customer-Managed Encryption Key) permettent de chiffrer les données au repos avec une clé contrôlable via Cloud Key Management Service. Le chiffrement CMEK permet aux utilisateurs de contrôler les données écrites dans les ressources internes de Google Cloud dans les projets locataires et les données écrites par les pipelines Cloud Data Fusion. Pour en savoir plus, consultez Chiffrement des données géré par le client.
Gérer les autorisations avec le contrôle des accès basé sur les rôles (RBAC)
Cloud Data Fusion vous permet de contrôler l'accès à l'aide d'Identity and Access Management (IAM).
Pour définir des autorisations précises pour les actions effectuées dans Cloud Data Fusion: Studio des opérations, utilisez RBAC. Pour en savoir plus, consultez la présentation du RBAC.
Mises à niveau de version
Cloud Data Fusion propose plusieurs versions. Vous pouvez mettre à niveau une instance dans la console Cloud Data Fusion. Pour en savoir plus, consultez Gestion des versions dans Cloud Data Fusion
Étape suivante
- En savoir plus sur Cloud Data Fusion: Studio