Cette page présente la console Cloud Data Fusion, également appelée plan de contrôle. Il s'agit d'un ensemble d'opérations d'API et d'une interface de console Google Cloud qui vous permettent de gérer une instance Cloud Data Fusion. Par exemple, vous pouvez créer, supprimer, redémarrer ou mettre à jour une instance à l'aide de la console.
Avant de commencer
- Activez l'API Cloud Data Fusion.
- Découvrez les coûts des éditions Cloud Data Fusion.
- Découvrez le contrôle des accès et les comptes de service dans Cloud Data Fusion.
Cloud Data Fusion: présentation de la console
Les sections suivantes décrivent des aspects importants de la console.
Instances
Une instance est un déploiement unique de Cloud Data Fusion. Pour commencer à utiliser Cloud Data Fusion, vous devez créer une instance dans la console Google Cloud. Vous pouvez créer plusieurs instances Cloud Data Fusion dans un même projetGoogle Cloud . Vous pouvez spécifier une région pour chaque instance. Google Cloud Chaque instance est un déploiement Cloud Data Fusion unique et indépendant, qui contient un ensemble de services qui gèrent le cycle de vie, l'orchestration, la coordination et la gestion des métadonnées du pipeline. Ces services s'exécutent à l'aide de ressources de longue durée dans un projet locataire.
Lorsque vous créez l'instance, tenez compte des options suivantes.
Édition
Vous créez l'instance dans l'une des éditions Cloud Data Fusion suivantes : Developer, Basic ou Enterprise. Choisissez l'édition en fonction des critères suivants:
- Coût
- Limites de simultanéité pour l'exécution de pipelines
- Disponibilité du contrôle des accès basé sur les rôles (RBAC)
Les éditions sont destinées aux cas d'utilisation suivants:
Édition Cloud Data Fusion | Cas d'utilisation |
---|---|
Édition développeur | Pour le développement, les tests ou les intégrations à petite échelle |
Édition Basic | Pour la production avec des besoins modérés |
Édition Enterprise | Pour les pipelines de données à grande échelle et critiques avec RBAC |
Instance publique ou privée
Selon vos besoins, décidez si vous avez besoin d'une instance publique ou privée. Les principales différences entre les instances privées et publiques dans Cloud Data Fusion concernent la connectivité et la sécurité du réseau:
Type d'instance Cloud Data Fusion | Comportement |
---|---|
Instance publique |
|
Instance privée |
|
Autorisation et compte de service
Cloud Data Fusion compte généralement deux comptes de service:
- Compte de service au moment de la conception
- Ce compte de service géré par Google, appelé "Agent de service de l'API Cloud Data Fusion", est utilisé dans le projet locataire de Cloud Data Fusion pour accéder aux ressources du projet client.
- Compte de service d'exécution
- Il s'agit du compte de service Compute Engine par défaut créé par Cloud Data Fusion pour déployer des tâches qui accèdent à d'autres ressourcesGoogle Cloud . Par défaut, il est associé à une VM de cluster Dataproc pour permettre à Cloud Data Fusion d'accéder aux ressources Dataproc pendant l'exécution d'un pipeline.
Pour en savoir plus, consultez Comptes de service dans Cloud Data Fusion.
Journalisation et surveillance
Cloud Logging et Cloud Monitoring sont essentiels pour obtenir des insights sur l'état et les performances de vos pipelines Cloud Data Fusion. Vous n'activez la journalisation et la surveillance que lorsque vous créez l'instance Cloud Data Fusion.
En activant la journalisation et la surveillance, vous pouvez afficher les journaux de pipeline Cloud Data Fusion dans la console Google Cloud, sur la page Visionneuse de journaux.
Monitoring fournit des tableaux de bord intégrés pour Cloud Data Fusion. Vous pouvez également créer des tableaux de bord personnalisés pour surveiller des métriques spécifiques.
Intégration de la traçabilité avec Dataplex
Cloud Data Fusion offre une intégration à Dataplex pour la traçabilité. Pour en savoir plus, consultez Afficher la traçabilité dans Dataplex.
Chiffrement
Les clés de chiffrement gérées par le client (CMEK, Customer-Managed Encryption Key) permettent de chiffrer les données au repos avec une clé contrôlable via Cloud Key Management Service. Le chiffrement CMEK permet aux utilisateurs de contrôler les données écrites dans les Google Cloud ressources internes des projets locataires et les données écrites par les pipelines Cloud Data Fusion. Pour en savoir plus, consultez la section Chiffrement des données géré par le client.
Gérer les autorisations avec le contrôle des accès basé sur les rôles (RBAC)
Cloud Data Fusion vous permet de contrôler l'accès à l'aide d'Identity and Access Management (IAM).
Pour des autorisations précises sur les actions effectuées dans Cloud Data Fusion: opérations Studio, utilisez RBAC. Pour en savoir plus, consultez la présentation du RBAC.
Mises à niveau de version
Cloud Data Fusion propose plusieurs versions. Vous pouvez mettre à niveau une instance vers une version ultérieure dans la console Cloud Data Fusion. Pour en savoir plus, consultez la section Gestion des versions dans Cloud Data Fusion.
Étape suivante
- En savoir plus sur Cloud Data Fusion: Studio