Gérer l'administration de Studio

Cette page explique les fonctionnalités d'administration que Cloud Data Fusion Studio fournit pour gérer les configurations. Cloud Data Fusion suit une hiérarchie, où chaque instance peut avoir plusieurs espaces de noms. Dans Cloud Data Fusion Studio, les administrateurs peuvent gérer de manière centralisée tous les espaces de noms ou les gérer individuellement. Cloud Data Fusion Studio fournit les commandes de système et d'espace de noms suivantes.

Administration système

Cliquez sur Administrateur système dans Cloud Data Fusion Studio pour afficher les onglets suivants:

  • L'onglet Gestion: affichez l'état de santé des différents services Cloud Data Fusion. Vous pouvez également afficher les journaux de chacun des services.

  • L'onglet Configuration: créez, affichez et modifiez les commandes suivantes:

Les provisionneurs sont chargés de créer, d'initialiser et de détruire l'environnement cloud dans lequel les pipelines s'exécutent. Chaque provisionneur expose un ensemble de configurations qui permettent de contrôler le type de cluster créé et supprimé. Différents provisionneurs créent différents types de clusters.

Chaque profil de calcul a une portée: système ou utilisateur. Vous pouvez utiliser un profil de calcul système pour tous les espaces de noms sous celui-ci. Les profils de calcul utilisateur existent dans un espace de noms, et seuls les pipelines de cet espace de noms peuvent utiliser les profils de calcul utilisateur.

Dans l'onglet Configurations de l'administrateur système, vous pouvez créer un profil de calcul système appliqué à tous les espaces de noms. Cloud Data Fusion attribue un profil de calcul par défaut.

Lorsque vous créez un profil de calcul, vous sélectionnez le provisionneur, qui est utilisé par le profil pour créer et configurer les détails d'exécution cloud.

Préférences système

Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux dans Cloud Data Fusion, y compris au système lui-même, aux espaces de noms, aux applications (qui contiennent des pipelines) et aux programmes individuels dans les pipelines. Les préférences permettent de définir des valeurs par défaut pour les configurations couramment utilisées. Ces valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit les tâches de configuration répétitives. Pour en savoir plus, consultez la section Gérer les macros, les préférences et les arguments d'exécution.

Action d'appel HTTP

L'action d'appel HTTP sur la page System admin (Administrateur système) vous permet d'interagir avec l'API de Cloud Data Fusion ou d'autres API de service, directement depuis l'interface Cloud Data Fusion Studio. Google Cloud Toutefois, pour créer des pipelines de traitement des données avec des sources de données externes, utilisez plutôt le plug-in HTTP et son exécuteur d'appels HTTP dans vos pipelines pour obtenir une solution plus complète. Elle diffère légèrement de l'action d'appel HTTP, mais les concepts sous-jacents sont semblables.

Configurations et cas d'utilisation

L'action d'appel HTTP est principalement utilisée pour des tâches administratives ou à des fins de configuration dans Cloud Data Fusion. Il vous permet d'interagir avec l'API Cloud Data Fusion ou d'autres Google Cloud services qui exposent une API HTTP, directement depuis Cloud Data Fusion Studio.

Configurations

Vous pouvez définir les informations suivantes pour un appel HTTP:

  • URL: point de terminaison cible du service Web que vous souhaitez appeler.
  • Méthode: méthode HTTP à utiliser, par exemple GET, POST ou PUT.
  • Facultatif: En-têtes: tous les en-têtes personnalisés requis pour la requête.
  • Facultatif: Body (Corps) : données à envoyer dans le corps de la requête, par exemple pour les appels POST et PUT.

Vous pouvez ensuite exécuter l'appel HTTP défini et afficher la réponse du service Web dans Cloud Data Fusion Studio.

Cas d'utilisation
  • Testez les appels d'API Cloud Data Fusion. Vous pouvez utiliser l'action d'appel HTTP pour tester ou explorer les fonctionnalités de l'API Cloud Data Fusion directement depuis l'interface Web. Cette action peut être utile pour comprendre le comportement de l'API ou résoudre les problèmes potentiels.
  • Gérer les espaces de noms (option avancée) Bien qu'il existe une UI dédiée à la gestion des espaces de noms, l'action d'appel HTTP peut être utilisée pour des tâches avancées en effectuant directement des appels à l'API Cloud Data Fusion pour la création, la suppression ou la configuration d'espaces de noms.
  • Interaction avec d'autres Google Cloud services (limitée). Si d'autres Google Cloud services que vous utilisez disposent d'une API HTTP documentée publiquement, vous pouvez utiliser l'action d'appel HTTP pour interagir avec ces services, bien que ce cas d'utilisation soit inhabituel.
Remarques importantes
  • Sécurité: soyez prudent lorsque vous utilisez l'action d'appel HTTP, en particulier avec des données sensibles ou des appels d'API Cloud Data Fusion susceptibles d'avoir un impact sur votre environnement. Assurez-vous de bien comprendre les implications de chaque appel d'API avant de l'exécuter.
  • Limites: l'action d'appel HTTP est principalement destinée aux tâches administratives et aux tests. Il n'est pas conçu pour créer des pipelines de traitement des données complexes impliquant la manipulation de données dans Cloud Data Fusion.
  • Alternative pour les pipelines: pour intégrer des sources ou des services de données externes dans vos pipelines de données, utilisez le plug-in HTTP et l'exécuteur d'appels HTTP associé dans vos définitions de pipeline. Cela vous permet de gérer les interactions HTTP de manière plus robuste et contrôlée dans vos workflows de traitement des données.

Administration de l'espace de noms

Cliquez sur Administrateur de l'espace de noms dans Cloud Data Fusion Studio pour gérer les configurations de l'espace de noms spécifique. Pour chaque espace de noms, vous pouvez définir les aspects suivants:

  • Compute profiles (Profils de calcul) : les profils configurés dans Namespace admin (Administration de l'espace de noms) sont des profils de calcul utilisateur. Seuls les pipelines de cet espace de noms peuvent utiliser ces profils de calcul utilisateur. Pour en savoir plus, consultez la section Gérer les profils de calcul.
  • Préférences: les préférences définies au niveau de l'espace de noms s'appliquent à l'espace de noms, aux applications (qui contiennent des pipelines) et aux programmes individuels dans les pipelines. Pour en savoir plus, consultez la section Gérer les macros, les préférences et les arguments d'exécution.
  • Connexions: Cloud Data Fusion vous permet de réutiliser les connexions aux sources et aux récepteurs dans les pipelines de données. Vous pouvez ajouter des connexions sur la page "Administrateur d'espaces de noms". Pour en savoir plus, consultez la section Créer et gérer des connexions.
  • Pilotes: certains plug-ins de Cloud Data Fusion nécessitent l'ajout d'un pilote JDBC au nom d'espace. Par exemple, avant de pouvoir exécuter un pipeline avec un plug-in de source de lot MySQL, vous devez ajouter le pilote MySQL compatible à l'espace de noms. Vous pouvez importer ou supprimer des pilotes JDBC dans un espace de noms depuis la page "Administration de l'espace de noms" ou directement depuis le hub. Pour en savoir plus, consultez la section Pilotes de plug-in.
  • Gestion du contrôle des sources: pour gérer efficacement le processus de développement des pipelines déployés, la gestion du contrôle des sources vous permet de connecter un espace de noms au dépôt de votre système de contrôle des sources. Pour en savoir plus, consultez Gérer les pipelines à l'aide de la gestion du contrôle des sources.
  • Compte de service: pour contrôler l'accès aux ressources, les espaces de noms de Cloud Data Fusion utilisent par défaut l'Agent de service de l'API Cloud Data Fusion. Google Cloud

Pour une meilleure isolation des données, vous pouvez associer un compte de service Identity and Access Management (IAM) personnalisé (appelé "compte de service par espace de noms") à chaque espace de noms. Le compte de service IAM personnalisé, qui peut être différent pour différents espaces de noms, vous permet de contrôler l'accès aux ressources Google Cloud entre les espaces de noms pour les opérations de conception du pipeline dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et la validation du pipeline. Pour en savoir plus, consultez la section Contrôle des accès avec un compte de service d'espace de noms.

Étape suivante