Gérer l'administration de Studio

Cette page décrit les fonctionnalités d'administration fournies par Cloud Data Fusion Studio pour gérer les configurations. Cloud Data Fusion suit une hiérarchie, où chaque instance peut avoir plusieurs espaces de noms. Depuis Cloud Data Fusion Studio, les administrateurs peuvent gérer tous les espaces de noms de manière centralisée ou individuellement. Cloud Data Fusion Studio fournit les contrôles système et d'espace de noms suivants.

Administration système

Cliquez sur System admin (Administrateur système) dans Cloud Data Fusion Studio pour afficher les onglets suivants:

  • Onglet Gestion: affichez l'état de fonctionnement de divers services Cloud Data Fusion. Vous pouvez également afficher les journaux de chacun des services.

  • L'onglet Configuration vous permet de créer, d'afficher et de modifier les commandes suivantes :

Les approvisionneurs sont chargés de créer, d'initialiser et de détruire l'environnement cloud dans lequel s'exécutent les pipelines. Chaque approvisionneur expose un ensemble de configurations permettant de contrôler le type de cluster créé et supprimé. Les différents approvisionneurs créent différents types de clusters.

Chaque profil de calcul est associé à un champ d'application: système ou utilisateur. Vous pouvez utiliser un profil de calcul système pour tous les espaces de noms qu'il contient. Les profils de calcul utilisateur existent dans un espace de noms, et seuls les pipelines de cet espace de noms peuvent les utiliser.

Dans l'onglet Configurations de l'administrateur système, vous pouvez créer un profil de calcul système qui sera appliqué à tous les espaces de noms. Cloud Data Fusion attribue un profil de calcul par défaut.

Lorsque vous créez un profil de calcul, vous sélectionnez l'approvisionneur, qui sera utilisé par le profil pour créer et configurer les détails de l'environnement d'exécution Cloud.

Préférences système

Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux dans Cloud Data Fusion, y compris le système lui-même, les espaces de noms, les applications (qui contiennent des pipelines) et les programmes individuels au sein des pipelines. Les préférences permettent de définir des valeurs par défaut pour les configurations couramment utilisées. Ces valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit les tâches de configuration répétitives. Pour en savoir plus, consultez la section Gérer les macros, les préférences et les arguments d'exécution.

Action d'appel HTTP

L'action d'appel HTTP sur la page Administration système vous permet d'interagir avec la propre API de Cloud Data Fusion, ou éventuellement avec d'autres API de service Google Cloud, directement à partir de l'interface Cloud Data Fusion Studio. Toutefois, pour créer des pipelines de traitement de données avec des sources de données externes, utilisez plutôt le plug-in HTTP et son exécuteur d'appel HTTP dans vos pipelines afin d'obtenir une solution plus complète. Elle diffère légèrement de l'action d'appel HTTP, mais les concepts sous-jacents sont similaires.

Configurations et cas d'utilisation

L'action d'appel HTTP est principalement utilisée pour les tâches administratives ou à des fins de configuration dans Cloud Data Fusion. Il vous permet d'interagir avec l'API Cloud Data Fusion ou d'autres services Google Cloud qui exposent une API HTTP, directement à partir de Cloud Data Fusion Studio.

Configurations

Vous pouvez définir les détails suivants pour un appel HTTP:

  • URL: point de terminaison cible du service Web que vous souhaitez appeler.
  • Méthode: méthode HTTP à utiliser, telle que GET, POST ou PUT.
  • Facultatif: En-têtes: en-têtes personnalisés requis pour la requête.
  • Facultatif: Corps: données à envoyer dans le corps de la requête, par exemple pour les appels POST et PUT.

Vous pouvez ensuite exécuter l'appel HTTP défini et afficher la réponse du service Web dans Cloud Data Fusion Studio.

Cas d'utilisation
  • Tester les appels d'API Cloud Data Fusion Vous pouvez utiliser l'action d'appel HTTP pour tester ou explorer les fonctionnalités de l'API Cloud Data Fusion directement à partir de l'interface Web. Cette action peut être utile pour comprendre le comportement des API ou résoudre les problèmes potentiels.
  • Gérer les espaces de noms (avancé) : Bien qu'il existe une interface utilisateur dédiée à la gestion des espaces de noms, l'action d'appel HTTP peut être utilisée pour les tâches avancées en appelant directement l'API Cloud Data Fusion pour la création, la suppression ou la configuration d'espaces de noms.
  • Interagir avec d'autres services Google Cloud (limité) : Si d'autres services Google Cloud que vous utilisez disposent d'une API HTTP documentée publiquement, vous pouvez utiliser l'action d'appel HTTP pour interagir avec ces services, bien que ce cas d'utilisation soit rare.
Remarques importantes
  • Sécurité: soyez prudent lorsque vous utilisez l'action d'appel HTTP, en particulier avec des données sensibles ou des appels d'API Cloud Data Fusion susceptibles d'avoir une incidence sur votre environnement. Assurez-vous de bien comprendre les implications de chaque appel d'API avant de l'exécuter.
  • Limites: l'appel HTTP est principalement destiné à des tâches administratives et à des fins de test. Il n'est pas conçu pour créer des pipelines de traitement de données complexes impliquant la manipulation de données dans Cloud Data Fusion.
  • Alternative aux pipelines: pour intégrer des sources ou des services de données externes à vos pipelines de données, utilisez le plug-in HTTP et son exécuteur d'appels HTTP associé dans vos définitions de pipeline. Vous bénéficiez ainsi d'une méthode plus robuste et plus contrôlée pour gérer les interactions HTTP dans vos workflows de traitement des données.

Administration des espaces de noms

Cliquez sur Administrateur d'espaces de noms dans Cloud Data Fusion Studio pour gérer les configurations de l'espace de noms spécifique. Pour chaque espace de noms, vous pouvez définir les aspects suivants:

  • Profils de calcul: les profils configurés dans Administrateur d'espaces de noms sont des profils de calcul utilisateur. Seuls les pipelines de cet espace de noms peuvent utiliser ces profils de calcul utilisateur. Pour en savoir plus, consultez la page Gérer les profils de calcul.
  • Préférences: les préférences définies au niveau de l'espace de noms s'appliquent à l'espace de noms, aux applications (qui contiennent des pipelines) et aux programmes individuels au sein des pipelines. Pour en savoir plus, consultez la section Gérer les macros, les préférences et les arguments d'exécution.
  • Connexions: Cloud Data Fusion vous permet de réutiliser les connexions aux sources et aux récepteurs dans les pipelines de données. Vous pouvez ajouter des connexions sur la page "Administrateur d'espaces de noms". Pour en savoir plus, consultez la section Créer et gérer des connexions.
  • Pilotes: certains plug-ins dans Cloud Data Fusion nécessitent l'ajout d'un pilote JDBC à l'espace de noms. Par exemple, avant de pouvoir exécuter un pipeline avec un plug-in source par lot MySQL, vous devez ajouter le pilote MySQL compatible à l'espace de noms. Vous pouvez importer ou supprimer des pilotes JDBC dans un espace de noms à partir de la page d'administration d'espaces de noms ou directement depuis le hub. Pour plus d'informations, consultez la section Pilotes de plug-in.
  • Gestion du contrôle des sources: pour gérer efficacement le processus de développement des pipelines déployés, la gestion du contrôle des sources vous permet de connecter un espace de noms au dépôt de votre système de contrôle des sources. Pour en savoir plus, consultez la page Gérer les pipelines à l'aide de la gestion du contrôle des sources.
  • Compte de service: pour contrôler l'accès aux ressources Google Cloud, les espaces de noms dans Cloud Data Fusion utilisent l'agent de service de l'API Cloud Data Fusion par défaut.

Pour une meilleure isolation des données, vous pouvez associer un compte de service Identity and Access Management (IAM) personnalisé (appelé compte de service par espace de noms) à chaque espace de noms. Le compte de service IAM personnalisé, qui peut être différent pour différents espaces de noms, vous permet de contrôler l'accès aux ressources Google Cloud entre les espaces de noms pour les opérations au moment de la conception du pipeline dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et la validation du pipeline. Pour en savoir plus, consultez la page Contrôle des accès avec le compte de service d'espace de noms.

Étapes suivantes