Gérer l'administration de Studio

Cette page décrit les fonctionnalités d'administration Cloud Data Fusion Studio fournit pour gérer les configurations. Cloud Data Fusion suit une hiérarchie, où chaque instance peut avoir plusieurs espaces de noms. Dans Cloud Data Fusion Studio, les administrateurs peut gérer tous les espaces de noms de manière centralisée ou individuellement. Cloud Data Fusion Studio fournit le système et l'espace de noms suivants : .

Administration système

Cliquez sur System admin (Administrateur système) dans Cloud Data Fusion Studio pour afficher onglets suivants:

  • L'onglet Gestion vous permet d'afficher l'état de fonctionnement aux services Cloud Data Fusion. Vous pouvez également afficher les journaux services.

  • L'onglet Configuration vous permet de créer, d'afficher et de modifier les commandes suivantes :

Les provisionneurs sont chargés de créer, d'initialiser et de détruire l'environnement cloud dans lequel les pipelines s'exécutent. Chaque approvisionneur expose un ensemble de configuration permettant de contrôler le type de cluster créé et supprimé. Les différents provisionneurs créent différents types de clusters.

Chaque profil de calcul est associé à un champ d'application: système ou utilisateur. Vous pouvez utiliser une instance pour tous les espaces de noms sous-jacents. Les profils de calcul utilisateur existent dans d'espace de noms. Seuls les pipelines de cet espace de noms peuvent utiliser profils.

Dans l'onglet Configurations de l'administrateur système, vous pouvez créer un s'applique à tous les espaces de noms. Cloud Data Fusion attribue un profil de calcul par défaut.

Lorsque vous créez un profil de calcul, vous sélectionnez le provisionneur, qui est utilisé par le profil pour créer et configurer les détails d'exécution cloud.

Préférences système

Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux au sein Cloud Data Fusion, y compris le système lui-même, les espaces de noms et les applications (qui contiennent des pipelines) et des programmes individuels dans les pipelines. Préférences fournir un moyen de définir des valeurs par défaut pour les configurations couramment utilisées. Ces les valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit des tâches de configuration répétitives. Pour en savoir plus, consultez l'article Gérer les macros, préférences et arguments d'exécution.

Action d'appel HTTP

L'action d'appel HTTP sur la page System admin (Administrateur système) vous permet d'interagir avec l'API de Cloud Data Fusion ou d'autres API de service Google Cloud, directement depuis l'interface Cloud Data Fusion Studio. Toutefois, créer des pipelines de traitement de données avec des sources de données externes, utilisez plutôt le plug-in HTTP et son exécuteur d'appel HTTP dans vos pipelines pour une solution complète. Elle diffère légèrement de l'action d'appel HTTP, mais concepts sous-jacents sont similaires.

Configurations et cas d'utilisation

L'action d'appel HTTP est principalement utilisée pour les tâches d'administration ou de configuration dans Cloud Data Fusion. Elle vous permet d'interagir avec l'API Cloud Data Fusion ou d'autres services Google Cloud qui exposent une API HTTP, directement depuis Cloud Data Fusion dans Google Marketing Platform Studio.

Configurations

Vous pouvez définir les détails suivants pour un appel HTTP:

  • URL: point de terminaison cible du service Web que vous souhaitez .
  • Méthode: méthode HTTP à utiliser (par exemple, GET) POST ou PUT.
  • Facultatif – En-têtes : tout en-tête personnalisé requis pour le paramètre requête.
  • Facultatif – Corps : données à envoyer dans le corps de la requête, par exemple pour les appels POST et PUT.

Vous pouvez ensuite exécuter l'appel HTTP défini et afficher la réponse du dans Cloud Data Fusion Studio.

Cas d'utilisation
  • Tester les appels d'API Cloud Data Fusion Vous pouvez utiliser l'appel HTTP Action permettant de tester ou d'explorer les fonctionnalités de l'API Cloud Data Fusion directement depuis l'interface Web. Cette action peut être utile pour comprendre le comportement de l'API ou résoudre les problèmes potentiels.
  • Gérer les espaces de noms (option avancée) Bien qu'il existe une interface utilisateur dédiée la gestion des espaces de noms, l'action d'appel HTTP peut être utilisée pour les tâches avancées en appelant directement l'API Cloud Data Fusion pour l'espace de noms création, suppression ou configuration.
  • Interagir avec d'autres services Google Cloud (limité) Si d'autres services Google Cloud que vous utilisez disposent d'une API HTTP documentée publiquement, vous pouvez utiliser l'action d'appel HTTP pour interagir avec ces services, bien que ce soit un cas d'utilisation inhabituel.
Remarques importantes
  • Sécurité: soyez prudent lorsque vous utilisez l'action d'appel HTTP. en particulier pour les données sensibles ou les appels d'API Cloud Data Fusion peut avoir un impact sur votre environnement. Assurez-vous de bien comprendre les les implications de chaque appel d'API avant de l'exécuter.
  • Limites: l'appel HTTP est principalement destiné tâches administratives et à des fins de test. Il n'est pas conçu pour créer des pipelines de traitement des données complexes impliquant la manipulation de données dans Cloud Data Fusion.
  • Alternative pour les pipelines : pour intégrer des sources ou des services de données externes dans vos pipelines de données, utilisez le plug-in HTTP et l'exécuteur d'appels HTTP associé dans vos définitions de pipeline. Ce offre une méthode plus robuste et plus contrôlée pour gérer les interactions HTTP dans vos workflows de traitement des données.

Administration des espaces de noms

En cliquant sur Administrateur d'espaces de noms dans Cloud Data Fusion Studio, vous pouvez gérer les configurations de l'espace de noms spécifique. Pour chaque espace de noms, vous devez peut définir les aspects suivants:

  • Profils Compute: les profils configurés dans Administrateur d'espaces de noms sont des profils utilisateur. profils de calcul. Seuls les pipelines de cet espace de noms peuvent utiliser ces identifiants profils de calcul. Pour en savoir plus, consultez la section Gérer les profils de calcul.
  • Preferences (Préférences) : les préférences définies au niveau de l'espace de noms s'appliquent à l'espace de noms, les applications (qui contiennent des pipelines) et les données dans des pipelines. Pour en savoir plus, consultez l'article Gérer les macros, préférences et arguments d'exécution.
  • Connexions: Cloud Data Fusion vous permet de réutiliser des connexions sources et récepteurs dans les pipelines de données. Vous pouvez ajouter des connexions d'administration des espaces de noms. Pour en savoir plus, consultez Créer et gérer des connexions
  • Pilotes : certains plug-ins de Cloud Data Fusion nécessitent l'ajout d'un pilote JDBC au nom d'espace. Par exemple, avant de pouvoir exécuter un pipeline Plug-in source par lot MySQL, vous devez ajouter le pilote MySQL compatible au espace de noms. Vous pouvez importer ou supprimer des pilotes JDBC dans un espace de noms à partir de d'administration des espaces de noms ou directement depuis le hub. Pour en savoir plus, consultez Pilotes de plug-in.
  • Gestion du contrôle des sources : pour gérer efficacement le processus de développement des pipelines déployés, la gestion du contrôle des sources vous permet de connecter un espace de noms au dépôt de votre système de contrôle des sources. Pour plus consultez la page Gérer les pipelines à l'aide de la gestion du contrôle des sources.
  • Compte de service: pour contrôler l'accès aux ressources Google Cloud les espaces de noms dans Cloud Data Fusion utilisent Agent de service de l'API Cloud Data Fusion par défaut.

Pour une meilleure isolation des données, vous pouvez associer Compte de service Identity and Access Management (IAM) (appelé par espace de noms Service Account) avec chaque espace de noms. Service IAM personnalisé qui peut varier selon les espaces de noms, vous permet de contrôler un accès aux ressources Google Cloud entre les espaces de noms pour le pipeline des opérations au moment de la conception dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et validation du pipeline. Pour en savoir plus, consultez Contrôle des accès avec le compte de service d'espace de noms.

Étape suivante