Cette page a été traduite par l'API Cloud Translation.

Source de lot Cloud Storage

Cette page fournit des conseils pour configurer le plug-in de source par lot Cloud Storage dans Cloud Data Fusion.

Le plug-in de source de traitement par lots Cloud Storage vous permet de lire les données des buckets Cloud Storage et de les importer dans Cloud Data Fusion pour un traitement et une transformation ultérieurs. Il vous permet de charger des données à partir de plusieurs formats de fichiers, y compris les suivants:

Structuré: CSV, Avro, Parquet, ORC
Semi-structuré: JSON, XML
Autres: texte, binaire

Avant de commencer

Cloud Data Fusion compte généralement deux comptes de service:

Compte de service au moment de la conception : Agent de service de l'API Cloud Data Fusion
Compte de service au moment de l'exécution : Compte de service Compute Engine

Avant d'utiliser le plug-in de source de lot Cloud Storage, accordez le rôle ou les autorisations suivants à chaque compte de service.

Agent de service de l'API Cloud Data Fusion

Ce compte de service dispose déjà de toutes les autorisations requises et vous n'avez pas besoin d'en ajouter d'autres.

Compte de service Compute Engine

Dans votre Google Cloud projet, attribuez les rôles ou autorisations IAM suivants au compte de service Compute Engine:

Lecteur des anciens buckets Storage (roles/storage.legacyBucketReader). Ce rôle prédéfini contient l'autorisation storage.buckets.get requise.
Lecteur des objets de l'espace de stockage (roles/storage.legacyBucketReader) : ce rôle prédéfini contient les autorisations requises suivantes :
- storage.objects.get
- storage.objects.list

Configurer le plug-in

Accédez à l'interface Web de Cloud Data Fusion, puis cliquez sur Studio.
Vérifiez que Pipeline de données – lot est sélectionné (et non Temps réel).
Dans le menu Source, cliquez sur GCS. Le nœud Cloud Storage s'affiche dans votre pipeline.
Pour configurer la source, accédez au nœud Cloud Storage, puis cliquez sur Propriétés.
Saisissez les propriétés suivantes. Pour obtenir la liste complète, consultez la section Propriétés.
1. Saisissez un libellé pour le nœud Cloud Storage (par exemple, Cloud Storage tables).
2. Saisissez les informations de connexion. Vous pouvez configurer une connexion ponctuelle ou une connexion existante réutilisable.
  Nouvelle connexion
  Pour ajouter une connexion unique à Cloud Storage, procédez comme suit:
  1. Laissez l'option Utiliser la connexion désactivée.
  2. Dans le champ ID de projet, laissez la valeur définie sur "Détection automatique".
  3. Dans le champ Type de compte de service, laissez la valeur Chemin d'accès au fichier et le Chemin d'accès au fichier du compte de service sur "Détection automatique".
    
    Remarque :Si le plug-in ne s'exécute pas sur un cluster Dataproc, saisissez les valeurs pour Type de compte de service et Chemin d'accès au fichier du compte de service. Pour en savoir plus, consultez la section Propriétés.
  Connexion réutilisable
  Pour réutiliser une connexion existante, procédez comme suit:
  1. Activez l'option Utiliser la connexion.
  2. Cliquez sur Parcourir les connexions.
  3. Cliquez sur le nom de la connexion (par exemple, Cloud Storage par défaut).
    
    Remarque :Pour en savoir plus sur l'ajout, l'importation et la modification des connexions qui s'affichent lorsque vous parcourez les connexions, consultez la section Gérer les connexions.
  4. Facultatif: Si aucune connexion n'existe et que vous souhaitez en créer une réutilisable, cliquez sur Ajouter une connexion, puis suivez la procédure décrite dans l'onglet Nouvelle connexion de cette page.
3. Dans le champ Nom de référence, saisissez un nom à utiliser pour la lignée (par exemple, data-fusion-gcs-campaign).
4. Dans le champ Chemin d'accès, saisissez le chemin d'accès à lire (par exemple, gs://BUCKET_PATH).
5. Dans le champ Format, sélectionnez l'un des formats de fichier suivants pour les données lues:
  - avro
  - blob (le format blob nécessite un schéma contenant un champ nommé "body" de type "octets")
  - csv
  - délimités
  - json
  - parquet
  - text (le format de texte nécessite un schéma contenant un champ nommé "body" de type chaîne)
  - tsv
  - Nom de tout plug-in de format que vous avez déployé dans votre environnement
  Remarque :Si vous utilisez une macro dans ce champ, vous devez utiliser l'un des formats prédéfinis. Les macros ne sont pas compatibles avec les formats ajoutés par les plug-ins.
6. Facultatif: Pour tester la connectivité, cliquez sur Obtenir un schéma.
7. Facultatif: dans le champ Taille de l'échantillon, saisissez le nombre maximal de lignes à vérifier pour le type de données sélectionné (par exemple, 1000).
8. Facultatif: dans le champ Ignorer, saisissez les noms des colonnes et leurs types de données respectifs à ignorer.
9. Facultatif: saisissez des propriétés avancées, telles qu'une taille de fractionnement minimale ou un filtre de chemin d'expression régulière (voir Propriétés).
10. Facultatif: Dans le champ Nom du bucket temporaire, saisissez un nom pour le bucket Cloud Storage.
(Facultatif) Cliquez sur Valider et corrigez les erreurs détectées.
Cliquez sur Fermer. Les propriétés sont enregistrées et vous pouvez continuer à créer votre pipeline de données dans Cloud Data Fusion Studio.

Propriétés

Propriété	Macro activée	Propriété obligatoire	Description
Label	Non	Oui	Nom du nœud de votre pipeline de données.
Utiliser la connexion	Non	Non	Recherchez une connexion réutilisable à la source. Pour en savoir plus sur l'ajout, l'importation et la modification des connexions qui s'affichent lorsque vous les parcourez, consultez Gérer les connexions.
Connexion	Oui	Oui	Si l'option Utiliser la connexion est activée, le nom de la connexion réutilisable que vous sélectionnez s'affiche dans ce champ.
ID du projet	Oui	Non	Utilisé uniquement lorsque l'option Utiliser la connexion est désactivée. Identifiant unique au niveau mondial du projet. La valeur par défaut est `auto-detect`.
Type de compte de service	Oui	Non	Sélectionnez l'une des options suivantes: Chemin d'accès au fichier: chemin d'accès au fichier où se trouve le compte de service. JSON : contenu JSON du compte de service.
Chemin d'accès au fichier du compte de service	Oui	Non	Utilisé uniquement lorsque la valeur du type de compte de service est Chemin d'accès au fichier. Chemin d'accès sur le système de fichiers local de la clé de compte de service utilisée pour l'autorisation. Si les tâches s'exécutent sur des clusters Dataproc, définissez la valeur sur "détection automatique". Si les tâches s'exécutent sur d'autres types de clusters, le fichier doit être présent sur chaque nœud du cluster. La valeur par défaut est `auto-detect`.
JSON du compte de service	Oui	Non	Utilisé uniquement lorsque la valeur du champ "Type de compte de service" est JSON. Contenu du fichier JSON du compte de service.
Nom de référence	Non	Oui	Nom qui identifie de manière unique cette source pour d'autres services, tels que la traçabilité et l'annotation de métadonnées.
Chemin d'accès	Oui	Oui	Chemin d'accès aux fichiers à lire. Si un répertoire est spécifié, terminez le chemin d'accès par une barre oblique inverse (`/`). Par exemple, `gs://bucket/path/to/directory/`. Pour faire correspondre un modèle de nom de fichier, vous pouvez utiliser un astérisque (`*`) comme caractère générique. Si aucun fichier n'est trouvé ou mis en correspondance, le pipeline échoue.
Format	Non	Oui	Format des données à lire. Le format doit être l'un des suivants : avro blob (le format blob nécessite un schéma contenant un champ nommé "body" de type "octets") csv délimités json parquet text (le format de texte nécessite un schéma contenant un champ nommé "body" de type chaîne) tsv Nom de tout plug-in de format que vous avez déployé dans votre environnement Si le format est une macro, seuls les formats prédéfinis peuvent être utilisés.
Taille de l'échantillon	Oui	Non	Nombre maximal de lignes examinées pour la détection automatique du type de données. La valeur par défaut est 1 000.
Forcer	Oui	Non	Liste des colonnes avec les données correspondantes à partir desquelles la détection automatique du type de données est ignorée.
Séparateur	Oui	Non	Délimiteur à utiliser lorsque le format est délimité. Cette propriété est ignorée pour les autres formats.
Activer les valeurs entre guillemets	Oui	Non	Indique si le contenu entre guillemets doit être traité comme une valeur. Cette propriété n'est utilisée que pour les formats csv, tsv ou délimité. Par exemple, si cette propriété est définie sur "true", le résultat suivant génère deux champs: `1, "a, b, c"`. La valeur du premier champ est `1`. Le second contient `a, b, c`. Les caractères de guillemet sont supprimés. Le délimiteur de retour à la ligne ne peut pas être placé entre guillemets. Le plug-in suppose que les guillemets sont correctement placés, par exemple, `"a, b, c"`. Ne pas fermer une citation (`"a,b,c,`) entraîne une erreur. La valeur par défaut est False (Faux).
Utiliser la première ligne pour l'en-tête	Oui	Non	Indique si la première ligne de chaque fichier doit être utilisée comme en-tête de colonne. Les formats acceptés sont texte, csv, tsv et délimité. La valeur par défaut est False.
Taille de fractionnement minimale	Oui	Non	Taille minimale, en octets, pour chaque partition d'entrée. Les partitions plus petites augmentent le niveau de parallélisme, mais nécessitent davantage de ressources et de frais généraux. Si la valeur Format est `blob`, vous ne pouvez pas diviser les données.
Taille de fractionnement maximale	Oui	Non	Taille maximale, en octets, pour chaque partition d'entrée. Les partitions plus petites augmentent le niveau de parallélisme, mais nécessitent davantage de ressources et de frais généraux. Si la valeur Format est `blob`, vous ne pouvez pas diviser les données. La valeur par défaut est 128 Mo.
Filtre de chemin d'accès avec expression régulière	Oui	Non	Expression régulière que les chemins d'accès des fichiers doivent respecter pour être inclus dans l'entrée. Le chemin d'accès complet est comparé, et non seulement le nom du fichier. Si aucun fichier n'est fourni, aucun filtrage de fichiers n'est effectué. Pour en savoir plus sur la syntaxe des expressions régulières, consultez la section Modèle.
Champ de chemin d'accès	Oui	Non	Champ de sortie pour placer le chemin d'accès au fichier à partir duquel l'enregistrement a été lu. Si ce n'est pas le cas, le chemin d'accès n'est pas inclus dans les enregistrements de sortie. Si spécifié, le champ doit exister dans le schéma de sortie sous forme de chaîne.
Nom de fichier du chemin d'accès uniquement	Oui	Non	Si une propriété Champ de chemin d'accès est définie, utilisez uniquement le nom du fichier et non l'URI du chemin d'accès. La valeur par défaut est False.
Lire des fichiers de manière récursive	Oui	Non	Indique si les fichiers doivent être lus de manière récursive à partir du chemin d'accès. La valeur par défaut est False.
Autoriser la saisie vide	Oui	Non	Indique si un chemin d'accès d'entrée ne contenant aucune donnée est autorisé. Si cette valeur est définie sur False, le plug-in génère une erreur lorsqu'il n'y a pas de données à lire. Lorsque cette valeur est définie sur True, aucune erreur n'est générée et aucun enregistrement n'est lu. La valeur par défaut est False.
Fichiers de données chiffrés	Oui	Non	Indique si les fichiers sont chiffrés. Pour en savoir plus, consultez la section Chiffrement des fichiers de données. La valeur par défaut est False.
Suffixe du fichier de métadonnées de chiffrement	Oui	Non	Suffixe du nom de fichier pour le fichier de métadonnées de chiffrement. La valeur par défaut est metadata.
Propriétés du système de fichiers	Oui	Non	Propriétés supplémentaires à utiliser avec InputFormat lors de la lecture des données.
Encodage de fichier	Oui	Non	Encodage des caractères des fichiers à lire. La valeur par défaut est UTF-8.
Schéma de sortie	Oui	Non	Si une propriété Champ de chemin d'accès est définie, elle doit être présente dans le schéma sous la forme d'une chaîne.

Chiffrement des fichiers de données

Cette section décrit la propriété Chiffrement des fichiers de données. Si vous le définissez sur true, les fichiers sont déchiffrés à l'aide de l'AEAD en streaming fourni par la bibliothèque Tink. Chaque fichier de données doit être accompagné d'un fichier de métadonnées contenant les informations de chiffrement. Par exemple, un fichier de données chiffré situé dans gs://BUCKET/PATH_TO_DIRECTORY/file1.csv.enc doit disposer d'un fichier de métadonnées dans gs://BUCKET/ PATH_TO_DIRECTORY/file1.csv.enc.metadata. Le fichier de métadonnées contient un objet JSON avec les propriétés suivantes:

Propriété	Description
`kms`	URI Cloud Key Management Service utilisé pour chiffrer la clé de chiffrement des données.
`aad`	Données authentifiées supplémentaires encodées en base64 utilisées pour le chiffrement.
`key set`	Objet JSON représentant les informations sérialisées de la collection de clés de la bibliothèque Tink.

Exemple

    /* Counting example */
    {

      "kms": "gcp-kms://projects/my-key-project/locations/us-west1/keyRings/my-key-ring/cryptoKeys/mykey",

      "aad": "73iT4SUJBM24umXecCCf3A==",

      "keyset": {

          "keysetInfo": {

              "primaryKeyId": 602257784,

              "keyInfo": [{

                  "typeUrl": "type.googleapis.com/google.crypto.tink.AesGcmHkdfStreamingKey",

                  "outputPrefixType": "RAW",

                  "keyId": 602257784,

                  "status": "ENABLED"

              }]

          },

          "encryptedKeyset": "CiQAz5HH+nUA0Zuqnz4LCnBEVTHS72s/zwjpcnAMIPGpW6kxLggSrAEAcJKHmXeg8kfJ3GD4GuFeWDZzgGn3tfolk6Yf5d7rxKxDEChIMWJWGhWlDHbBW5B9HqWfKx2nQWSC+zjM8FLefVtPYrdJ8n6Eg8ksAnSyXmhN5LoIj6az3XBugtXvCCotQHrBuyoDY+j5ZH9J4tm/bzrLEjCdWAc+oAlhsUAV77jZhowJr6EBiyVuRVfcwLwiscWkQ9J7jjHc7ih9HKfnqAZmQ6iWP36OMrEn"

      }

    }

Notes de version

6 septembre 2023

Étape suivante

En savoir plus sur les plug-ins dans Cloud Data Fusion