HDFS

Le connecteur HDFS vous permet d'effectuer des opérations d'insertion, de suppression, de mise à jour et de lecture sur les données HDFS.

Versions compatibles

Ce connecteur est compatible avec la version 3.4.0 de HDFS Hadoop.

Avant de commencer

Avant d'utiliser le connecteur HDFS, effectuez les tâches suivantes :

  • Dans votre projet Google Cloud :
    • Attribuez le rôle IAM roles/connectors.admin à l'utilisateur qui configure le connecteur.
    • Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un compte de service est un type spécial de compte Google destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Le connecteur et le compte de service doivent appartenir au même projet. Pour en savoir plus, consultez Créer un compte de service.

    • Activez les services suivants :
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Pour savoir comment activer des services, consultez Activer des services.

    Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer au moment de configurer le connecteur.

Configurer le connecteur

Une connexion est propre à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :

  1. Dans la console Cloud, accédez à la page Connecteurs d'intégration > Connexions, puis sélectionnez ou créez un projet Google Cloud.

    Accéder à la page "Connexions"

  2. Cliquez sur + CRÉER pour ouvrir la page Créer une connexion.
  3. Dans la section Emplacement, choisissez l'emplacement de la connexion.
    1. Région : sélectionnez un emplacement dans la liste déroulante.

      Pour obtenir la liste de toutes les régions disponibles, consultez Emplacements.

    2. Cliquez sur SUIVANT.
  4. Dans la section Détails de connexion, procédez comme suit :
    1. Connecteur : sélectionnez HDFS dans la liste déroulante des connecteurs disponibles.
    2. Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
    3. Dans le champ Nom de connexion, indiquez le nom de l'instance de connexion.

      Les noms de connexion doivent répondre aux critères suivants :

      • Ils peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Ils doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Ils ne peuvent pas dépasser 49 caractères.
    4. (Facultatif) Saisissez une description de l'instance de connexion.
    5. (Facultatif) Activez Cloud Logging, puis sélectionnez un niveau de journalisation. Par défaut, le niveau de journalisation est défini sur Error.
    6. Compte de service : sélectionnez un compte de service disposant des rôles requis.
    7. Chemin d'accès : spécifiez le chemin d'accès HDFS à utiliser comme répertoire de travail.
    8. (Facultatif) Configurez les paramètres des nœuds de connexion :

      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter davantage de transactions pour une connexion, vous devez disposer de plus de nœuds. À l'inverse, moins de nœuds sont nécessaires si une connexion traite moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour améliorer la disponibilité) et le nombre maximal de nœuds sur 50.

    9. (Facultatif) Cliquez sur + AJOUTER UNE ÉTIQUETTE pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
    10. Cliquez sur SUIVANT.
  5. Dans la section Destinations, saisissez des informations sur l'hôte distant (système backend) auquel vous souhaitez vous connecter.
    1. Type de destination : sélectionnez un type de destination.
      • Pour spécifier le nom d'hôte ou l'adresse IP de la destination, sélectionnez Adresse de l'hôte, puis saisissez l'adresse dans le champ Hôte 1.
      • Pour établir une connexion privée, sélectionnez Rattachement de point de terminaison, puis choisissez le rattachement requis dans la liste Rattachement de point de terminaison.

      Si vous souhaitez établir une connexion publique à vos systèmes backend avec une sécurité supplémentaire, vous pouvez envisager de configurer des adresses IP sortantes statiques pour vos connexions, puis de configurer vos règles de pare-feu pour ajouter à la liste d'autorisation uniquement les adresses IP statiques spécifiques.

      Pour saisir d'autres destinations, cliquez sur + AJOUTER UNE DESTINATION. 

    2. Cliquez sur SUIVANT.
  6. Dans la section Authentification, saisissez les informations d'authentification.
    1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion HDFS :

      • Nom d'utilisateur et mot de passe

      Pour savoir comment configurer ce type d'authentification, consultez Configurer l'authentification.

    2. Cliquez sur SUIVANT.
  7. Vérifier : vérifiez vos informations de connexion et d'authentification.
  8. Cliquez sur Créer.

Configurer l'authentification

Saisissez les informations en fonction de l'authentification que vous souhaitez utiliser.

  • Nom d'utilisateur et mot de passe
    • Nom d'utilisateur : saisissez le nom d'utilisateur à utiliser pour la connexion HDFS.
    • Mot de passe : saisissez le secret Secret Manager contenant le mot de passe associé au nom d'utilisateur.
    • Version du secret : sélectionnez la version du secret sélectionné ci-dessus.

Exemples de configuration de connexion

Cette section présente des exemples de valeurs pour les différents champs que vous configurez lorsque vous créez la connexion.

Type de connexion avec nom d'utilisateur et mot de passe

Nom du champ Détails
Emplacement europe-west1
Connecteur HDFS
Version du connecteur 1
Nom de connexion hdfs-v24-new
Compte de service mon-compte-service@mon-projet.iam.gserviceaccount.com
Nombre minimal de nœuds 2
Nombre maximal de nœuds 2
Type de destination Adresse de l'hôte
Hôte 10.128.0.
port1 10000
Nom d'utilisateur utilisateur1
Mot de passe MOT DE PASSE
Version du secret 1

Limites du système

Le connecteur HDFS peut traiter au maximum 20 transactions par seconde et par nœud, et limite les transactions au-delà de ce seuil. Par défaut, Integration Connectors alloue deux nœuds (pour améliorer la disponibilité) à une connexion.

Pour en savoir plus sur les limites applicables à Integration Connectors, consultez Limites.

Utiliser la connexion HDFS dans une intégration

Une fois la connexion créée, elle devient disponible dans Apigee Integration et Application Integration. Vous pouvez utiliser la connexion dans une intégration au moyen de la tâche "Connecteurs".

  • Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Apigee Integration, consultez Tâche "Connecteurs".
  • Pour savoir comment créer et utiliser la tâche "Connecteurs" dans Application Integration, consultez Tâche "Connecteurs".

Actions

Cette section explique comment effectuer certaines actions dans ce connecteur.

Action MakeDirectory

Cette action crée un répertoire dans le chemin spécifié.

Paramètres d'entrée de l'action MakeDirectory

Nom du paramètre Type de données Obligatoire Description
Autorisation Chaîne Faux Autorisations permettant de créer un répertoire.
Chemin d'accès Chaîne Vrai Chemin d'accès au nouveau répertoire.

Pour obtenir un exemple de configuration de l'action MakeDirectory, consultez Exemples.

Action ListStatus

Cette action liste le contenu du chemin d'accès fourni.

Paramètres d'entrée de l'action ListStatus

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier.

Pour obtenir un exemple de configuration de l'action ListStatus, consultez Exemples.

Action GetHomeDirectory

Cette action récupère le répertoire personnel de l'utilisateur actuel.

Paramètres d'entrée de l'action GetHomeDirectory

Nom du paramètre Type de données Obligatoire Description
connectorInputPayload Json Vrai Charge utile d'entrée du connecteur.

Pour obtenir un exemple de configuration de l'action GetHomeDirectory, consultez Exemples.

Action DeleteFile

Cette action supprime un fichier ou un répertoire.

Paramètres d'entrée de l'action DeleteFile

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier.
Recursive Booléen Faux Indique si les sous-dossiers d'un dossier doivent être supprimés.

Pour obtenir un exemple de configuration de l'action DeleteFile, consultez Exemples.

Action GetContentSummary

Cette action permet d'obtenir le résumé du contenu d'un fichier ou d'un dossier.

Paramètres d'entrée de l'action GetContentSummary

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier ou au dossier.

Pour obtenir un exemple de configuration de l'action GetContentSummary, consultez Exemples.

Action RenameFile

Cette action renomme un fichier ou un répertoire.

Paramètres d'entrée de l'action RenameFile

Nom du paramètre Type de données Obligatoire Description
chemin d'accès Chaîne Vrai Chemin d'accès au fichier.
destination Chaîne Vrai Spécifie le nouveau nom et le nouveau chemin d'accès du fichier.

Pour obtenir un exemple de configuration de l'action RenameFile, consultez Exemples.

Action SetPermission

Cette action définit l'autorisation d'un chemin d'accès.

Paramètres d'entrée de l'action SetPermission

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier.
Autorisation Chaîne Vrai Spécifie les autorisations Unix dans une notation octale (base 8).

Pour obtenir un exemple de configuration de l'action SetPermission, consultez Exemples.

Action SetPermission

Cette action définit l'autorisation d'un chemin d'accès.

Paramètres d'entrée de l'action SetPermission

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier.
Autorisation Chaîne Vrai Spécifie les autorisations Unix dans une notation octale (base 8).

Pour obtenir un exemple de configuration de l'action SetPermission, consultez Exemples.

Action SetOwner

Cette action définit un propriétaire et un groupe pour un chemin d'accès.

Paramètres d'entrée de l'action SetOwner

Nom du paramètre Type de données Obligatoire Description
Path Chaîne Vrai Chemin d'accès au fichier.
Propriétaire Chaîne Vrai Nouveau propriétaire du chemin d'accès.
groupe Chaîne Faux Nom du nouveau groupe.

Pour obtenir un exemple de configuration de l'action SetOwner, consultez Exemples.

Action UploadFile

Cette action importe un fichier.

Paramètres d'entrée de l'action UploadFile

Nom du paramètre Type de données Obligatoire Description
chemin d'accès Chaîne Vrai Chemin d'accès au fichier.
Contenu STRING Vrai Contenu du fichier importé.

Pour obtenir un exemple de configuration de l'action UploadFile, consultez Exemples.

Action DownloadFile

Cette action télécharge un fichier.

Paramètres d'entrée de l'action DownloadFile

Nom du paramètre Type de données Obligatoire Description
chemin d'accès Chaîne Vrai Chemin d'accès au fichier.
WriteToFile Chaîne Faux Emplacement local du fichier dans lequel la sortie est écrite.

Pour obtenir un exemple de configuration de l'action DownloadFile, consultez Exemples.

Action AppendToFile

Cette action ajoute un fichier.

Paramètres d'entrée de l'action AppendToFile

Nom du paramètre Type de données Obligatoire Description
chemin d'accès Chaîne Vrai Chemin d'accès au fichier.
Contenu STRING Vrai Contenu à ajouter au fichier.

Pour obtenir un exemple de configuration de l'action AppendToFile, consultez Exemples.

Action GetFileChecksum

Cette action permet d'obtenir la somme de contrôle d'un fichier.

Paramètres d'entrée de l'action GetFileChecksum

Nom du paramètre Type de données Obligatoire Description
chemin d'accès Chaîne Vrai Chemin d'accès au fichier.

Pour obtenir un exemple de configuration de l'action GetFileChecksum, consultez Exemples.

Exemples d'actions

Cette section explique comment effectuer certaines actions dans ce connecteur.

Exemple : Créer un répertoire

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action MakeDirectory, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Récupérer le répertoire d'accueil

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action GetHomeDirectory, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
      {}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Path": "/user/hduser"
}]

Exemple : Supprimer un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DeleteFile, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser/testFile"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Lister l'état d'un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action ListStatus, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "path": "/user/hduser/deletefile"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "fileId": 16471.0,
  "PathSuffix": "data.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 38.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.921",
  "accessTime": "2024-08-16 16:12:01.888",
  "type": "FILE"
}, {
  "fileId": 16469.0,
  "PathSuffix": "file2.txt",
  "owner": "hduser",
  "group": "supergroup",
  "length": 53.0,
  "permission": "644",
  "replication": 1.0,
  "storagePolicy": 0.0,
  "childrenNum": 0.0,
  "blockSize": 1.34217728E8,
  "modificationTime": "2024-08-16 16:12:01.762",
  "accessTime": "2024-08-16 16:12:01.447",
  "type": "FILE"
}]

Exemple : Obtenir un résumé du contenu d'un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action GetContentSummary, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser/appendtofile"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

      [{
  "DirectoryCount": "1",
  "FileCount": "1",
  "Length": 52.0,
  "Quota": -1.0,
  "SpaceConsumed": 52.0,
  "SpaceQuota": -1.0,
  "ecpolicy": "",
  "snapshotdirectorycount": "0",
  "snapshotfilecount": "0",
  "snapshotlength": "0",
  "snapshotspaceconsumed": "0"
}]

Exemple : Renommer un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action hdfs_RenameFile_action, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser/renamefile_second/file1.txt",
  "Destination": "/user/hduser/renamefile_second/file1rename"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Définir l'autorisation d'un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action SetPermission, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Permission": "777"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Définir le propriétaire d'un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action SetOwner, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    {
  "Path": "/user/hduser/gcpdirectory",
  "Owner": "newowner"
}

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Importer un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action UploadFile, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
       { "Path": "/user/newfile9087.txt", "Content": "string" }

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [{
  "Success": true
}]

Exemple : Télécharger un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DownloadFile, puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [ { "Output": "This is sample File\nfor this testing\ncontent" } ]

Exemple : Ajouter un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action AppendToFile , puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    { "Path": "/user/sampleFile/file1.txt", "Content": "content" }

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [ { "Success": true } ]

Exemple : Obtenir la somme de contrôle d'un fichier

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action GetFileChecksum , puis cliquez sur OK.
  3. Dans la section Mappage de données, cliquez sur Open Data Mapping Editor, puis saisissez une valeur semblable à la suivante dans le champ Input : 
    { "Path": "/user/sampleFile/file1.txt" }

    4. Si l'action aboutit, le paramètre de réponse connectorOutputPayload de la tâche "Connecteurs" aura une valeur semblable à la suivante :

    [ { "Algorithm": "MD5-of-0MD5-of-512CRC32C", "Bytes": "00000200000000000000000080f5b53ae8c165ae56e86109b8bb2a1700000000", "Length": 28 } ]

Exemples d'opérations d'entité

Cette section explique comment effectuer certaines opérations d'entité dans ce connecteur.

Exemple : Lister les données de tous les fichiers

Cet exemple extrait les données de tous les fichiers de l'entité Files.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Object dans la liste Entity.
  3. Sélectionnez l'opération List, puis cliquez sur OK.

Exemple : Obtenir les données d'une autorisation

Cet exemple récupère les données de l'autorisation ayant l'ID spécifié à partir de l'entité Permission.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Permission dans la liste Entity.
  3. Sélectionnez l'opération Get, puis cliquez sur OK.
  4. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur EntityId, puis saisissez /user/hduser/appendfile dans le champ Valeur par défaut.

    Ici, /user/hduser/appendfile est un ID unique dans l'entité Permission.

Demander de l'aide à la communauté Google Cloud

Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.

Étapes suivantes