Azure Data Lake Storage

Le connecteur Azure Data Lake Storage vous permet de vous connecter à Azure Data Lake Storage, et d'utiliser SQL pour récupérer et mettre à jour les données Azure Data Lake Storage.

Avant de commencer

Avant d'utiliser le connecteur Azure Data Lake Storage, effectuez les tâches suivantes:

  • Dans votre projet Google Cloud :
    • Accorder à l'utilisateur le rôle IAM roles/connectors.admin configuration du connecteur.
    • Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un compte de service est un compte Google spécial destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Pour plus d'informations, consultez la section Créer un compte de service.

    • Activez les services suivants :
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Pour savoir comment activer des services, consultez la page Activer des services.

    Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer lors de la configuration du connecteur.

Configurer le connecteur

Pour configurer le connecteur, vous devez créer une connexion à votre source de données (système backend). Une connexion est spécifique à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :

  1. Dans la console Cloud, accédez à la page Integration Connectors > Connections (Connecteurs d'intégration > Connexions), puis sélectionnez ou créez un projet Google Cloud.

    Accéder à la page "Connexions"

  2. Cliquez sur + Créer pour ouvrir la page Créer une connexion.
  3. Dans la section Emplacement, choisissez l'emplacement de la connexion.
    1. Région : sélectionnez un emplacement dans la liste déroulante.

      Les régions disponibles pour les connecteurs sont les suivantes :

      Pour obtenir la liste de toutes les régions disponibles, consultez la page Emplacements.

    2. Cliquez sur Next (Suivant).
  4. Dans la section Détails de connexion, procédez comme suit :
    1. Connecteur: sélectionnez Azure Data Lake Storage dans la liste déroulante des connecteurs disponibles.
    2. Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
    3. Dans le champ Nom de connexion, saisissez un nom pour l'instance de connexion.

      Les noms de connexion doivent répondre aux critères suivants :

      • Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Les noms de connexion doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Les noms de connexion ne peuvent pas dépasser 63 caractères.
    4. Saisissez éventuellement une Description pour l'instance de connexion.
    5. Compte de service : sélectionnez un compte de service disposant des rôles requis.
    6. Vous pouvez également configurer les paramètres du nœud de connexion :

      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

    7. Account (Compte) : cette propriété spécifie le nom du compte Azure Data Lake Storage.
    8. Directory (Répertoire) : cette propriété spécifie le chemin d'accès racine pour lister les fichiers et les dossiers.
    9. File System (Système de fichiers) : cette propriété spécifie le nom du FileSystem qui sera utilisé dans un compte de stockage de génération 2. Par exemple, le nom de votre conteneur blob Azure.
    10. Taille des fragments: taille des fragments (en Mo) à utiliser pour importer des fichiers volumineux.
    11. Include Sub Directories (Inclure les sous-répertoires) : indiquez si les chemins d'accès aux sous-répertoires doivent être répertoriés dans la vue "Resources" (Ressources) du schéma ADLSGen2.
    12. Vous pouvez également cliquer sur + Ajouter une étiquette pour ajouter une étiquette à la connexion sous la forme d'une paire clé/valeur.
    13. Cliquez sur Suivant.
  5. Dans la section Authentification, saisissez les informations d'authentification.
    1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Azure Data Lake Storage:

      • Signature d'accès partagé
      • Clé d'accès au compte

      2. Pour comprendre comment configurer ces types d'authentification, consultez la section Configurer l'authentification.

    2. Cliquez sur Next (Suivant).
  6. Vérifiez vos informations de connexion et d'authentification.
  7. Cliquez sur Créer.

Configurer l'authentification

Saisissez les détails en fonction de l'authentification que vous souhaitez utiliser.

  • Signature d'accès partagé

    Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    • Signature d'accès partagé: secret Secret Manager contenant la signature d'accès partagé.
  • Clé d'accès au compte

    Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    • Clé d'accès au compte: code secret du gestionnaire de secrets contenant la clé d'accès au compte.

Entités, opérations et actions

Tous les connecteurs Integration Connectors fournissent une couche d'abstraction pour les objets de l'application connectée. Vous ne pouvez accéder aux objets d'une application que via cette abstraction. L'abstraction vous est présentée en tant qu'entités, opérations et actions.

  • Entité : une entité peut être considérée comme un objet ou un ensemble de propriétés dans l'application ou le service connecté. La définition d'une entité diffère d'un connecteur à l'autre. Par exemple, dans un connecteur de base de données, les tables sont les entités, dans un connecteur de serveur de fichiers, les dossiers sont les entités et, dans un connecteur de système de messagerie, les files d'attente sont les entités.

    Toutefois, il est possible qu'un connecteur ne soit pas compatible ou ne possède aucune entité. Dans ce cas, la liste Entities est vide.

  • Opération : une opération est l'activité que vous pouvez effectuer sur une entité. Vous pouvez effectuer l'une des opérations suivantes sur une entité :

    La sélection d'une entité dans la liste disponible génère une liste d'opérations disponibles pour l'entité. Pour obtenir une description détaillée des opérations, consultez les opérations d'entité de la tâche de connecteur. Toutefois, si un connecteur n'accepte aucune des opérations d'entité, d'opérations ne sont pas répertoriées dans la liste Operations.

  • Action : une action est une fonction de première classe mise à la disposition de l'intégration via l'interface du connecteur. Une action vous permet de modifier une ou plusieurs entités, et varie d'un connecteur à l'autre. Normalement, une action comporte des paramètres d'entrée et une sortie . Toutefois, il est possible qu'un connecteur ne prenne en charge aucune action, auquel cas la liste Actions est vide.

Limites du système

Le connecteur Azure Data Lake Storage peut traiter 5 transactions par seconde, par nœud, et régule toutes les transactions au-delà de cette limite. Par défaut, Integration Connectors alloue deux nœuds (pour une meilleure disponibilité) à une connexion.

Pour en savoir plus sur les limites applicables à Integration Connectors, consultez Limites.

Actions

Cette section liste les actions compatibles avec le connecteur. Pour comprendre comment configurer consultez la section Exemples d'actions.

Action DownloadFile

Cette action vous permet de télécharger le contenu d'un blob en particulier à partir d'un répertoire ou d'un conteneur.

Paramètres d'entrée de l'action DownloadFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier à télécharger (y compris son nom). Par exemple :
  • FILE_NAME
  • dir1/FILE_NAME
  • dir1/dir2/FILE_NAME
HasBytes Booléen Non Indique si le contenu doit être téléchargé sous forme d'octets (format Base64).
  • Pour télécharger des fichiers non textuels tels que .pdf, .xls et .docx, vous devez définir HasBytes à true.
  • Pour télécharger un fichier texte, vous pouvez définir HasBytes sur true ou false. Si vous définissez la valeur sur true, le texte le contenu est téléchargé en octets (format Base64).
La valeur par défaut de ce paramètre est false.

Paramètres de sortie de l'action DownloadFile

Si l'action aboutit, elle renvoie le contenu du fichier ou de l'objet blob.

Par exemple, pour configurer l'action DownloadFile, consultez les exemples d'actions.

Action CreateFile

Cette action vous permet de créer un blob ou un fichier dans un conteneur ou un répertoire.

Paramètres d'entrée de l'action CreateFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier qui sera créé.

Par exemple, pour configurer l'action CreateFile, consultez les exemples d'actions.

Action CopyFile

Cette action vous permet de copier le contenu d'un fichier ou d'un blob dans un autre fichier ou blob du même conteneur ou du même répertoire.

Paramètres d'entrée de l'action CopyFile

Nom du paramètre Type de données Obligatoire Description
Chemin source Chaîne Oui Chemin du fichier qui sera copié.
DestinationPath Chaîne Oui Chemin d'accès au fichier où il sera copié.

Par exemple, pour configurer l'action CopyFile, consultez les exemples d'actions.

Action DeleteObject

Cette action vous permet de supprimer un fichier ou un blob.

Paramètres d'entrée de l'action DeleteObject

Nom du paramètre Type de données Obligatoire Description
Récursive Chaîne Non Définissez ce paramètre sur true pour supprimer tout le contenu du dossier, y compris les éventuels sous-dossiers.
Chemin d'accès Chaîne Oui Chemin d'accès au fichier ou au dossier à supprimer.
DeleteType Chaîne Oui
  • Définissez ce paramètre sur FILESANDFOLDERS pour supprimer le fichier ou le dossier spécifié dans le paramètre "Chemin".
  • Définissez ce paramètre sur FICHIERS pour supprimer uniquement les fichiers contenus dans le dossier spécifié dans le paramètre "Chemin d'accès".

Par exemple, pour configurer l'action DeleteObject, consultez les exemples d'actions.

Action LeaseBlob

Cette action vous permet de créer et de gérer un verrou sur un blob.

Paramètres d'entrée de l'action LeaseBlob

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier.
LeaseAction Chaîne Oui Spécifie l'action de location à exécuter.
LeaseDuration Integer Oui Spécifie la durée du bail.

Par exemple, pour configurer l'action LeaseBlob, consultez les exemples d'actions.

Action UploadFile

Cette action permet aux utilisateurs d'importer le contenu dans un blob ou un conteneur spécifique.

Paramètres d'entrée de l'action UploadFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier à importer.
HasBytes Booléen Non Indique si le contenu doit être importé sous la forme d'octets.
Contenu Chaîne Oui Contenu à importer.

Par exemple, pour configurer l'action UploadFile, consultez les exemples d'actions.

Action RenameObject

Cette action vous permet de renommer un fichier ou un dossier.

Paramètres d'entrée de l'action RenameObject

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès qui sera renommé.
RenameTo Chaîne Oui Nouveau nom du fichier ou du dossier.

Par exemple, pour configurer l'action RenameObject, consultez les exemples d'actions.

Exemples d'actions

Exemple : Télécharger un fichier

Cet exemple télécharge un fichier binaire.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DownloadFile, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"Path": "testdirectory1/test1.pdf",
"HasBytes": true
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche DownloadFile aura une valeur semblable à celle-ci:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Exemple : Importer un fichier

Cet exemple importe du contenu sous forme de blob.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action UploadFile, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche UploadFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Créer un fichier

Cet exemple crée un fichier dans le répertoire spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action CreateFile, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche CreateFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Copier un fichier

Dans cet exemple, un fichier est copié d'un emplacement à un autre.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action CopyFile, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche CopyFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Supprimer un blob

Cet exemple supprime l'objet blob spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DeleteObject, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche DeleteObject aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple – Louer un blob

Cet exemple loue l'objet blob spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action LeaseBlob, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche LeaseBlob aura une valeur semblable à celle-ci:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Exemple : renommer un blob

Cet exemple renomme un blob.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action RenameObject, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à celle-ci dans la section Champ Default Value: 
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Si l'action aboutit, la Réponse connectorOutputPayload de la tâche RenameObject aura une valeur semblable à celle-ci:

    [{
"Success": true
}]

Exemples d'opérations sur les entités

Cette section explique comment effectuer certaines opérations sur les entités dans ce connecteur.

Exemple : Répertorier tous les enregistrements

Cet exemple répertorie tous les enregistrements de l'entité Resource.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Resource dans la liste Entity.
  3. Sélectionnez l'opération List, puis cliquez sur OK.
  4. Dans la section Task Input (Entrée dans la tâche) de la tâche Connectors (Connecteurs), vous pouvez éventuellement filtrer votre ensemble de résultats en spécifiant une clause de filtre. Spécifiez toujours la valeur de la clause de filtre entre guillemets simples (').

Exemple – Obtenir un enregistrement

Cet exemple récupère un enregistrement avec l'ID spécifié à partir de l'entité Resource.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Resource dans la liste Entity.
  3. Sélectionnez l'opération Get, puis cliquez sur OK.
  4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur EntityId (ID d'entité). puis saisissez testdirectory1/testblob1 dans le champ Default Value (Valeur par défaut).

    Ici, testdirectory1/testblob1 est un ID d'enregistrement unique dans l'entité Resource.

Utiliser la connexion Azure Data Lake Storage dans une intégration

Une fois la connexion créée, elle devient disponible à la fois Apigee Integration et Application Integration. Vous pouvez utiliser la connexion lors d'une intégration via la tâche "Connecteurs".

  • Pour comprendre comment créer et utiliser la tâche "Connecteurs" dans Apigee Integration, consultez la section Tâche Connecteurs.
  • Pour découvrir comment créer et utiliser la tâche Connecteurs dans Application Integration, consultez la section Tâche Connecteurs.

Obtenir de l'aide auprès de la communauté Google Cloud

Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.

Étape suivante