Azure Data Lake Storage

Le connecteur Azure Data Lake Storage vous permet de vous connecter à Azure Data Lake Storage et d'utiliser SQL pour récupérer et mettre à jour les données Azure Data Lake Storage.

Avant de commencer

Avant d'utiliser le connecteur Azure Data Lake Storage, effectuez les tâches suivantes:

  • Dans votre projet Google Cloud :
    • Vérifiez que la connectivité réseau est configurée. Pour en savoir plus sur les modèles de réseau, consultez la section Connectivité réseau.
    • Attribuez le rôle IAM roles/connectors.admin à l'utilisateur qui configure le connecteur.
    • Attribuez les rôles IAM suivants au compte de service que vous souhaitez utiliser pour le connecteur :
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un compte de service est un compte Google spécial destiné à représenter un utilisateur non humain qui doit s'authentifier et obtenir les autorisations permettant d'accéder aux données des API Google. Si vous ne possédez pas de compte de service, vous devez en créer un. Pour plus d'informations, consultez la section Créer un compte de service.

    • Activez les services suivants :
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Pour savoir comment activer des services, consultez la page Activer des services.

    Si ces services ou autorisations n'ont pas encore été activés pour votre projet, vous êtes invité à les activer lors de la configuration du connecteur.

  • Pour savoir comment créer un compte de stockage Azure, consultez Créer un compte de stockage. Pour en savoir plus sur la création d'un conteneur dans Azure, consultez Créer un conteneur. Pour en savoir plus sur la création d'un répertoire dans Azure, consultez Créer un répertoire.

Configurer le connecteur

Pour configurer le connecteur, vous devez créer une connexion à votre source de données (système backend). Une connexion est spécifique à une source de données. Cela signifie que si vous disposez de nombreuses sources de données, vous devez créer une connexion distincte pour chacune d'elles. Pour créer une connexion, procédez comme suit :

  1. Dans la console Cloud, accédez à la page Integration Connectors > Connections (Connecteurs d'intégration > Connexions), puis sélectionnez ou créez un projet Google Cloud.

    Accéder à la page "Connexions"

  2. Cliquez sur + Créer pour ouvrir la page Créer une connexion.
  3. Dans la section Emplacement, choisissez l'emplacement de la connexion.
    1. Région : sélectionnez un emplacement dans la liste déroulante.

      Les régions disponibles pour les connecteurs sont les suivantes :

      Pour obtenir la liste de toutes les régions disponibles, consultez la page Emplacements.

    2. Cliquez sur Next (Suivant).
  4. Dans la section Détails de connexion, procédez comme suit :
    1. Connecteur: sélectionnez Azure Data Lake Storage dans la liste déroulante des connecteurs disponibles.
    2. Version du connecteur : sélectionnez la version du connecteur dans la liste déroulante des versions disponibles.
    3. Dans le champ Nom de connexion, saisissez un nom pour l'instance de connexion.

      Les noms de connexion doivent répondre aux critères suivants :

      • Les noms de connexion peuvent contenir des lettres, des chiffres ou des traits d'union.
      • Les lettres doivent être en minuscules.
      • Les noms de connexion doivent commencer par une lettre et se terminer par une lettre ou un chiffre.
      • Les noms de connexion ne peuvent pas dépasser 49 caractères.
    4. Saisissez éventuellement une Description pour l'instance de connexion.
    5. Vous pouvez également activer Cloud Logging, puis sélectionner un niveau de journalisation. Par défaut, le niveau de journalisation est défini sur Error.
    6. Compte de service : sélectionnez un compte de service disposant des rôles requis.
    7. Vous pouvez également configurer les paramètres du nœud de connexion :

      • Nombre minimal de nœuds : saisissez le nombre minimal de nœuds de connexion.
      • Nombre maximal de nœuds : saisissez le nombre maximal de nœuds de connexion.

      Un nœud est une unité (ou instance répliquée) de connexion qui traite des transactions. Pour traiter plus de transactions pour une connexion, plus de nœuds sont nécessaires. À l'inverse, moins de nœuds sont nécessaires pour traiter moins de transactions. Pour comprendre comment les nœuds affectent la tarification de votre connecteur, consultez la section Tarifs des nœuds de connexion. Si vous ne saisissez aucune valeur, le nombre minimal de nœuds est défini par défaut sur 2 (pour une meilleure disponibilité) et le nombre maximal sur 50.

    8. Compte: cette propriété spécifie le nom du compte Azure Data Lake Storage.
    9. Directory (Répertoire) : cette propriété spécifie le chemin d'accès racine pour lister les fichiers et les dossiers.
    10. File System (Système de fichiers) : cette propriété spécifie le nom du FileSystem qui sera utilisé dans un compte de stockage de deuxième génération. Par exemple, le nom de votre conteneur de blobs Azure.
    11. Taille des fragments: taille des fragments (en Mo) à utiliser lors de l'importation de fichiers volumineux.
    12. Inclure les sous-répertoires: indiquez si les chemins d'accès aux sous-répertoires doivent être listés dans la vue "Ressources" du schéma ADLSGen2.
    13. Vous pouvez également cliquer sur + Ajouter un libellé pour ajouter un libellé à la connexion sous la forme d'une paire clé/valeur.
    14. Cliquez sur Suivant.
  5. Dans la section Authentification, saisissez les informations d'authentification.
    1. Sélectionnez un type d'authentification, puis saisissez les informations appropriées.

      Les types d'authentification suivants sont compatibles avec la connexion Azure Data Lake Storage:

      • Signature d'accès partagé
      • Clé d'accès au compte

      2. Pour comprendre comment configurer ces types d'authentification, consultez la section Configurer l'authentification.

    2. Cliquez sur Next (Suivant).
  6. Vérifiez vos informations de connexion et d'authentification.
  7. Cliquez sur Créer.

Exemples de configuration de connexion

Cette section présente des exemples de valeurs pour les différents champs que vous configurez lorsque vous créez la connexion Azure Data Lake Storage.

Type de connexion Signature d'accès partagé

Nom du champ Détails
Emplacement us-central1
Connecteur azuredatalakestorage
Version du connecteur 1
Nom de connexion adls-gen2-conn-public
Activer Cloud Logging Oui
Compte de service SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Compte google-cloud-dslgen3
Annuaire testdirectory1
Système de fichiers testcontainer1
Inclure les sous-répertoires Non
Nombre minimal de nœuds 2
Nombre maximal de nœuds 50
Signature d'accès partagé SHARED_ACCESS_SIGNATURE
Version de secret 1

Type de connexion de la clé d'accès au compte

Nom du champ Détails
Emplacement us-central1
Connecteur azuredatalakestorage
Version du connecteur 1
Nom de connexion azure-data-lake-conn
Activer Cloud Logging Oui
Compte de service SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Compte google-cloud-dslgen3
Annuaire testdirectory1
Système de fichiers testcontainer1
Inclure les sous-répertoires Non
Nombre minimal de nœuds 2
Nombre maximal de nœuds 50
Clé d'accès au compte ACCOUNT_ACCESS_KEY
Version de secret 1

Configurer l'authentification

Saisissez les détails en fonction de l'authentification que vous souhaitez utiliser.

  • Signature d'accès partagé

    Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    • Signature d'accès partagé: secret Secret Manager contenant la signature d'accès partagé.
  • Clé d'accès au compte

    Si vous souhaitez utiliser la connexion anonyme, sélectionnez Non disponible.

    • Clé d'accès au compte: secret Secret Manager contenant la clé d'accès au compte.

Entités, opérations et actions

Tous les connecteurs Integration Connectors fournissent une couche d'abstraction pour les objets de l'application connectée. Vous ne pouvez accéder aux objets d'une application que via cette abstraction. L'abstraction vous est présentée en tant qu'entités, opérations et actions.

  • Entité : une entité peut être considérée comme un objet ou un ensemble de propriétés dans l'application ou le service connecté. La définition d'une entité diffère d'un connecteur à l'autre. Par exemple, dans un connecteur de base de données, les tables sont les entités, dans un connecteur de serveur de fichiers, les dossiers sont les entités et, dans un connecteur de système de messagerie, les files d'attente sont les entités.

    Toutefois, il est possible qu'un connecteur ne soit pas compatible ou ne possède aucune entité. Dans ce cas, la liste Entities est vide.

  • Opération : une opération est l'activité que vous pouvez effectuer sur une entité. Vous pouvez effectuer l'une des opérations suivantes sur une entité :

    La sélection d'une entité dans la liste disponible génère une liste d'opérations disponibles pour l'entité. Pour obtenir une description détaillée des opérations, consultez les opérations d'entité de la tâche de connecteur. Toutefois, si un connecteur n'est pas compatible avec l'une des opérations d'entité, ces opérations non compatibles ne sont pas listées dans la liste Operations.

  • Action : une action est une fonction de première classe mise à la disposition de l'intégration via l'interface du connecteur. Une action vous permet de modifier une ou plusieurs entités, et varie d'un connecteur à l'autre. Normalement, une action comporte des paramètres d'entrée et un paramètre de sortie. Toutefois, il est possible qu'un connecteur ne prenne en charge aucune action, auquel cas la liste Actions est vide.

Limites du système

Le connecteur Azure Data Lake Storage peut traiter cinq transactions par seconde et par nœud, et limite les transactions dépassant cette limite. Par défaut, les connecteurs d'intégration allouent deux nœuds (pour une meilleure disponibilité) à une connexion.

Pour en savoir plus sur les limites applicables à Integration Connectors, consultez la section Limites.

Actions

Cette section répertorie les actions compatibles avec le connecteur. Pour savoir comment configurer les actions, consultez Exemples d'actions.

Action DownloadFile

Cette action vous permet de télécharger le contenu d'un blob spécifique à partir d'un répertoire ou d'un conteneur.

Paramètres d'entrée de l'action DownloadFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier (y compris le nom de fichier) à télécharger. Exemple :
  • FILE_NAME
  • dir1/FILE_NAME
  • dir1/dir2/FILE_NAME
HasBytes Booléen Non Indique si le contenu doit être téléchargé sous forme d'octets (format Base64).
  • Pour télécharger des fichiers autres que des fichiers texte tels que .pdf, .xls et .docx, vous devez définir HasBytes sur true.
  • Pour télécharger un fichier texte, vous pouvez définir HasBytes sur true ou false. Si vous définissez la valeur sur true, le contenu textuel est téléchargé sous forme d'octets (format Base64).
La valeur par défaut de ce paramètre est false.

Paramètres de sortie de l'action DownloadFile

Si l'action aboutit, elle renvoie le contenu du fichier ou du blob.

Pour savoir comment configurer l'action DownloadFile, consultez la section Exemples d'actions.

Action CreateFile

Cette action vous permet de créer un blob ou un fichier dans un conteneur ou un répertoire.

Paramètres d'entrée de l'action CreateFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier qui sera créé.

Pour savoir comment configurer l'action CreateFile, consultez la section Exemples d'actions.

Action CopyFile

Cette action vous permet de copier le contenu d'un fichier ou d'un blob dans un autre fichier ou blob du même conteneur ou du même répertoire.

Paramètres d'entrée de l'action CopyFile

Nom du paramètre Type de données Obligatoire Description
Chemin source Chaîne Oui Chemin d'accès au fichier qui sera copié.
DestinationPath Chaîne Oui Chemin d'accès au fichier dans lequel il sera copié.

Pour savoir comment configurer l'action CopyFile, consultez la section Exemples d'actions.

Action DeleteObject

Cette action vous permet de supprimer un fichier ou un blob.

Paramètres d'entrée de l'action DeleteObject

Nom du paramètre Type de données Obligatoire Description
Récursif Chaîne Non Définissez cette valeur sur true pour supprimer tout le contenu du dossier, y compris les sous-dossiers.
Chemin d'accès Chaîne Oui Chemin d'accès au fichier ou au dossier à supprimer.
DeleteType Chaîne Oui
  • Définissez cette valeur sur "FILESANDFOLDERS" pour supprimer le fichier ou le dossier spécifié dans le paramètre "Path".
  • Définissez cette valeur sur FILES pour ne supprimer que les fichiers du dossier spécifié dans le paramètre "Path" (Chemin d'accès).

Pour savoir comment configurer l'action DeleteObject, consultez la section Exemples d'actions.

Action LeaseBlob

Cette action vous permet de créer et de gérer un verrouillage sur un blob.

Paramètres d'entrée de l'action LeaseBlob

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier.
LeaseAction Chaîne Oui Spécifie l'action de bail à exécuter.
LeaseDuration Integer Oui Indique la durée du bail.

Pour savoir comment configurer l'action LeaseBlob, consultez la section Exemples d'actions.

Action UploadFile

Cette action permet aux utilisateurs d'importer le contenu dans un blob ou un conteneur spécifique.

Paramètres d'entrée de l'action UploadFile

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès au fichier à importer.
HasBytes Booléen Non Indique si le contenu doit être importé sous la forme d'octets.
Contenu Chaîne Oui Contenu à importer.

Pour savoir comment configurer l'action UploadFile, consultez la section Exemples d'actions.

Action RenameObject

Cette action vous permet de renommer un fichier ou un dossier.

Paramètres d'entrée de l'action RenameObject

Nom du paramètre Type de données Obligatoire Description
Chemin d'accès Chaîne Oui Chemin d'accès qui sera renommé.
RenameTo Chaîne Oui Nouveau nom du fichier ou du dossier.

Pour savoir comment configurer l'action RenameObject, consultez la section Exemples d'actions.

Exemples d'actions

Exemple : Télécharger un fichier

Cet exemple télécharge un fichier binaire.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DownloadFile, puis cliquez sur OK.
  3. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"Path": "testdirectory1/test1.pdf",
"HasBytes": true
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche DownloadFile aura une valeur semblable à celle-ci:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Exemple : Importer un fichier

Cet exemple importe du contenu sous la forme d'un blob.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action UploadFile, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche UploadFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Créer un fichier

Cet exemple crée un fichier dans le répertoire spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action CreateFile, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche CreateFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Copier un fichier

Cet exemple copie un fichier d'un emplacement à un autre.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action CopyFile, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche CopyFile aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Supprimer un blob

Cet exemple supprime le blob spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action DeleteObject, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche DeleteObject aura une valeur semblable à celle-ci:

    [{
"Success": "true"
}]

Exemple : Louer un blob

Cet exemple loue le blob spécifié.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action LeaseBlob, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche LeaseBlob aura une valeur semblable à celle-ci:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Exemple : Renommer un blob

Cet exemple renomme un blob.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Actions.
  2. Sélectionnez l'action RenameObject, puis cliquez sur OK.
  3. Dans la section Entrée de la tâche de la tâche Connecteurs, cliquez sur connectorInputPayload, puis saisissez une valeur semblable à la suivante dans le champ Default Value: 
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Si l'action réussit, le paramètre de réponse connectorOutputPayload de la tâche RenameObject aura une valeur semblable à celle-ci:

    [{
"Success": true
}]

Exemples d'opérations d'entité

Cette section explique comment effectuer certaines opérations d'entité dans ce connecteur.

Exemple : Répertorier tous les enregistrements

Cet exemple liste tous les enregistrements de l'entité Resource.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Resource dans la liste Entity.
  3. Sélectionnez l'opération List, puis cliquez sur OK.
  4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), vous pouvez filtrer votre ensemble de résultats en spécifiant une clause de filtre. Spécifiez toujours la valeur de la clause de filtre entre guillemets simples (').

Exemple : Obtenir un enregistrement

Cet exemple récupère un enregistrement avec l'ID spécifié à partir de l'entité Resource.

  1. Dans la boîte de dialogue Configure connector task, cliquez sur Entities.
  2. Sélectionnez Resource dans la liste Entity.
  3. Sélectionnez l'opération Get, puis cliquez sur OK.
  4. Dans la section Task Input (Entrée de la tâche) de la tâche Connectors (Connecteurs), cliquez sur EntityId, puis saisissez testdirectory1/testblob1 dans le champ Default Value (Valeur par défaut).

    Ici, testdirectory1/testblob1 est un ID d'enregistrement unique dans l'entité Resource.

Utiliser la connexion Azure Data Lake Storage dans une intégration

Une fois la connexion créée, elle devient disponible à la fois dans Apigee Integration et Application Integration. Vous pouvez utiliser la connexion dans une intégration via la tâche Connecteurs.

  • Pour savoir comment créer et utiliser la tâche Connecteurs dans Apigee Integration, consultez la section Tâche Connecteurs.
  • Pour savoir comment créer et utiliser la tâche Connecteurs dans Application Integration, consultez la section Tâche Connecteurs.

Obtenir de l'aide auprès de la communauté Google Cloud

Vous pouvez publier vos questions et discuter de ce connecteur sur les forums Cloud de la communauté Google Cloud.

Étape suivante