Data Lake Storage di Azure

Il connettore Azure Data Lake Storage ti consente di connetterti ad Azure Data Lake Storage e di utilizzare SQL per recuperare e aggiornare i dati di Azure Data Lake Storage.

Prima di iniziare

Prima di utilizzare il connettore Azure Data Lake Storage, svolgi le seguenti attività:

  • Nel tuo progetto Google Cloud:
    • Assicurati che la connettività di rete sia configurata. Per informazioni sui pattern di rete, consulta Connettività di rete.
    • Concedi il ruolo IAM roles/connectors.admin all'utente che configura il connettore.
    • Concedi i seguenti ruoli IAM all'account di servizio che vuoi utilizzare per il connettore:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un account di servizio è un tipo speciale di Account Google destinato a rappresentare un utente "non umano" che deve eseguire l'autenticazione ed essere autorizzato ad accedere ai dati nelle API Google. Se non hai un account di servizio, devi crearne uno. Per maggiori informazioni, consulta Creare un account di servizio.

    • Attiva i seguenti servizi:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Per scoprire come attivare i servizi, consulta Abilitazione dei servizi.

    Se questi servizi o autorizzazioni non sono stati attivati in precedenza per il tuo progetto, ti verrà chiesto di attivarli durante la configurazione del connettore.

  • Per informazioni su come creare un account di archiviazione Azure, consulta Creare un account di archiviazione. Per informazioni sulla creazione di un contenitore in Azure, vedi Creare un contenitore. Per informazioni sulla creazione di una directory in Azure, vedi Creare una directory.

Configura il connettore

Per configurare il connettore devi creare una connessione all'origine dati (sistema di backend). Una connessione è specifica per un'origine dati. Ciò significa che se hai molte origini dati, devi creare una connessione distinta per ciascuna. Per creare una connessione:

  1. Nella console Cloud, vai alla pagina Connettori di integrazione > Connessioni e seleziona o crea un progetto Google Cloud.

    Vai alla pagina Connessioni

  2. Fai clic su + Crea nuovo per aprire la pagina Crea connessione.
  3. Nella sezione Località, scegli la località della connessione.
    1. Regione: seleziona una località dall'elenco a discesa.

      Le regioni supportate per i connettori includono:

      Per l'elenco di tutte le regioni supportate, consulta Località.

    2. Fai clic su Avanti.
  4. Nella sezione Dettagli connessione, completa quanto segue:
    1. Connettore: seleziona Azure Data Lake Storage dall'elenco a discesa dei connettori disponibili.
    2. Versione del connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
    3. Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.

      I nomi delle connessioni devono soddisfare i seguenti criteri:

      • I nomi delle connessioni possono contenere lettere, numeri o trattini.
      • Le lettere devono essere minuscole.
      • I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
      • I nomi delle connessioni non possono superare i 49 caratteri.
    4. (Facoltativo) Inserisci una Descrizione per l'istanza di connessione.
    5. Se vuoi, attiva Cloud Logging e poi seleziona un livello di log. Per impostazione predefinita, il livello di log è impostato su Error.
    6. Account di servizio: seleziona un account di servizio con i ruoli richiesti.
    7. (Facoltativo) Configura le impostazioni del nodo di connessione:

      • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
      • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

      Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Per elaborare più transazioni per una connessione sono necessari più nodi e, al contrario, sono necessari meno nodi per elaborare meno transazioni. Per capire in che modo i nodi influiscono sui prezzi dei connettori, consulta Prezzi per i nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita il numero minimo di nodi è impostato su 2 (per una maggiore disponibilità) e il numero massimo di nodi è impostato su 50.

    8. Account: questa proprietà specifica il nome dell'account Azure Data Lake Storage.
    9. Directory: questa proprietà specifica il percorso principale per elencare file e cartelle.
    10. File System: questa proprietà specifica il nome del file system che verrà utilizzato in un account di archiviazione di seconda generazione. Ad esempio, il nome del contenitore blob di Azure.
    11. Dimensioni chunk: le dimensioni dei chunk (in MB) da utilizzare per il caricamento di file di grandi dimensioni.
    12. Includi sottodirectory: scegli se i percorsi delle sottodirectory devono essere elencati nella visualizzazione Risorse nello schema ADLS Gen2.
    13. Se vuoi, fai clic su + Aggiungi etichetta per aggiungere un'etichetta alla connessione sotto forma di coppia chiave/valore.
    14. Fai clic su Avanti.
  5. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
    1. Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.

      Il collegamento ad Azure Data Lake Storage supporta i seguenti tipi di autenticazione:

      • Firma di accesso condiviso
      • Chiave di accesso all'account

      2. Per capire come configurare questi tipi di autenticazione, consulta Configurare l'autenticazione.

    2. Fai clic su Avanti.
  6. Rivedi: controlla i dettagli di connessione e autenticazione.
  7. Fai clic su Crea.

Esempi di configurazione delle connessioni

Questa sezione elenca i valori di esempio per i vari campi che configuri quando crei la connessione di archiviazione di Azure Data Lake.

Tipo di connessione con firma di accesso condiviso

Nome campo Dettagli
Località us-central1
Connettore azuredatalakestorage
Versione del connettore 1
Nome collegamento adls-gen2-conn-public
Abilita Cloud Logging Sì
Account di servizio SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Account google-cloud-dslgen3
Directory testdirectory1
File system testcontainer1
Includi sottodirectory No
Numero minimo di nodi 2
Numero massimo di nodi 50
Firma di accesso condiviso SHARED_ACCESS_SIGNATURE
Versione secret 1

Tipo di connessione della chiave di accesso all'account

Nome campo Dettagli
Località us-central1
Connettore azuredatalakestorage
Versione del connettore 1
Nome collegamento azure-data-lake-conn
Abilita Cloud Logging Sì
Account di servizio SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Account google-cloud-dslgen3
Directory testdirectory1
File system testcontainer1
Includi sottodirectory No
Numero minimo di nodi 2
Numero massimo di nodi 50
Chiave di accesso all'account ACCOUNT_ACCESS_KEY
Versione secret 1

Configura autenticazione

Inserisci i dettagli in base all'autenticazione che vuoi utilizzare.

  • Firma di accesso condiviso

    Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

    • Firma di accesso condiviso: segreto di Secret Manager contenente la firma di accesso condiviso.
  • Chiave di accesso all'account

    Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

    • Chiave di accesso all'account: il secret di Secret Manager contenente la chiave di accesso all'account.

Entità, operazioni e azioni

Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti dell'applicazione collegata. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione viene mostrata come entità, operazioni e azioni.

  • Entità : un'entità può essere considerata un oggetto o una raccolta di proprietà nell'applicazione o nel servizio collegato. La definizione di un'entità varia da un connettore all'altro. Ad esempio, in un connettore di database le tabelle sono le entità, in un connettore di file server le cartelle sono le entità e in un connettore di sistema di messaggistica le code sono le entità.

    Tuttavia, è possibile che un connettore non supporti o non abbia entità, nel qual caso l'elenco Entities sarà vuoto.

  • Operazione : un'operazione è l'attività che puoi eseguire su un'entità. Puoi eseguire su un'entità una delle seguenti operazioni:

    La selezione di un'entità dall'elenco disponibile genera un elenco di operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta le operazioni sulle entità dell'attività Connettori. Tuttavia, se un connettore non supporta nessuna delle operazioni sulle entità, queste operazioni non supportate non sono elencate nell'elenco Operations.

  • Azione : un'azione è una funzione di prima classe resa disponibile all'integrazione tramite l'interfaccia del connettore. Un'azione ti consente di apportare modifiche a una o più entità e varia da un connettore all'altro. In genere, un'azione avrà alcuni parametri di input e un parametro di output. Tuttavia, è possibile che un connettore non supporti alcuna azione, nel qual caso l'elenco Actions sarà vuoto.

Limitazioni del sistema

Il connettore Azure Data Lake Storage può elaborare 5 transazioni al secondo per nodo e limita le transazioni che superano questo limite. Per impostazione predefinita, Integration Connectors alloca 2 nodi (per una maggiore disponibilità) per una connessione.

Per informazioni sui limiti applicabili a Integration Connectors, vedi Limiti.

Azioni

Questa sezione elenca le azioni supportate dal connettore. Per capire come configurare le azioni, consulta Esempi di azioni.

Azione DownloadFile

Questa azione ti consente di scaricare i contenuti di un determinato blob da una directory o un contenitore.

Parametri di input dell'azione DownloadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Sì Il percorso del file (incluso il nome) da scaricare. Ad esempio:
  • FILE_NAME
  • dir1/FILE_NAME
  • dir1/dir2/FILE_NAME
HasBytes Booleano No Indica se scaricare i contenuti come byte (formato Base64).
  • Per scaricare file non di testo come .pdf, .xls e .docx, devi impostare HasBytes su true.
  • Per scaricare un file di testo, puoi impostare HasBytes su true o false. Se imposti il valore su true, i contenuti di testo vengono scaricati come byte (formato Base64).
Il valore predefinito di questo parametro è false.

Parametri di output dell'azione DownloadFile

Se l'azione ha esito positivo, restituisce i contenuti del file o del blob.

Ad esempio, per scoprire come configurare l'azione DownloadFile, consulta Esempi di azioni.

Azione CreateFile

Questa azione ti consente di creare un blob o un file in un contenitore o una directory.

Parametri di input dell'azione CreateFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Sì Il percorso del file che verrà creato.

Ad esempio, per scoprire come configurare l'azione CreateFile, consulta Esempi di azioni.

Azione CopyFile

Questa azione ti consente di copiare i contenuti di un file o di un blob in un altro file o blob nello stesso contenitore o nella stessa directory.

Parametri di input dell'azione CopyFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso di origine Stringa Sì Il percorso del file che verrà copiato.
DestinationPath Stringa Sì Il percorso del file in cui verrà copiato.

Ad esempio, per scoprire come configurare l'azione CopyFile, consulta Esempi di azioni.

Azione DeleteObject

Questa azione consente di eliminare un file o un blob.

Parametri di input dell'azione DeleteObject

Nome parametro Tipo di dati Obbligatorio Descrizione
Ricorsivo Stringa No Imposta questo valore su true per eliminare tutti i contenuti della cartella, incluse le sottocartelle.
Percorso Stringa Sì Il percorso del file o della cartella da eliminare.
DeleteType Stringa Sì
  • Imposta questo valore su FILESANDFOLDERS per eliminare il file o la cartella specificati nel parametro Path.
  • Imposta questo valore su FILES per eliminare solo i file all'interno della cartella specificata nel parametro Path.

Ad esempio, per scoprire come configurare l'azione DeleteObject, consulta Esempi di azioni.

Azione LeaseBlob

Questa azione consente di creare e gestire un blocco su un blob.

Parametri di input dell'azione LeaseBlob

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Sì Il percorso del file.
LeaseAction Stringa Sì Specifica l'azione di locazione da eseguire.
LeaseDuration Numero intero Sì Specifica la durata del contratto di locazione.

Ad esempio, per scoprire come configurare l'azione LeaseBlob, consulta Esempi di azioni.

Azione UploadFile

Questa azione consente agli utenti di caricare i contenuti in un determinato blob o contenitore.

Parametri di input dell'azione UploadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Sì Il percorso del file da caricare.
HasBytes Booleano No Se caricare i contenuti come byte.
Contenuti Stringa Sì Contenuti da caricare.

Ad esempio, per scoprire come configurare l'azione UploadFile, consulta Esempi di azioni.

Azione RenameObject

Questa azione ti consente di rinominare un file o una cartella.

Parametri di input dell'azione RenameObject

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso Stringa Sì Il percorso che verrà rinominato.
RenameTo Stringa Sì Il nuovo nome del file o della cartella.

Ad esempio, per scoprire come configurare l'azione RenameObject, consulta Esempi di azioni.

Esempi di azioni

Esempio: scarica un file

Questo esempio scarica un file binario.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DownloadFile e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"Path": "testdirectory1/test1.pdf",
"HasBytes": true
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task DownloadFile avrà un valore simile al seguente:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Esempio: carica un file

Questo esempio carica i contenuti come blob.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione UploadFile e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task UploadFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: creare un file

Questo esempio crea un file nella directory specificata.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione CreateFile e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task CreateFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: copiare un file

Questo esempio copia un file da una posizione a un'altra.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione CopyFile e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task CopyFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: elimina un blob

Questo esempio elimina il blob specificato.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DeleteObject e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task DeleteObject avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: concedi in affitto un blob

Questo esempio concede in leasing il blob specificato.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione LeaseBlob e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task LeaseBlob avrà un valore simile al seguente:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Esempio: rinominare un blob

Questo esempio rinomina un blob.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione RenameObject e poi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload e poi inserisci un valore simile al seguente nel campo Default Value: 
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload della task RenameObject avrà un valore simile al seguente:

    [{
"Success": true
}]

Esempi di operazioni sulle entità

Questa sezione mostra come eseguire alcune delle operazioni sulle entità in questo connettore.

Esempio: elenca tutti i record

Questo esempio elenca tutti i record nell'entità Resource.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Resource dall'elenco Entity.
  3. Seleziona l'operazione List e poi fai clic su Fine.
  4. Se vuoi, nella sezione Input dell'attività dell'attività Connettori, puoi filtrare il set di risultati specificando una clausola di filtro. Specifica sempre il valore della clausola di filtro tra virgolette singole (').

Esempio: ottieni un record

Questo esempio recupera un record con l'ID specificato dall'entità Resource.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Resource dall'elenco Entity.
  3. Seleziona l'operazione Get e poi fai clic su Fine.
  4. Nella sezione Input dell'attività dell'attività Connettori, fai clic su EntityId e poi inserisci testdirectory1/testblob1 nel campo Valore predefinito.

    In questo caso, testdirectory1/testblob1 è un ID record univoco nell'entità Resource.

Utilizzare la connessione Azure Data Lake Storage in un'integrazione

Una volta creata, la connessione diventa disponibile sia nell'integrazione Apigee sia nell'integrazione delle applicazioni. Puoi utilizzare la connessione in un'integrazione tramite l'attività Connettori.

  • Per informazioni su come creare e utilizzare l'attività Connectors in Apigee Integration, consulta Attività Connectors.
  • Per informazioni su come creare e utilizzare l'attività Connettori in Application Integration, consulta Attività Connettori.

Ricevere assistenza dalla community Google Cloud

Puoi pubblicare le tue domande e discutere di questo connettore nella community di Google Cloud ai forum di Cloud.

Passaggi successivi