Data lake di Azure

Il connettore di Azure Data Lake ti consente di connetterti al backend di Azure Data Lake e di utilizzare SQL per recuperare e aggiornare i dati di Azure Data Lake.

Prima di iniziare

Prima di utilizzare il connettore Azuredatalakestorage, esegui queste attività:

  • Nel tuo progetto Google Cloud:
    • Concedi il ruolo IAM roles/connectors.admin all'utente che configura il connettore.
    • Concedi i seguenti ruoli IAM all'account di servizio che vuoi utilizzare per il connettore:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un account di servizio è un tipo speciale di Account Google destinato a rappresentare un utente "non umano" che deve autenticarsi ed essere autorizzato ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Per saperne di più, consulta la pagina sulla creazione di un account di servizio.

    • Abilita i seguenti servizi:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Per informazioni su come abilitare i servizi, vedi Abilitazione dei servizi.

    Se questi servizi o queste autorizzazioni non sono stati abilitati per il tuo progetto in precedenza, ti verrà chiesto di abilitarli durante la configurazione del connettore.

Configura il connettore

Per configurare il connettore è necessario creare una connessione all'origine dati (sistema di backend). Una connessione è specifica per un'origine dati. Ciò significa che se disponi di molte origini dati, devi creare una connessione separata per ciascuna. Per creare una connessione, segui questi passaggi:

  1. Nella console Cloud, vai alla pagina Connettori di integrazione > Connessioni, quindi seleziona o crea un progetto Google Cloud.

    Vai alla pagina Connessioni

  2. Fai clic su + Crea nuova per aprire la pagina Crea connessione.
  3. Nella sezione Posizione, scegli la località per la connessione.
    1. Regione: seleziona una località dall'elenco a discesa.

      Le regioni supportate per i connettori includono:

      Per l'elenco di tutte le regioni supportate, vedi Località.

    2. Tocca Avanti.
  4. Nella sezione Dettagli connessione, completa quanto segue:
    1. Connettore: seleziona Data lake di Azure dall'elenco a discesa dei connettori disponibili.
    2. Versione connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
    3. Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.

      I nomi delle connessioni devono soddisfare i seguenti criteri:

      • I nomi delle connessioni possono contenere lettere, numeri o trattini.
      • Le lettere devono essere minuscole.
      • I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
      • I nomi delle connessioni non possono superare i 63 caratteri.
    4. (Facoltativo) Inserisci una descrizione per l'istanza di connessione.
    5. Account di servizio: seleziona un account di servizio con i ruoli richiesti.
    6. Facoltativamente, configura le impostazioni del nodo di connessione:

      • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
      • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

      Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, al contrario, sono necessari meno nodi per elaborare un numero minore di transazioni. Per capire in che modo i nodi influiscono sui prezzi del connettore, consulta Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita il numero minimo di nodi è impostato su 2 (per una migliore disponibilità) e il numero massimo di nodi è impostato su 50.

    7. Account: questa proprietà specifica il nome dell'account di archiviazione di Azure Data Lake.
    8. Directory: questa proprietà specifica il percorso principale per elencare file e cartelle.
    9. File system: questa proprietà specifica il nome del file system che verrà utilizzato in un account di archiviazione di 2a generazione. Ad esempio, il nome del container BLOB di Azure.
    10. Dimensioni blocco: la dimensione dei blocchi (in MB) da utilizzare per il caricamento di file di grandi dimensioni.
    11. Includi directory secondarie: scegli se i percorsi delle directory secondarie devono essere elencati nella visualizzazione Risorse dello schema ADLSGen2.
    12. (Facoltativo) Fai clic su + Aggiungi etichetta per aggiungere un'etichetta alla connessione sotto forma di coppia chiave-valore.
    13. Tocca Avanti.
  5. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
    1. Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.

      La connessione di Azure Data Lake supporta i seguenti tipi di autenticazione:

      • Firma di accesso condiviso
      • Chiave di accesso all'account

      2. Per informazioni su come configurare questi tipi di autenticazione, vedi Configurare l'autenticazione.

    2. Tocca Avanti.
  6. Verifica: controlla i dettagli di connessione e autenticazione.
  7. Fai clic su Crea.

Configura autenticazione

Inserisci i dettagli in base all'autenticazione che vuoi utilizzare.

  • Firma di accesso condiviso

    Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

    • Shared Access Signature (Firma di accesso condiviso): il secret di Secret Manager contenente la firma di accesso condiviso.
  • Chiave di accesso all'account

    Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

    • Account Access Key (Chiave di accesso all'account): il secret di Secret Manager contenente la chiave di accesso all'account.

Entità, operazioni e azioni

Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti dell'applicazione connessa. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione è esposta come entità, operazioni e azioni.

  • Entità: un'entità può essere considerata come un oggetto o una raccolta di proprietà nell'applicazione o nel servizio collegato. La definizione di un'entità è diversa da un connettore a un connettore. Ad esempio, in un connettore di database, le tabelle sono le entità, in un connettore di file server, le cartelle sono le entità e in un connettore di sistema di messaggistica le code sono le entità.

    Tuttavia, è possibile che un connettore non supporti o non abbia entità, nel qual caso l'elenco Entities sarà vuoto.

  • Operazione : un'operazione è l'attività che puoi eseguire su un'entità. Su un'entità puoi eseguire una qualsiasi delle seguenti operazioni:

    Se selezioni un'entità dall'elenco disponibile, viene generato un elenco di operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta le operazioni delle entità dell'attività Connettori. Tuttavia, se un connettore non supporta nessuna delle operazioni delle entità, queste operazioni non supportate non sono elencate nell'elenco Operations.

  • Azione: un'azione è una funzione di prima classe resa disponibile per l'integrazione attraverso l'interfaccia del connettore. Un'azione consente di apportare modifiche a una o più entità e di variare da connettore a connettore. Tuttavia, è possibile che un connettore non supporti alcuna azione, nel qual caso l'elenco Actions sarà vuoto.

Limitazioni di sistema

Il connettore di Azure Data Lake può elaborare 5 transazioni al secondo per nodo e limitare qualsiasi transazione oltre questo limite. Per impostazione predefinita, Integration Connectors alloca 2 nodi (per una migliore disponibilità) per una connessione.

Per informazioni sui limiti applicabili a Integration Connectors, consulta Limiti.

Azioni

In questa sezione sono elencate le azioni supportate dal connettore. Per capire come configurare le azioni, consulta gli esempi di azioni.

Azione DownloadFile

Questa azione consente di scaricare i contenuti di un determinato BLOB da una directory o da un container.

Parametri di input dell'azione DownloadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso String Sì Il percorso del file da scaricare (incluso il nome). Ad esempio:
  • FILE_NAME
  • dir1/FILE_NAME
  • dir1/dir2/FILE_NAME
HasBytes Booleano No Indica se scaricare i contenuti come byte (formato Base64).
  • Per scaricare file non di testo come .pdf, .xls e .docx, devi impostare HasBytes su true.
  • Per scaricare un file di testo, puoi impostare HasBytes su true o false. Se imposti il valore su true, i contenuti testuali vengono scaricati come byte (formato Base64).
Il valore predefinito di questo parametro è false.

Parametri di output dell'azione DownloadFile

Se l'azione ha esito positivo, vengono restituiti i contenuti del file o del blob.

Ad esempio, consulta la sezione Esempi di azioni per configurare l'azione DownloadFile.

Azione CreateFile

Questa azione consente di creare un blob o un file in un container o in una directory.

Parametri di input dell'azione CreateFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso String Sì Il percorso del file che verrà creato.

Ad esempio, su come configurare l'azione CreateFile, consulta la sezione Esempi di azioni.

Azione Copia file

Questa azione consente di copiare i contenuti di un file o di un BLOB in un altro file o BLOB nello stesso container o nella stessa directory.

Parametri di input dell'azione CopyFile

Nome parametro Tipo di dati Obbligatorio Descrizione
SourcePath String Sì Il percorso del file che verrà copiato.
DestinationPath String Sì Il percorso del file in cui verrà copiato.

Ad esempio, consulta la sezione Esempi di azioni per configurare l'azione CopyFile.

Azione DeleteObject

Questa azione consente di eliminare un file o un blob.

Parametri di input dell'azione DeleteObject

Nome parametro Tipo di dati Obbligatorio Descrizione
Ricorsivo String No Imposta questo elemento su true per eliminare tutti i contenuti della cartella, incluse le sottocartelle.
Percorso String Sì Il percorso del file o della cartella da eliminare.
DeleteType String Sì
  • Imposta questo elemento su FILESANDFOLDERS per eliminare il file o la cartella specificati nel parametro Percorso.
  • Imposta questo elemento su FILE per eliminare solo i file all'interno della cartella specificata nel parametro Percorso.

Ad esempio, consulta la sezione Esempi di azioni per configurare l'azione DeleteObject.

Azione LeaseBlob

Questa azione consente di creare e gestire un blocco su un BLOB.

Parametri di input dell'azione LeaseBlob

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso String Sì Il percorso del file.
LeaseAction String Sì Specifica l'azione di lease da eseguire.
LeaseDuration Integer Sì Specifica la durata del lease.

Ad esempio, su come configurare l'azione LeaseBlob, consulta la sezione Esempi di azioni.

Azione Carica file

Questa azione consente agli utenti di caricare i contenuti in un determinato BLOB o container.

Parametri di input dell'azione UploadFile

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso String Sì Il percorso del file da caricare.
HasBytes Booleano No Se caricare i contenuti come byte.
Contenuti String Sì Contenuti da caricare.

Ad esempio, su come configurare l'azione UploadFile, consulta la sezione Esempi di azioni.

Azione RinominaObject

Questa azione consente di rinominare un file o una cartella.

Parametri di input dell'azione RinominaObject

Nome parametro Tipo di dati Obbligatorio Descrizione
Percorso String Sì Il percorso che verrà rinominato.
RenameTo String Sì Il nuovo nome del file o della cartella.

Ad esempio, su come configurare l'azione RenameObject, consulta la sezione Esempi di azioni.

Esempi di azioni

Esempio: scaricare un file

Questo esempio scarica un file binario.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DownloadFile, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci un valore simile al seguente nel campo Default Value: 
    {
"Path": "testdirectory1/test1.pdf",
"HasBytes": true
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di DownloadFile avrà un valore simile al seguente:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Esempio: caricamento di un file

In questo esempio i contenuti vengono caricati come BLOB.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione UploadFile, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di UploadFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio - Creare un file

In questo esempio viene creato un file nella directory specificata.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione CreateFile, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"path": "testdirectory1/testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di CreateFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: copiare un file

In questo esempio viene copiato un file da un percorso a un altro.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione CopyFile, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di CopyFile avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: eliminare un BLOB

Questo esempio elimina il BLOB specificato.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione DeleteObject, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"path": "testdirectory1/testblob"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di DeleteObject avrà un valore simile al seguente:

    [{
"Success": "true"
}]

Esempio: leasing di un BLOB

Questo esempio esegue il lease del blob specificato.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione LeaseBlob, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività LeaseBlob avrà un valore simile al seguente:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Esempio: ridenominare un BLOB

Questo esempio rinomina un blob.

  1. Nella finestra di dialogo Configure connector task, fai clic su Actions.
  2. Seleziona l'azione RenameObject, quindi fai clic su Fine.
  3. Nella sezione Input attività dell'attività Connettori, fai clic su connectorInputPayload, quindi inserisci nel campo Default Value un valore simile al seguente:
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Se l'azione ha esito positivo, il parametro di risposta connectorOutputPayload dell'attività di RenameObject avrà un valore simile al seguente:

    [{
"Success": true
}]

Esempi di operazioni sull'entità

Questa sezione mostra come eseguire alcune delle operazioni sulle entità in questo connettore.

Esempio: elencare tutti i record

In questo esempio sono elencati tutti i record dell'entità Resource.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Resource dall'elenco Entity.
  3. Seleziona l'operazione List, quindi fai clic su Fine.
  4. Facoltativamente, nella sezione Input attività dell'attività Connettori, puoi filtrare il set di risultati specificando una clausola di filtro. Specifica il valore della clausola di filtro sempre compreso tra virgolette singole (').

Esempio - Recupero di un record

Questo esempio recupera un record con l'ID specificato dall'entità Resource.

  1. Nella finestra di dialogo Configure connector task, fai clic su Entities.
  2. Seleziona Resource dall'elenco Entity.
  3. Seleziona l'operazione Get, quindi fai clic su Fine.
  4. Nella sezione Input attività dell'attività Connettori, fai clic su EntityId e inserisci testdirectory1/testblob1 nel campo Valore predefinito.

    Qui, testdirectory1/testblob1 è un ID record univoco nell'entità Resource.

utilizza la connessione di Azure Data Lake in un'integrazione

Dopo aver creato la connessione, diventa disponibile sia in Apigee Integration che in Application Integration. Puoi usare la connessione in un'integrazione tramite l'attività Connettori.

  • Per capire come creare e utilizzare l'attività Connettori in Apigee Integration, consulta Attività Connettori.
  • Per capire come creare e utilizzare l'attività Connettori in Application Integration, consulta Attività Connettori.

Ricevi assistenza dalla community Google Cloud

Puoi pubblicare le tue domande e discutere di questo connettore nella community Google Cloud sui forum Cloud.

Passaggi successivi