Data lake di Azure
Il connettore Azure Data Lake ti consente di connetterti a un backend di Azure Data Lake e utilizzare SQL per recuperare e aggiornare i dati di Azure Data Lake.
Prima di iniziare
Prima di utilizzare il connettore Azuredatalakestorage, esegui queste attività:
- Nel tuo progetto Google Cloud:
- Concedi il ruolo IAM roles/connectors.admin all'utente. configurazione del connettore.
- Concedi i seguenti ruoli IAM all'account di servizio che vuoi utilizzare per il connettore:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Un account di servizio è un tipo speciale di Account Google destinato a rappresentare una persona non umana utente che deve autenticarsi e avere l'autorizzazione ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Per maggiori informazioni le informazioni, vedi Creazione di un account di servizio.
- Attiva i seguenti servizi:
secretmanager.googleapis.com
(API Secret Manager)connectors.googleapis.com
(API Connectors)
Per informazioni su come abilitare i servizi, vedi Attivazione dei servizi.
Se questi servizi o autorizzazioni non sono stati abilitati in precedenza per il tuo progetto, ti viene chiesto di abilitarli durante la configurazione del connettore.
Configura il connettore
Per configurare il connettore è necessario creare una connessione al tuo origine dati (sistema di backend). Una connessione è specifica per un'origine dati. it significa che se hai molte origini dati, devi creare una connessione separata per ogni origine dati. Per creare una connessione:
- Nella console Cloud, vai a Connettori di integrazione > Pagina Connessioni e poi selezionare o creare un progetto Google Cloud.
- Fai clic su + Crea nuova per aprire la pagina Crea connessione.
- Nella sezione Posizione, scegli la località per la connessione.
- Regione: seleziona una località dall'elenco a discesa.
Le regioni supportate per i connettori includono:
Per l'elenco di tutte le aree geografiche supportate, consulta la sezione Località.
- Fai clic su Avanti.
- Regione: seleziona una località dall'elenco a discesa.
- Nella sezione Dettagli connessione, completa i seguenti passaggi:
- .
- Connettore: seleziona Azure Data Lake dall'elenco a discesa dei connettori disponibili.
- Versione connettore: seleziona la versione del connettore dall'elenco a discesa delle versioni disponibili.
- Nel campo Nome connessione, inserisci un nome per l'istanza di connessione.
I nomi delle connessioni devono soddisfare i seguenti criteri:
- I nomi delle connessioni possono contenere lettere, numeri o trattini.
- Le lettere devono essere minuscole.
- I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
- I nomi delle connessioni non possono contenere più di 63 caratteri.
- Facoltativamente, inserisci una descrizione per l'istanza di connessione.
- Account di servizio: seleziona un account di servizio con i ruoli richiesti.
- Facoltativamente, configura le impostazioni del nodo di connessione:
- Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
- Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.
Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, per elaborare meno transazioni. Per comprendere in che modo i nodi influiscono sui prezzi dei connettori, consulta Prezzi per i nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita il numero minimo di nodi è impostato su 2 (per una migliore disponibilità) e il numero massimo di nodi è impostato su 50.
- Account: questa proprietà specifica il nome dell'account di archiviazione di Azure Data Lake.
- Directory: questa proprietà specifica il percorso principale per elencare i file e le cartelle.
- File system: questa proprietà specifica il nome del file system che verrà utilizzato in un account di archiviazione di seconda generazione. Ad esempio, il nome del container BLOB Azure.
- Dimensione blocco. La dimensione dei blocchi (in MB) da utilizzare durante il caricamento di file di grandi dimensioni.
- Includi directory secondarie: scegli se i percorsi delle directory secondarie devono essere elencati nella visualizzazione Risorse dello schema ADLSGen2.
- Facoltativamente, fai clic su + Aggiungi etichetta per aggiungere un'etichetta alla connessione sotto forma di coppia chiave/valore.
- Fai clic su Avanti.
-
Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
- Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.
La connessione di Azure Data Lake sono supportati dai seguenti tipi di autenticazione:
- Firma accesso condiviso
- Chiave di accesso all'account
- Fai clic su Avanti.
Per informazioni su come configurare questi tipi di autenticazione, consulta l'articolo Configurare l'autenticazione.
- Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.
- Verifica: controlla i dettagli della connessione e dell'autenticazione.
- Fai clic su Crea.
Configura l'autenticazione
Inserisci i dettagli in base all'autenticazione che vuoi utilizzare.
-
Firma di accesso condiviso
Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.
- Shared Access Signature (Firma accesso condiviso): secret di Secret Manager contenente la firma di accesso condiviso.
-
Chiave di accesso all'account
Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.
- Account Access Key (Chiave di accesso all'account): il secret di Secret Manager contenente la chiave di accesso all'account.
Entità, operazioni e azioni
Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti l'applicazione connessa. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione ti viene esposta sotto forma di entità, operazioni e azioni.
- Entità: un'entità può essere considerata un oggetto o un insieme di proprietà nel
un'applicazione o un servizio connesso. La definizione di un'entità differisce da connettore
di rete. Ad esempio, in un connettore di database, le tabelle sono le entità,
connettore file server, le cartelle sono le entità e, in un connettore del sistema di messaggistica,
le code sono le entità.
Tuttavia, è possibile che un connettore non supporti o non disponga di entità. In questo caso, L'elenco
Entities
sarà vuoto. - Operazione: un'operazione è l'attività che è possibile eseguire su un'entità. Puoi eseguire
una qualsiasi delle seguenti operazioni su un'entità:
Selezionando un'entità dall'elenco disponibile, viene generato un elenco di le operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta operazioni relative a entità. Tuttavia, se un connettore non supporta nessuna delle operazioni relative alle entità, ad esempio operazioni non sono elencate nell'elenco
Operations
. - Azione: un'azione è una funzione di prima classe resa disponibile per l'integrazione.
attraverso l'interfaccia del connettore. Un'azione consente di apportare modifiche a una o più entità
variano da connettore a connettore. Normalmente, un'azione ha alcuni parametri di input e un output
. Tuttavia, è possibile
che un connettore non supporta alcuna azione, nel qual caso l'elenco
Actions
sarà vuoto.
Limitazioni di sistema
Il connettore Azure Data Lake può elaborare 5 transazioni al secondo, per nodo, e limita qualsiasi transazione oltre questo limite. Per impostazione predefinita, Integration Connectors alloca due nodi (per una migliore disponibilità) per una connessione.
Per informazioni sui limiti applicabili a Integration Connectors, vedi Limiti.
Azioni
Questa sezione elenca le azioni supportate dal connettore. Per capire come configurare azioni, consulta la sezione Esempi di azioni.
Azione DownloadFile
Questa azione consente di scaricare i contenuti di un determinato blob da una directory o un container.
Parametri di input dell'azione DownloadFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file (incluso il nome del file) da scaricare. Ad esempio:
|
HasBytes | Booleano | No | Indica se scaricare i contenuti come byte (formato Base64).
false .
|
Parametri di output dell'azione DownloadFile
Se l'azione ha esito positivo, restituisce i contenuti del file o del blob.
Ad esempio su come configurare l'azione DownloadFile
consulta gli esempi di azioni.
Azione CreateFile
Questa azione consente di creare un blob o un file in un container o una directory.
Parametri di input dell'azione CreateFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file che verrà creato. |
Ad esempio su come configurare l'azione CreateFile
consulta gli esempi di azioni.
Azione CopyFile
Questa azione consente di copiare i contenuti di un file o di un blob in un altro file o blob nello stesso container o nella stessa directory.
Parametri di input dell'azione CopyFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso di origine | Stringa | Sì | Il percorso del file che verrà copiato. |
DestinationPath | Stringa | Sì | Il percorso del file in cui verrà copiato. |
Ad esempio su come configurare l'azione CopyFile
consulta gli esempi di azioni.
Azione DeleteObject
Questa azione consente di eliminare un file o un blob.
Parametri di input dell'azione DeleteObject
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Ricorsivo | Stringa | No | Imposta l'opzione su true per eliminare tutti i contenuti della cartella, incluse eventuali sottocartelle. |
Percorso | Stringa | Sì | Il percorso del file o della cartella da eliminare. |
DeleteType | Stringa | Sì |
|
Ad esempio su come configurare l'azione DeleteObject
consulta gli esempi di azioni.
Azione LeaseBlob
Questa azione consente di creare e gestire un blocco su un blob.
Parametri di input dell'azione LeaseBlob
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file. |
LeaseAction | Stringa | Sì | Specifica l'azione di lease da eseguire. |
LeaseDuration | Numero intero | Sì | Specifica la durata del lease. |
Ad esempio su come configurare l'azione LeaseBlob
consulta gli esempi di azioni.
Azione UploadFile
Questa azione consente agli utenti di caricare i contenuti in un blob o un container specifico.
Parametri di input dell'azione UploadFile
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso del file da caricare. |
HasBytes | Booleano | No | Indica se caricare i contenuti come byte. |
Contenuti | Stringa | Sì | Contenuti da caricare. |
Ad esempio su come configurare l'azione UploadFile
consulta gli esempi di azioni.
Azione RenameObject
Questa azione consente di rinominare un file o una cartella.
Parametri di input dell'azione RenameObject
Nome parametro | Tipo di dati | Obbligatorio | Descrizione |
---|---|---|---|
Percorso | Stringa | Sì | Il percorso che verrà rinominato. |
RenameTo | Stringa | Sì | Il nuovo nome del file o della cartella. |
Ad esempio su come configurare l'azione RenameObject
consulta gli esempi di azioni.
Esempi di azioni
Esempio: download di un file
Questo esempio scarica un file binario.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
DownloadFile
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "Path": "testdirectory1/test1.pdf", "HasBytes": true }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività DownloadFile
avrà un valore simile al seguente:
[{ "Success": "True", "ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA" }]
Esempio - Carica un file
In questo esempio i contenuti vengono caricati come blob.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
UploadFile
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "Path": "testblob4", "HasBytes": true, "Content": "abcdef\nabcdef" }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività UploadFile
avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio - Creare un file
Questo esempio crea un file nella directory specificata.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
CreateFile
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "path": "testdirectory1/testblob" }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività CreateFile
avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio - Copiare un file
Questo esempio copia un file da una posizione a un'altra.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
CopyFile
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "SourcePath": "testdirectory1/testblob", "DestinationPath": "testblob" }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività CopyFile
avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: eliminare un blob
Questo esempio elimina il blob specificato.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
DeleteObject
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "path": "testdirectory1/testblob" }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività DeleteObject
avrà un valore simile al seguente:
[{ "Success": "true" }]
Esempio: affittare un blob
Questo esempio prende in leasing il blob specificato.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
LeaseBlob
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "Path": "testblob2", "LeaseAction": "Acquire", "LeaseDuration": 60.0 }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività LeaseBlob
avrà un valore simile al seguente:
[{ "LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493", "Success": "true" }]
Esempio: rinominare un blob
Questo esempio rinomina un blob.
- Nella finestra di dialogo
Configure connector task
, fai clic suActions
. - Seleziona l'azione
RenameObject
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su
connectorInputPayload
, quindi inserisci un valore simile al seguente nella CampoDefault Value
:{ "Path": "testblob", "RenameTo": "testblob6" }
Se l'azione viene eseguita correttamente,
Risposta connectorOutputPayload
dell'attività RenameObject
avrà un valore simile al seguente:
[{ "Success": true }]
Esempi di operazioni con entità
Questa sezione mostra come eseguire alcune delle operazioni relative alle entità in questo connettore.
Esempio: elenca tutti i record
In questo esempio sono elencati tutti i record nell'entità Resource
.
- Nella finestra di dialogo
Configure connector task
, fai clic suEntities
. - Seleziona
Resource
dall'elencoEntity
. - Seleziona l'operazione
List
e fai clic su Fine. - Facoltativamente, nella sezione Input attività dell'attività Connettori, puoi filtra il set di risultati specificando una clausola di filtro. Specifica il valore della clausola di filtro sempre tra virgolette singole (').
Esempio: registrare un record
Questo esempio ottiene un record con l'ID specificato dall'entità Resource
.
- Nella finestra di dialogo
Configure connector task
, fai clic suEntities
. - Seleziona
Resource
dall'elencoEntity
. - Seleziona l'operazione
Get
e fai clic su Fine. - Nella sezione Input attività dell'attività Connettori, fai clic su EntityId e
quindi inserisci
testdirectory1/testblob1
nel campo Valore predefinito.In questo caso,
testdirectory1/testblob1
è un ID record univoco nell'entitàResource
.
usa la connessione Azure Data Lake in un'integrazione
Dopo aver creato la connessione, questa diventa disponibile in Apigee Integration e Application Integration. Puoi usare la connessione in un'integrazione tramite l'attività Connettori.
- Per capire come creare e utilizzare l'attività Connectors in Apigee Integration, vedi Attività connettori.
- Per capire come creare e utilizzare l'attività Connettori in Application Integration, vedi Attività connettori.
Ricevi assistenza dalla community Google Cloud
Puoi pubblicare le tue domande e discutere di questo connettore in Google Cloud community presso i forum Cloud.Passaggi successivi
- Scopri come sospendere e ripristinare una connessione.
- Scopri come monitorare l'utilizzo dei connettori.
- Scopri come visualizzare i log del connettore.