Gestire l'amministrazione di Studio

Questa pagina illustra le funzionalità di amministrazione fornite da Studio di Cloud Data Fusion per gestire le configurazioni. Cloud Data Fusion segue una gerarchia, in cui ogni istanza può avere più spazi dei nomi. Da Cloud Data Fusion Studio, gli amministratori possono gestire centralmente tutti gli spazi dei nomi o gestirli singolarmente. Cloud Data Fusion Studio fornisce i seguenti controlli di sistema e dello spazio dei nomi.

Amministrazione di sistema

Se fai clic su Amministratore di sistema in Studio di Cloud Data Fusion, vengono visualizzate le seguenti schede:

  • La scheda Gestione: visualizza lo stato di integrità dei vari servizi Cloud Data Fusion. Puoi anche visualizzare i log per ciascuno dei servizi.

  • Scheda Configurazione: crea, visualizza e modifica i seguenti controlli:

I provisioner sono responsabili della creazione, dell'inizializzazione e dell'eliminazione dell'ambiente cloud in cui vengono eseguite le pipeline. Ogni provider espone un insieme di configurazioni che vengono utilizzate per controllare il tipo di cluster creato ed eliminato. Provisioner diversi creano tipi diversi di cluster.

Ogni profilo di calcolo ha un ambito: sistema o utente. Puoi utilizzare un profilo di calcolo del sistema per tutti gli spazi dei nomi sottostanti. I profili di calcolo utente esistono all'interno di uno spazio dei nomi e solo le pipeline in quello spazio dei nomi possono utilizzarli.

Nella scheda Configurazioni dell'amministratore di sistema, puoi creare un profilo di calcolo del sistema da applicare a tutti gli spazi dei nomi. Cloud Data Fusion assegna un profilo di calcolo predefinito.

Quando crei un profilo di calcolo, selezioni il provisioning, che il profilo utilizza per creare e configurare i dettagli di runtime del cloud.

Preferenze di sistema

Le preferenze sono configurazioni predefinite che si applicano a vari livelli all'interno di Cloud Data Fusion, inclusi il sistema stesso, gli spazi dei nomi, le applicazioni (che contengono pipeline) e i singoli programmi all'interno delle pipeline. Le preferenze consentono di impostare valori predefiniti per le configurazioni più utilizzate. Questi valori predefiniti possono essere ereditati da pipeline e programmi a livelli inferiori, riducendo le attività di configurazione ripetitive. Per saperne di più, vedi Gestire macro, preferenze e argomenti di runtime.

Azione di chiamata HTTP

L'azione di chiamata HTTP nella pagina Amministrazione sistema ti consente di interagire con l'API di Cloud Data Fusion o potenzialmente con altre API di servizio Google Cloud direttamente dall'interfaccia di Studio di Cloud Data Fusion. Tuttavia, per creare pipeline di elaborazione dei dati con origini dati esterne, utilizza il plug-in HTTP e il relativo Executor delle chiamate HTTP all'interno delle pipeline per una soluzione più completa. È leggermente diversa dall'azione di chiamata HTTP, ma i concetti di base sono simili.

Configurazioni e casi d'uso

L'azione di chiamata HTTP viene utilizzata principalmente per attività amministrative o per scopi di configurazione in Cloud Data Fusion. Ti consente di interagire con l'API Cloud Data Fusion o con altri Google Cloud servizi che espongono un'API HTTP, direttamente da Cloud Data Fusion Studio.

Configurazioni

Per una chiamata HTTP puoi definire i seguenti dettagli:

  • URL: l'endpoint di destinazione del servizio web che vuoi chiamare.
  • Method (Metodo): il metodo HTTP da utilizzare, ad esempio GET, POST o PUT.
  • (Facoltativo) Intestazioni: eventuali intestazioni personalizzate richieste per la richiesta.
  • (Facoltativo) Corpo: i dati da inviare nel corpo della richiesta, ad esempio per le chiamate POST e PUT.

Puoi quindi eseguire la chiamata HTTP definita e visualizzare la risposta del servizio web in Cloud Data Fusion Studio.

Casi d'uso
  • Esegui il test delle chiamate all'API Cloud Data Fusion. Puoi utilizzare l'azione di chiamata HTTP per testare o esplorare le funzionalità dell'API Cloud Data Fusion direttamente dall'interfaccia web. Questa azione può essere utile per comprendere il comportamento dell'API o risolvere potenziali problemi.
  • Gestire gli spazi dei nomi (avanzato). Sebbene esista un'interfaccia utente dedicata per la gestione dei nomi di spazio, l'azione di chiamata HTTP può essere utilizzata per attività avanzate effettuando chiamate direttamente all'API Cloud Data Fusion per la creazione, l'eliminazione o la configurazione dei nomi di spazio.
  • Interazione con altri Google Cloud servizi (limitata). Se altri Google Cloud servizi che utilizzi hanno un'API HTTP documentata pubblicamente, puoi utilizzare l'azione di chiamata HTTP per interagire con questi servizi, anche se si tratta di un caso d'uso insolito.
Considerazioni importanti
  • Sicurezza: fai attenzione quando utilizzi l'azione di chiamata HTTP, in particolare con dati sensibili o chiamate all'API Cloud Data Fusion che potrebbero influire sul tuo ambiente. Assicurati di comprendere le implicazioni di ogni chiamata API prima di eseguirla.
  • Limitazioni: l'azione di chiamata HTTP è principalmente per compiti amministrativi e scopi di test. Non è progettato per la creazione di pipeline di elaborazione dei dati complesse che richiedono la manipolazione dei dati all'interno di Cloud Data Fusion.
  • Alternativa per le pipeline: per integrare servizi o origini dati esterni nelle pipeline di dati, utilizza il plug-in HTTP e l'executor delle chiamate HTTP associato nelle definizioni delle pipeline. In questo modo, viene fornito un modo più solido e controllato per gestire le interazioni HTTP all'interno dei flussi di lavoro di elaborazione dei dati.

Amministrazione dello spazio dei nomi

Se fai clic su Amministratore dello spazio dei nomi in Cloud Data Fusion Studio, puoi gestire le configurazioni per lo spazio dei nomi specifico. Per ogni spazio dei nomi, puoi definire i seguenti aspetti:

  • Profili di calcolo: i profili configurati in Amministrazione del nome di spazio sono profili di calcolo dell'utente. Solo le pipeline in questo spazio dei nomi possono utilizzare questi profili di calcolo dell'utente. Per saperne di più, consulta Gestire i profili di calcolo.
  • Preferenze: le preferenze definite a livello di spazio dei nomi sono applicabili allo spazio dei nomi, alle applicazioni (che contengono le pipeline) e ai singoli programmi all'interno delle pipeline. Per saperne di più, vedi Gestire macro, preferenze e argomenti di runtime.
  • Connessioni: Cloud Data Fusion ti consente di riutilizzare le connessioni alle origini e ai sink nelle pipeline di dati. Puoi aggiungere connessioni nella pagina Amministrazione dell'area di nomi. Per scoprire di più, consulta la pagina Creare e gestire le connessioni.
  • Driver: alcuni plug-in di Cloud Data Fusion richiedono l'aggiunta di un driver JDBC al nome dell'area. Ad esempio, prima di poter eseguire una pipeline con un plug-in di origine batch MySQL, devi aggiungere il driver MySQL supportato allo spazio dei nomi. Puoi caricare o rimuovere i driver JDBC in uno spazio dei nomi dalla pagina Amministrazione spazio dei nomi o direttamente dall'hub. Per saperne di più, consulta Driver dei plug-in.
  • Gestione del controllo del codice sorgente: per gestire in modo efficiente il processo di sviluppo delle pipeline di cui è stato eseguito il deployment, la gestione del controllo del codice sorgente ti consente di collegare un ambito al repository del tuo sistema di controllo del codice sorgente. Per ulteriori informazioni, consulta Gestire le pipeline utilizzando la gestione del controllo del codice sorgente.
  • Service account: per controllare l'accesso alle risorse Google Cloud , i namespace in Cloud Data Fusion utilizzano per impostazione predefinita il Cloud Data Fusion API Service Agent.

Per un isolamento dei dati migliore, puoi associare a ogni spazio dei nomi un account di servizio Identity and Access Management (IAM) personalizzato (noto come account di servizio per spazio dei nomi). L'account servizio IAM personalizzato, che può essere diverso per spazi dei nomi diversi, ti consente di controllare l'accesso alle risorse Google Cloud tra gli spazi dei nomi per le operazioni di progettazione della pipeline in Cloud Data Fusion, come l'anteprima della pipeline, Wrangler e la convalida della pipeline. Per ulteriori informazioni, consulta Controllo dell'accesso con lo spazio dei nomi del service account.

Passaggi successivi