Elabora i dati con Cloud Data Fusion

Cloud Data Fusion fornisce un plug-in origine Dataplex per leggere i dati delle entità (tabelle) Dataplex che risiedono in asset Cloud Storage o BigQuery. Il plug-in origine Dataplex consente di trattare i dati negli asset di Cloud Storage come tabelle e di filtrarli con semplici query SQL.

Prima di iniziare

  • Crea un'istanza di Cloud Data Fusion, se non ne hai una. Questo plug-in è disponibile nelle istanze eseguite in Cloud Data Fusion versione 6.6 o successive.

  • I dati di origine devono già far parte di una zona Dataplex e di un asset (un bucket Cloud Storage o un set di dati BigQuery).

  • Per utilizzare le tabelle di Cloud Storage, devi configurare un metastore per il lake.

  • Per leggere i dati dalle entità di Cloud Storage, Dataproc Metastore deve essere collegato al lake.

  • I dati CSV nelle entità di Cloud Storage non sono supportati.

  • Nel progetto Dataplex, abilita l'accesso privato Google nella subnet, che in genere è impostata su default, oppure imposta internal_ip_only su false.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i ruoli, chiedi all'amministratore di concederti i seguenti ruoli IAM sull'account di servizio Dataproc e sull'account di servizio gestito da Google (service-CUSTOMER_PROJECT_NUMBER@gcp-sa- datafusion.iam.gserviceaccount.com):

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Limitazioni

  • Per gli asset Cloud Storage: questo plug-in non supporta la lettura da file CSV. Supporta la lettura dai formati JSON, Avro, Parquet e ORC.

  • Per gli asset Cloud Storage: Data di inizio della partizione e Data di fine della partizione non sono applicabili.

Aggiungi il plug-in alla pipeline

  1. Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion.

    Vai a Istanze

    Questa pagina ti consente di gestire le istanze.

  2. Fai clic su Visualizza istanza per aprire l'istanza nell'interfaccia utente di Cloud Data Fusion.

  3. Vai alla pagina Studio, espandi il menu Origine e fai clic su Dataplex.

Configura il plug-in

Dopo aver aggiunto questo plug-in alla pipeline nella pagina Studio, fai clic sull'origine Dataplex per configurarne le proprietà.

Per ulteriori informazioni sulle configurazioni, consulta la pagina di riferimento sull'origine Dataplex.

(Facoltativo) Iniziare a utilizzare una pipeline di esempio

Sono disponibili pipeline di esempio, tra cui una pipeline sink da un'origine SAP a Dataplex e una pipeline sink da un'origine Dataplex a BigQuery.

Per utilizzare una pipeline di esempio, apri l'istanza nell'interfaccia utente di Cloud Data Fusion, fai clic su Hub > Pipeline e seleziona una delle pipeline Dataplex. Si apre una finestra di dialogo che aiuta a creare la pipeline.

Passaggi successivi