Cloud Data Fusion fornisce un plug-in origine Dataplex leggere i dati dalle entità (tabelle) Dataplex che risiedono su degli asset Cloud Storage o BigQuery. Il plug-in Dataplex Source consente di trattare i dati negli asset Cloud Storage come tabelle e filtrarli con semplici query SQL.
Prima di iniziare
Crea un'istanza Cloud Data Fusion, se non ne hai uno. Questo plug-in è disponibile nelle istanze che funzionano in Cloud Data Fusion 6.6 o versioni successive.
I dati di origine devono già far parte di un Dataplex zone e una risorsa (un bucket Cloud Storage o un set di dati BigQuery).
Per usare le tabelle da Cloud Storage, devi configurare un metastore per il tuo lake.
Affinché i dati possano essere letti dalle entità Cloud Storage, Dataproc Metastore deve essere collegato al lake.
I dati CSV nelle entità Cloud Storage non sono supportati.
Nel progetto Dataplex, abilita l'accesso privato Google nella subnet, che in genere è impostata su
default, oppure impostainternal_ip_onlysufalse.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire i ruoli, chiedi all'amministratore di concederti i seguenti ruoli IAM all'agente di servizio Dataproc e all'agente di servizio Cloud Data Fusion (service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com):
-
Sviluppatore Dataplex (
roles/dataplex.developer) -
Dataplex Data Reader (
roles/dataplex.dataReader) -
Utente metadati Dataproc Metastore (
roles/metastore.metadataUser) -
Agente di servizio Cloud Dataplex (
roles/dataplex.serviceAgent) -
Dataplex Metadata Reader (
roles/dataplex.metadataReader)
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
Limitazioni
Per gli asset Cloud Storage: questo plug-in non supporta la lettura da: file CSV. Supporta la lettura dai formati JSON, Avro, Parquet e ORC.
Per gli asset Cloud Storage: Data di inizio della partizione e Data di fine della partizione non sono applicabili.
Aggiungi il plug-in alla pipeline
Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion.
Questa pagina ti consente di gestire le istanze.
Fai clic su Visualizza istanza per aprire l'istanza in Cloud Data Fusion nell'interfaccia utente.
Vai alla pagina Studio, espandi il menu Origine e fai clic su Dataplex.
Configura il plug-in
Dopo aver aggiunto il plug-in alla pipeline nella pagina Studio, fai clic su l'origine Dataplex per configurarne le proprietà.
Per ulteriori informazioni sulle configurazioni, consulta Riferimento per l'origine Dataplex.
(Facoltativo) Inizia con una pipeline di esempio
Sono disponibili pipeline di esempio, tra cui un'origine SAP Pipeline del sink Dataplex e un'origine Dataplex per Pipeline sink BigQuery.
Per utilizzare una pipeline di esempio, apri l'istanza nella UI di Cloud Data Fusion, fai clic su Hub > Pipeline e seleziona una delle delle pipeline Dataplex. Si apre una finestra di dialogo per aiutarti a creare la pipeline.
Passaggi successivi
- Importare dati con Cloud Data Fusion usando il plug-in del sink di Dataplex.