Introduzione al caricamento, alla trasformazione e all'esportazione dei dati

Questo documento fornisce una panoramica delle seguenti funzionalità di integrazione dei dati in BigQuery:

  • Caricamento e trasformazione dei dati in BigQuery utilizzando l'approccio estrazione, caricamento e trasformazione (ELT) o l'approccio estrazione, trasformazione e caricamento (ETL).
  • Esportazione dei dati da BigQuery per applicare approfondimenti in altri sistemi, nota anche come reverse ETL.

Caricamento dei dati dalle origini, trasformazione dei dati ed esportazione dei risultati

Caricamento e trasformazione dei dati

È comune trasformare i dati prima o dopo il caricamento in BigQuery. I due approcci comuni all'integrazione dei dati, ETL e ELT, sono descritti nelle sezioni seguenti.

Approccio di integrazione dei dati ELT

Con l'approccio di estrazione, caricamento e trasformazione, esegui l'integrazione dei dati in due passaggi distinti:

  • Estrarre e caricare i dati
  • Trasformare i dati

Ad esempio, puoi estrarre e caricare i dati da un'origine file JSON in una tabella BigQuery. Poi, puoi utilizzare le pipeline per estrarre e trasformare i campi nelle tabelle di destinazione.

L'approccio ELT può semplificare il flusso di lavoro di integrazione dei dati nei seguenti modi:

  • Elimina la necessità di altri strumenti di elaborazione dei dati
  • Suddivide il processo di integrazione dei dati, spesso complesso, in due parti gestibili
  • Sfrutta appieno le funzionalità di BigQuery per preparare, trasformare e ottimizzare i dati su larga scala

Estrazione e caricamento dei dati

Nell'approccio di integrazione dei dati ELT, estrai i dati da un'origine dati e caricali in BigQuery utilizzando uno dei metodi supportati per il caricamento o l'accesso ai dati esterni.

Trasformazione dei dati

Dopo aver caricato i dati in BigQuery, puoi prepararli e trasformarli con i seguenti strumenti:

  • Per creare, testare, documentare e pianificare in collaborazione pipeline di trasformazione dei dati SQL avanzate, utilizza Dataform.
  • Per flussi di lavoro di trasformazione dei dati più piccoli che eseguono codice SQL o notebook Python in base a una pianificazione, utilizza i flussi di lavoro (in anteprima).
  • Per pulire i dati per l'analisi, utilizza la preparazione dei dati con l'AI (in anteprima).

Per ulteriori informazioni, consulta Introduzione alle trasformazioni.

Approccio di integrazione dei dati ETL

Nell'approccio estrai, trasforma e carica, estrae e trasformi i dati prima che raggiungano BigQuery. Questo approccio è utile se hai già implementato un processo per la trasformazione dei dati o se vuoi ridurre l'utilizzo delle risorse in BigQuery.

Cloud Data Fusion può aiutarti a semplificare il processo ETL. BigQuery funziona anche con partner di terze parti che trasformano e caricano i dati in BigQuery.

Esportazione di dati

Dopo aver elaborato e analizzato i dati in BigQuery, puoi esportare i risultati per applicarli in altri sistemi. BigQuery supporta le seguenti esportazioni:

  • Esportazione dei risultati delle query in un file locale, Google Drive, Fogli Google
  • Esportazione di tabelle o risultati di query in Cloud Storage, Bigtable, Spanner e Pub/Sub

Questo processo è noto come ETL inverso.

Per saperne di più, consulta Introduzione all'esportazione dei dati.

Passaggi successivi