Sviluppa e rendi operative pipeline di trasformazione dei dati scalabili in BigQuery utilizzando SQL.
Sviluppa tabelle selezionate, aggiornate, affidabili e documentate in BigQuery
Consenti agli analisti di dati e ai data engineer di collaborare sullo stesso repository
Crea pipeline di dati scalabili in BigQuery utilizzando SQL
Integrazione con GitHub e GitLab
Mantieni aggiornate le tabelle senza gestire l'infrastruttura
Vantaggi
Sviluppa e rendi operative pipeline di dati scalabili in BigQuery utilizzando SQL da un unico ambiente e senza ulteriori dipendenze.
Con Dataform, i team di dati gestiscono il codice SQL e le definizioni degli asset di dati seguendo le best practice di progettazione del software, come il controllo della versione, gli ambienti, i test e la documentazione.
Dataform elimina la complessità della creazione di pipeline SQL. Gli analisti di dati possono gestire le dipendenze, configurare i test sulla qualità dei dati e orchestrare le pipeline complesse con SQL.
Funzionalità principali
Dataform Core consente ai data engineer e agli analisti di dati di creare centralmente le definizioni delle tabelle, configurare le dipendenze, aggiungere descrizioni delle colonne e configurare le dichiarazioni sulla qualità dei dati in un unico repository utilizzando solo SQL.
Le funzioni di Dataform Core possono essere adottate in modo incrementale e addizionale, senza modificare il codice esistente.
Dataform Core è open source e può essere utilizzato localmente, liberando gli utenti dai vincoli e offrendo la flessibilità necessaria per casi d'uso più avanzati.
Dataform gestisce l'infrastruttura operativa per aggiornare le tabelle seguendo le dipendenze tra le tabelle e utilizzando la versione più recente del codice. Le informazioni su derivazione e dati possono essere monitorate senza problemi con le integrazioni di Dataform. Attiva manualmente i flussi di lavoro SQL o pianifica tramite Cloud Composer, Workflows o servizi di terze parti.
Definisci le tabelle, risolvi i problemi con messaggi di errore in tempo reale, visualizza le dipendenze, esegui il commit delle modifiche in Git e pianifica le pipeline in pochi minuti da un'unica interfaccia, senza uscire dal browser web. Connetti il tuo repository a provider di terze parti come GitHub e GitLab. Esegui il commit delle modifiche e invia tramite push o apri richieste di pull dall'IDE.
Documentazione
Prezzi
Dataform è un servizio gratuito.
Quando utilizzi il prodotto, potrebbero essere applicati costi associati ad altri servizi.
Inizia a creare su Google Cloud con 300 $ di crediti gratuiti e oltre 20 prodotti Always Free.