Vai a
Datastream per BigQuery

Datastream per BigQuery

Replica senza interruzioni dai database relazionali direttamente a BigQuery, consentendo insight quasi in tempo reale sui dati operativi.

  • Replica a bassa latenza per consentire insight quasi in tempo reale in BigQuery

  • Accesso ai flussi di dati da database MySQL, PostgreSQL, AlloyDB, SQL Server e Oracle

  • Piattaforma serverless con scalabilità automatica, senza risorse per il provisioning o la gestione

  • Facile configurazione di pipeline ELT (estrazione, carico, trasformazione) con connettività sicura integrata

  • Utilizzato da migliaia di clienti per replicare i propri dati operativi in BigQuery

Vantaggi

Replica i dati operativi con latenza minima

Replica senza interruzioni i dati da database MySQL, PostgreSQL, AlloyDB SQL Server e Oracle direttamente in BigQuery, con bassa latenza e senza influire sulle prestazioni dell'origine.

Fai lo scale up o lo scale down con un'architettura serverless

Elimina l'overhead operativo con un approccio serverless con scalabilità automatica senza alcuna infrastruttura da gestire.

Inizia a lavorare in pochi minuti

Un'esperienza di configurazione semplificata consente di avviare la replica dei dati dai database operativi in BigQuery in pochi passaggi.

Funzionalità principali

Funzionalità principali

Replica dei dati operativi in BigQuery

Datastream utilizza la funzionalità Change Data Capture (CDC) e l'API Storage Write di BigQuery per replicare in modo efficiente gli aggiornamenti direttamente dai sistemi di origine quasi in tempo reale. Non hai più bisogno di soluzioni di replica che sprecano risorse preziose su pipeline di dati complesse, tabelle di gestione temporanea autogestite, logica di unione complessa o conversione per tipo di dati manuale.

Configurazione semplificata

Datastream consente di avviare la replica dei dati in BigQuery in pochi passaggi. È sufficiente configurare il database di origine, il tipo di connessione e la destinazione in BigQuery. Datastream per BigQuery esegue il backfill dei dati storici e replica continuamente le nuove modifiche man mano che si verificano.

Flusso di dati da database relazionali

Datastream legge e distribuisce tutte le modifiche (inserimento, aggiornamento ed eliminazione) dai database MySQL, PostgreSQL, AlloyDB, SQL Server e Oracle in BigQuery con latenza minima. Il database di origine può essere ospitato on-premise, su servizi Google Cloud come Cloud SQL o Bare Metal Solution per Oracle o in qualsiasi altra parte su qualsiasi cloud. Un servizio nativo di Google senza agente creato appositamente per BigQuery che trasmette in modo affidabile ogni evento man mano che si verifica. 

Risoluzione delle deviazioni dallo schema

Man mano che cambiano gli schemi di origine, Datastream gestisce senza problemi la deviazione dallo schema e replica automaticamente le nuove colonne e le nuove tabelle aggiunte nell'origine a BigQuery.

Secure-by-design

Datastream supporta diversi metodi di connettività sicura e privata per proteggere i dati in transito. Anche sono inoltre criptati at-rest.

Logo Falabella
Con Datastream abbiamo un unico strumento per replicare quasi in tempo reale i nostri dati operativi in BigQuery. Datastream ci aiuta a ottenere molto più rapidamente insight sui nostri dati operativi, fornire prodotti di dati più stabili e soddisfare meglio le nostre esigenze aziendali.

René Delgado, Head of Data Solutions di Falabella

Link al blog

Casi d'uso

Casi d'uso

Caso d'uso
Replica serverless in BigQuery

Datastream legge gli eventi di modifica (inserimenti, aggiornamenti ed eliminazioni) dai database di origine e li scrive nelle tabelle BigQuery quasi in tempo reale. Ciò consente di arricchire i modelli di data warehouse e i modelli di machine learning di BigQuery esistenti con dati transazionali, come gli acquisti al dettaglio, per creare un quadro end-to-end dei dati più completo. Datastream esegue il backfill dei dati storici, replica continuamente le nuove modifiche man mano che vengono apportate e gestisce senza problemi le modifiche allo schema.

Replica                     serverless in BigQuery
Confronto tra le funzionalità

Confronta le opzioni per il flusso di dati dai database operativi in BigQuery

Datastream per BigQuery

Soluzione completamente gestita per la replica dei dati da database transazionali in BigQuery

Datastream e Dataflow

Soluzione personalizzabile per replicare le modifiche nelle origini dati

Datastream e Data Fusion

Procedura guidata senza codice che fa parte di un servizio ETL completamente gestito

Vantaggi principali

  • La soluzione più semplice per la replica dei dati operativi in BigQuery

  • Architettura serverless con scale up e scale down automatici

  • Un'unica interfaccia per la visibilità end-to-end e il monitoraggio delle pipeline di replica

  • Soluzione personalizzabile con ulteriore flessibilità

  • Modelli predefiniti supportati da Google per un intervallo di destinazioni

  • Integrazione di funzionalità aggiuntive come qualità dei dati e mascheramento dei dati

  • Interfaccia semplice per sviluppatori e analisti di dati ETL

  • Identificazione anticipata di potenziali problemi e lacune nella replica

  • Insight quasi in tempo reale sulle prestazioni di replica

Soluzione completamente gestita per la replica dei dati da database transazionali in BigQuery

Vantaggi principali

  • La soluzione più semplice per la replica dei dati operativi in BigQuery

  • Architettura serverless con scale up e scale down automatici

  • Un'unica interfaccia per la visibilità end-to-end e il monitoraggio delle pipeline di replica

Soluzione personalizzabile per replicare le modifiche nelle origini dati

Vantaggi principali

  • Soluzione personalizzabile con ulteriore flessibilità

  • Modelli predefiniti supportati da Google per un intervallo di destinazioni

  • Integrazione di funzionalità aggiuntive come qualità dei dati e mascheramento dei dati

Procedura guidata senza codice che fa parte di un servizio ETL completamente gestito

Vantaggi principali

  • Interfaccia semplice per sviluppatori e analisti di dati ETL

  • Identificazione anticipata di potenziali problemi e lacune nella replica

  • Insight quasi in tempo reale sulle prestazioni di replica

Puoi anche inserire flussi di dati da database operativi in BigQuery con soluzioni ETL/ELT dei partner, Kafka o job batch. Rispetto a queste opzioni, Datastream presenta in genere i vantaggi dell'architettura serverless, la facilità di integrazione e la bassa latenza.

Prezzi

Prezzi di Datastream

I prezzi di Datastream si basano sui dati effettivi elaborati. Sono disponibili prezzi a più livelli basati sui volumi, che sono più convenienti se sposti volumi di dati più elevati. Ulteriori dettagli sui prezzi sono disponibili nella pagina dei prezzi di Datastream.

Le risorse aggiuntive come BigQuery, Cloud Storage e Dataflow vengono fatturate in base ai prezzi di questi servizi.

Fai il prossimo passo

Inizia a creare su Google Cloud con 300 $ di crediti gratuiti e oltre 20 prodotti Always Free.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Console
Google Cloud