Datastream è un servizio CDC (Change Data Capture) e di replica serverless e di facile utilizzo che consente di sincronizzare i dati in modo affidabile e con latenza minima.
Datastream fornisce la replica perfetta dei dati da database operativi in BigQuery. Inoltre, Datastream supporta la scrittura del flusso di eventi di modifica in Cloud Storage e offre un'integrazione semplificata con i modelli Dataflow per creare flussi di lavoro personalizzati per il caricamento dei dati in un'ampia gamma di destinazioni, come Cloud SQL e Spanner. Puoi anche utilizzare Datastream per utilizzare il flusso di eventi direttamente da Cloud Storage, così da creare architetture basate su eventi. Datastream supporta le origini Oracle, MySQL, SQL Server e PostgreSQL (incluso AlloyDB per PostgreSQL).
I vantaggi di Datastream includono:
- Configurazione immediata delle pipeline ELT (estrazione, caricamento e trasformazione) per la replica dei dati a bassa latenza al fine di ottenere insight quasi in tempo reale in BigQuery.
- Poiché è serverless, non sono presenti risorse da eseguire il provisioning o da gestire e il servizio esegue automaticamente lo scale up e lo scale down in base alle esigenze, con tempi di inattività minimi.
- Esperienze di configurazione e monitoraggio facili da usare che consentono di ottenere un time-to-value estremamente rapido.
- Integrazione con il meglio del portafoglio di servizi dati di Google Cloud per l'integrazione dei dati in Datastream, Dataflow, Pub/Sub, BigQuery e altri.
- Sincronizzazione e unificazione degli stream di dati in database e applicazioni eterogenei.
- Sicurezza, con opzioni di connettività privata e la sicurezza che ti aspetti da Google Cloud.
- Essere preciso e affidabile, con report sullo stato trasparenti e ampia flessibilità di elaborazione di fronte ai cambiamenti di dati e schemi.
- Supporto di più casi d'uso, tra cui analisi, replica e sincronizzazione dei database per migrazioni e configurazioni di cloud ibrido e per la creazione di architetture basate su eventi.
Casi d'uso
Le funzionalità di streaming di Datastream consentono una serie di casi d'uso:
Replica e sincronizzazione dei dati all'interno dell'organizzazione con latenza minima
Puoi sincronizzare i dati in database e applicazioni eterogenei in modo affidabile, con bassa latenza e con un impatto minimo sulle prestazioni dell'origine. Sfrutta la potenza degli stream di dati per analisi, replica del database, migrazione al cloud e architetture basate su eventi in ambienti ibridi.
Esegui lo scale up o lo scale down con un'architettura serverless senza problemi
Raggiungi la piena operatività in modo rapido con un servizio serverless e facile da utilizzare che si espande in modo semplice man mano che i volumi di dati cambiano. Concentrati sull'estrazione di informazioni aggiornate dai tuoi dati e sulla risposta a problemi di alta priorità, anziché sulla gestione dell'infrastruttura, dell'ottimizzazione delle prestazioni o del provisioning delle risorse.
Eseguire l'integrazione con la suite di integrazione dei dati di Google Cloud
Connetti i dati di tutta la tua organizzazione con la suite di prodotti di integrazione dei dati di Google Cloud. Datastream sfrutta i modelli Dataflow per caricare i dati in BigQuery, Spanner e Cloud SQL.
Elementi dell'esperienza
Datastream è costituito da tre elementi principali:
- Le configurazioni di connettività privata consentono a Datastream di comunicare con un'origine dati su una rete privata (all'interno di Google Cloud o con origini esterne collegate tramite VPN o Interconnect). Questa comunicazione avviene tramite una connessione in peering VPC (Virtual Private Cloud).
- I profili di connessione rappresentano le informazioni sulla connettività sia per un'origine sia per una destinazione. Queste informazioni verranno utilizzate da uno stream.
- Gli stream utilizzano le informazioni nei profili di connessione per trasferire i dati CDC e di backfill dall'origine alla destinazione.
Passaggi successivi
- Inizia a replicare i dati da un database di origine ai set di dati BigQuery.
- Scopri di più sui concetti e sulle funzionalità chiave di Datastream.
- Scopri come creare configurazioni di connettività privata, profili di connessione e stream.