Panoramica di Datastream

Datastream è un servizio CDC (Change Data Capture) e di replica serverless e di facile utilizzo che consente di sincronizzare i dati in modo affidabile e con latenza minima.

Datastream fornisce la replica perfetta dei dati da database operativi in BigQuery. Inoltre, Datastream supporta la scrittura del flusso di eventi di modifica in Cloud Storage e offre un'integrazione semplificata con i modelli Dataflow per creare flussi di lavoro personalizzati per il caricamento dei dati in un'ampia gamma di destinazioni, come Cloud SQL e Spanner. Puoi anche utilizzare Datastream per utilizzare il flusso di eventi direttamente da Cloud Storage, così da creare architetture basate su eventi. Datastream supporta le origini Oracle, MySQL, SQL Server e PostgreSQL (incluso AlloyDB per PostgreSQL).

I vantaggi di Datastream includono:

  • Configurazione immediata delle pipeline ELT (estrazione, caricamento e trasformazione) per la replica dei dati a bassa latenza al fine di ottenere insight quasi in tempo reale in BigQuery.
  • Poiché è serverless, non sono presenti risorse da eseguire il provisioning o da gestire e il servizio esegue automaticamente lo scale up e lo scale down in base alle esigenze, con tempi di inattività minimi.
  • Esperienze di configurazione e monitoraggio facili da usare che consentono di ottenere un time-to-value estremamente rapido.
  • Integrazione con il meglio del portafoglio di servizi dati di Google Cloud per l'integrazione dei dati in Datastream, Dataflow, Pub/Sub, BigQuery e altri.
  • Sincronizzazione e unificazione degli stream di dati in database e applicazioni eterogenei.
  • Sicurezza, con opzioni di connettività privata e la sicurezza che ti aspetti da Google Cloud.
  • Essere preciso e affidabile, con report sullo stato trasparenti e ampia flessibilità di elaborazione di fronte ai cambiamenti di dati e schemi.
  • Supporto di più casi d'uso, tra cui analisi, replica e sincronizzazione dei database per migrazioni e configurazioni di cloud ibrido e per la creazione di architetture basate su eventi.

Casi d'uso

Le funzionalità di streaming di Datastream consentono una serie di casi d'uso:

  • Replica e sincronizzazione dei dati all'interno dell'organizzazione con latenza minima

    Puoi sincronizzare i dati in database e applicazioni eterogenei in modo affidabile, con bassa latenza e con un impatto minimo sulle prestazioni dell'origine. Sfrutta la potenza degli stream di dati per analisi, replica del database, migrazione al cloud e architetture basate su eventi in ambienti ibridi.

  • Esegui lo scale up o lo scale down con un'architettura serverless senza problemi

    Raggiungi la piena operatività in modo rapido con un servizio serverless e facile da utilizzare che si espande in modo semplice man mano che i volumi di dati cambiano. Concentrati sull'estrazione di informazioni aggiornate dai tuoi dati e sulla risposta a problemi di alta priorità, anziché sulla gestione dell'infrastruttura, dell'ottimizzazione delle prestazioni o del provisioning delle risorse.

  • Eseguire l'integrazione con la suite di integrazione dei dati di Google Cloud

    Connetti i dati di tutta la tua organizzazione con la suite di prodotti di integrazione dei dati di Google Cloud. Datastream sfrutta i modelli Dataflow per caricare i dati in BigQuery, Spanner e Cloud SQL.

Elementi dell'esperienza

Datastream è costituito da tre elementi principali:

  • Le configurazioni di connettività privata consentono a Datastream di comunicare con un'origine dati su una rete privata (all'interno di Google Cloud o con origini esterne collegate tramite VPN o Interconnect). Questa comunicazione avviene tramite una connessione in peering VPC (Virtual Private Cloud).
  • I profili di connessione rappresentano le informazioni sulla connettività sia per un'origine sia per una destinazione. Queste informazioni verranno utilizzate da uno stream.
  • Gli stream utilizzano le informazioni nei profili di connessione per trasferire i dati CDC e di backfill dall'origine alla destinazione.

Passaggi successivi