Panoramica di Datastream

Datastream è un servizio CDC (Change Data Capture) e di replica serverless e di facile utilizzo che consente di sincronizzare i dati in modo affidabile e con latenza minima.

Datastream fornisce la replica perfetta dei dati da database operativi in BigQuery. Inoltre, Datastream supporta la scrittura del flusso di eventi di modifica in Cloud Storage e offre un'integrazione semplificata con i modelli Dataflow per creare flussi di lavoro personalizzati per il caricamento dei dati in un'ampia gamma di destinazioni, come Cloud SQL e Spanner. Puoi anche utilizzare Datastream per utilizzare il flusso di eventi direttamente da Cloud Storage, così da creare architetture basate su eventi. Datastream supporta le origini Oracle, MySQL, SQL Server, PostgreSQL (incluso AlloyDB per PostgreSQL) e Salesforce (anteprima).

I vantaggi di Datastream includono:

  • Configurazione senza interruzioni delle pipeline ELT (Extract, Load, Transform) per la replica dei dati a bassa latenza al fine di ottenere insight quasi in tempo reale in BigQuery.
  • Poiché è serverless, non sono presenti risorse da eseguire il provisioning o da gestire e il servizio esegue automaticamente lo scale up e lo scale down in base alle esigenze, con tempi di inattività minimi.
  • Esperienze di configurazione e monitoraggio facili da usare che consentono di ottenere un time-to-value estremamente rapido.
  • Integrazione del meglio del portafoglio di Google Cloud servizi dati per l'integrazione dei dati in Datastream, Dataflow, Pub/Sub, BigQuery e altri ancora.
  • Sincronizzazione e unificazione degli stream di dati in database e applicazioni eterogenei.
  • Sicurezza, con opzioni di connettività privata e la sicurezza che ti aspetti da Google Cloud.
  • Essere preciso e affidabile, con report sullo stato trasparenti e ampia flessibilità di elaborazione di fronte ai cambiamenti di dati e schemi.
  • Supporto di più casi d'uso, tra cui analisi, replica e sincronizzazione dei database per migrazioni e configurazioni di cloud ibrido e per la creazione di architetture basate su eventi.

Casi d'uso

Le funzionalità di streaming di Datastream consentono una serie di casi d'uso:

  • Replica e sincronizzazione dei dati all'interno dell'organizzazione con latenza minima

    Puoi sincronizzare i dati in database e applicazioni eterogenei in modo affidabile, con bassa latenza e con un impatto minimo sulle prestazioni dell'origine. Sfrutta la potenza degli stream di dati per analisi, replica del database, migrazione al cloud e architetture basate su eventi in ambienti ibridi.

  • Esegui lo scale up o lo scale down con un'architettura serverless senza problemi

    Raggiungi la piena operatività in modo rapido con un servizio serverless e facile da utilizzare che si espande in modo semplice man mano che i volumi di dati cambiano. Concentrati sull'estrazione di informazioni aggiornate dai tuoi dati e sulla risposta a problemi di alta priorità, anziché sulla gestione dell'infrastruttura, sull'ottimizzazione delle prestazioni o sul provisioning delle risorse.

  • Eseguire l'integrazione con la suite di integrazione dei dati di Google Cloud

    Connetti i dati di tutta la tua organizzazione con la suite di prodotti di integrazione dei dati di Google Cloud. Datastream sfrutta i modelli Dataflow per caricare i dati in BigQuery, Spanner e Cloud SQL.

Elementi dell'esperienza

Datastream è composto da tre elementi principali:

  • Le configurazioni di connettività privata consentono a Datastream di comunicare con un'origine dati su una rete privata (all'interno di Google Cloudo con origini esterne collegate tramite VPN o interconnessione). Questa comunicazione avviene tramite una connessione in peering VPC (Virtual Private Cloud).
  • I profili di connessione rappresentano le informazioni sulla connettività sia per un'origine sia per una destinazione. Queste informazioni verranno utilizzate da uno stream.
  • Gli stream utilizzano le informazioni nei profili di connessione per trasferire i dati CDC e di backfill dall'origine alla destinazione.

Passaggi successivi