Cloud Dataflow

Eenvoudigere verwerking van stream- en batchgegevens, net zo betrouwbaar en expressief

Kosteloos uitproberen

Snellere ontwikkeling, eenvoudiger beheer

Cloud Dataflow is een volledig beheerde service voor de transformatie en verrijking van gegevens in (realtime) stream- en (historische) batchmodi, met dezelfde betrouwbaarheid en expressiviteit. Compromissen en complexe alternatieve oplossingen behoren tot de verleden tijd. Dankzij de serverloze aanpak van resourcelevering en -beheer is de capaciteit zo goed als grenzeloos. U kunt uw grootste uitdagingen op het gebied van gegevensverwerking aanpakken en betaalt alleen voor wat u gebruikt.

Cloud Dataflow biedt toepassingen die in allerlei branches bedrijfsprocessen transformeren, zoals in:

  • check Retail: analyse van klikstromen, points-of-sale en segmentatie
  • check Financiële dienstverlening: fraudedetectie
  • check Gaming: gepersonaliseerde gebruikerservaring
  • check Productie, gezondheidszorg en logistiek: IoT-analyse
snellere-ontwikkeling-eenvoudiger-beheer

Sneller ontwikkelen voor batches en streams

Cloud Dataflow ondersteunt snelle en eenvoudige pipeline-ontwikkeling via expressieve Java- en Python-API's in de Apache Beam-SDK. Deze biedt een uitgebreide analysemogelijkheden voor vensters en sessies en een ecosysteem van connectoren voor bronnen en logboeklocaties. Met het unieke en uniforme ontwikkelingsmodel van Beam kunt u meer code hergebruiken in stream- en batchpipelines.

sneller-ontwikkelen-zonder-compromissen

Maak bedrijfsvoering en beheer eenvoudiger

De serverloze GCP-aanpak vermindert de operationele lasten omdat prestaties, schaling, beschikbaarheid, beveiliging en naleving automatisch worden afgehandeld. Gebruikers kunnen zich richten op programmeren in plaats van op het beheren van severclusters. Dankzij de integratie met Stackdriver, de gecombineerde GCP-oplossing voor registratie en controle, kunt u in realtime uw pipelines monitoren en problemen oplossen. Uitgebreide visualisatie, logboekregistratie en geavanceerde waarschuwingsmogelijkheden helpen u potentiële problemen opsporen en verhelpen.

maakt-bedrijfsvoering-en-beheer-eenvoudiger

Ontwerp verder op een basis voor machine learning

Gebruik Cloud Dataflow als een handig integratiepunt om voorspellende analyse toe te passen op fraudedetectie, realtime personalisering en vergelijkbare toepassingen. Hiervoor voegt u op TensorFLow gebaseerde Cloud Machine Learning-modellen en -API's toe aan uw pipelines voor gegevensverwerking.

build-op-een-fundering-voor-machine-learning

Gebruik uw favoriete en vertrouwde tools

Cloud Dataflow integreert naadloos met GCP-services voor de verwerking van streaminggebeurtenissen (Cloud Pub/Sub), datawarehousing (BigQuery), machine learning (Cloud Machine Learning) en meer. De op Beam gebaseerde SDK stelt ontwikkelaars ook in staat om aangepaste extensies te ontwerpen en zelfs om alternatieve engines voor uitvoering te kiezen, zoals Apache Spark via Cloud Dataproc of op locatie. Voor gebruikers van Apache Kafka is integratie met GCP eenvoudig dankzij de Cloud Dataflow-connector.

gebruik-uw-favoriete-en-vertrouwde-tools

Gegevenstransformatie met Cloud Dataflow

diagram-dataflow

FUNCTIES VAN CLOUD DATAFLOW

Geautomatiseerd resourcebeheer
Cloud Dataflow zorgt voor geautomatiseerde levering en geautomatiseerd beheer van verwerkingsresources. U hoeft instanties niet meer te reserveren of handmatig op te starten.
Dynamische herbalancering van werk
Geautomatiseerde en geoptimaliseerde partitionering van werk, waardoor de balans bij vertraagd werk wordt hersteld. U hoeft niet langer 'intensief gebruikte sleutels' op te sporen of uw invoerdata voor te bewerken.
Betrouwbaar en consistent bij Exactly Once-verwerking
Ingebouwde ondersteuning voor consistente en correcte fouttolerante uitvoering, onafhankelijk van de omvang van de gegevens, de grootte van het cluster, het verwerkingspatroon of de complexiteit van de pipeline.
Automatisch horizontaal schalen
Automatisch horizontaal schalen van werkerresources voor optimale verwerkingssnelheid zorgt voor een betere totale prijs-prestatieverhouding.
Geïntegreerd programmeermodel
De Apache Beam-SDK biedt even uitgebreide MapReduce-achtige bewerkingen, krachtige gegevensvensterfuncties en gedetailleerde correctiecontrole voor zowel streaming- als batchgegevens.
Door de community aangedreven innovatie
Ontwikkelaars die het programmeermodel van Cloud Dataflow verder willen uitbreiden, kunnen afsplitsen van of bijdragen aan Apache Beam.

Partnerschappen en integraties

Google Cloud Platform-partners en externe ontwikkelaars hebben integraties met Dataflow ontwikkeld om snel en gemakkelijk krachtige taken voor gegevensverwerking van elk formaat mogelijk te maken.

ClearStory

Cloudera

DataArtisans

Sales Force

 

SpringML

tamr

"Door onze pipelines op Cloud Dataflow uit te voeren, kunnen we focussen op programmeren zonder dat we ons zorgen hoeven te maken over de implementatie en het beheer van instanties die onze code gebruiken (een algemeen kenmerk van GCP)."

- Jibran Saithi Lead Architect, Qubit

Gebruikersvriendelijke prijzen

Kosten voor Cloud Dataflow-taken worden per minuut gefactureerd, gebaseerd op het daadwerkelijke gebruik van Cloud Dataflow-batches of streamingwerkers. Taken die aanvullende GCP-resources gebruiken, zoals Cloud Storage of Cloud Pub/Sub, worden gefactureerd op basis van de prijzen voor die services.

Iowa Oregon Northern Virginia South Carolina São Paulo België Londen Frankfurt Singapore Sydney Taiwan Tokio
Type Dataflow-werker vCPU
$/uur
Geheugen
$ GB/uur
Lokale opslag - persistente schijf
$ GB/uur
Lokale opslag - gebaseerd op SSD
$ GB/uur
Dataflow Shuffle 3
$ GB/uur
Batch 1
Streaming 2
Als u in een andere valuta dan USD betaalt, gelden de prijzen die in uw valuta op Cloud Platform SKU's worden getoond.

1 Standaarden voor batchwerkers: 1 vCPU, 3,75 GB geheugen, 250 GB PS.

2 Standaarden voor streaming werkers: 4 vCPU, 15 GB geheugen, 420 GB PS.

3 Het servicegebaseerde Dataflow Shuffle is op dit moment alleen als bètaversie beschikbaar voor batchpipelines in de regio 'us-central1 (Iowa)'. In de toekomst wordt Dataflow Shuffle ook in andere regio's beschikbaar gesteld.