Oplossing voor streamanalyse

Gebeurtenisstromen in realtime verwerken en analyseren in een volledig beheerde infrastructuur

Kosteloos uitproberen Contact opnemen

Geïntegreerde en open streamanalyse

Streamanalyse blijkt een eenvoudiger en sneller alternatief voor batch-ETL voor het halen van een maximale waarde uit gebruikersinteracties en app- en machinelogboeken. Het snel en efficiënt verwerken en analyseren van deze gegevensstromen is zeer belangrijk bij bijvoorbeeld fraudedetectie, klikstreamanalyse en online aanbevelingen. Voor dergelijke toepassingen biedt Google Cloud een geïntegreerde en open oplossing voor streamanalyse. Deze is eenvoudig te implementeren, te schalen en te beheren.

Op gebeurtenissen reageren terwijl ze plaatsvinden

Verwerk miljoenen streaminggebeurtenissen per seconde overal ter wereld met Cloud Pub/Sub, ondersteund door het unieke en snelle privénetwerk van Google. Verwerk de streams met Cloud Dataflow om betrouwbare gegevenstransformaties met een korte wachttijd te garanderen, die exact één keer worden uitgevoerd. Stream de getransformeerde gegevens naar BigQuery, de cloudeigen service voor datawarehousing, voor directe analyse met SQL of populaire visualisatietools. Pas tot slot voorspellende analyses toe op fraudedetectie, realtime personalisatie en soortgelijke toepassingen, door op TensorFlow gebaseerde Cloud Machine Learning-modellen en API's te integreren in uw pipelines voor gegevensstreaming.

Sneller ontwikkelen zonder compromissen

Streamanalyse op GCP vereenvoudigt ETL-pipelines zonder afbreuk te doen aan de degelijkheid, nauwkeurigheid en functionaliteit. Cloud Dataflow ondersteunt snelle pipeline-ontwikkeling via expressieve Java- en Python-API's in de Apache Beam-SDK. Deze biedt uitgebreide analysemogelijkheden voor vensters en sessies en een ecosysteem van connectoren voor bronnen en logboeklocaties. Met het unieke en geïntegreerde ontwikkelmodel van Beam kunt u meer code hergebruiken in streaming- en batchpipelines.

Bedrijfsvoering en beheer vereenvoudigen

Zodra uw streamingpipelines voor gegevensverwerking zijn geïmplementeerd, verwijdert GCP's serverloze aanpak operationele overhead met automatisch beheer van prestaties, schaalbaarheid, beschikbaarheid, beveiliging en naleving. Dankzij de integratie met Stackdriver, de geïntegreerde GCP-oplossing voor logboekregistratie en controle, kunt u in realtime uw pipelines controleren en problemen oplossen. Uitgebreide visualisatie, logboekregistratie en geavanceerde waarschuwingsmogelijkheden helpen u potentiële problemen op te sporen en te verhelpen.

Blijf werken met uw favoriete tools en systemen

Streamanalyse op GCP is ontworpen om open en interoperabel te zijn. De open API van Cloud Pub/Sub en meerdere clients maken multi-cloud- en hybride implementaties mogelijk. Voor Apache Kafka-gebruikers vereenvoudigt een Cloud Dataflow-connector de integratie met GCP, en BigQuery werkt naadloos samen met uw favoriete ETL- en BI-tools via standaard SQL. Pipelines voor gegevensverwerking die zijn geschreven met de op Beam gebaseerde Cloud Dataflow 2.x SDK zijn overdraagbaar tussen Cloud Dataflow, Apache Spark en Apache Flink.</a> Ten slotte is Spark-ondersteuning beschikbaar via Cloud Dataproc voor streaming en batch-productietaken.

ONDERDELEN VAN DE OPLOSSING

Service Toepassing voor streamanalyse
Cloud Pub/Sub Voor grootschalige verwerking van streaminggegevens uit de hele wereld. (Open source-alternatief in deze oplossing: Apache Kafka)
Cloud Dataflow Voor het transformeren en verrijken van verwerkte gegevens in de streaming- en batchmodi met gelijke betrouwbaarheid en expressiviteit. (Open source-alternatief in deze oplossing: Spark op Cloud Dataproc)
BigQuery Volledig beheerde datawarehouse-service die 100.000 streamingrijen per seconde ondersteunt en ad-hoc-analyse van realtime gegevens met standaard SQL mogelijk maakt.
Apache Beam Geïntegreerd ontwikkelraamwerk voor het programmeren van streaming- en batchpipelines. Door Google geleverd als Cloud Dataflow SDK 2.x.
Cloud Machine Learning Voeg een extra intelligentielaag toe aan uw pipeline door de gebeurtenisstreams uit te voeren via custom (Cloud Machine Learning Engine) of vooraf ontworpen (Cloud API's) modellen voor machine learning gebaseerd op TensorFlow.
Cloud Bigtable Opslag met korte wachttijd en een brede kolom voor sleutel/waarde, ideaal voor tijdseries met een hoog volume en apps die gevoelig zijn voor wachttijd voor lezen.

Aanvullende bronnen

Exact één verwerking

Ontdek de betekenis van 'exact één keer' verwerken in Cloud Dataflow.

Blogpost bekijken

Cloud Dataflow: voorbeeldpipelines

Begrijp hoe pipelines werken met voorbeelden van mobiele games.

Documentatie bekijken

Codelab: NYC Taxi Tycoon

Doorloop een begeleide praktische code-oefening voor het verwerken van streaminggegevens met Dataflow en Pub/Sub.

Voorbeeld-app bekijken

Oplossing voor financiële dienstverlening

Bouw een bijna realtime analysesysteem dat kan worden geschaald naar duizenden gelijktijdige gegevensstromen.

Paper over oplossing lezen

Architectuurdiagram

Bekijk de architectuur voor het optimaliseren van grootschalige verwerking van analyses op Google Cloud Platform.

Artikel lezen

Basisbeginselen van streaming

Lees het baanbrekende artikel van Tyler Akidau over de wereld buiten batches.

Paper lezen