In unserer Sitzung auf der Google Cloud Next '23 erfahren Sie mehr über die neuesten Dataflow-Innovationen.
Weiter zu
Dataflow

Dataflow

Einheitliche serverlose, schnelle und kostengünstige Verarbeitung von Streaming- und Batchdaten.

Neukunden erhalten ein Guthaben im Wert von 300 $ für Dataflow.

  • Informationen und Aktivierung in Echtzeit mit Datenstreaming und maschinellem Lernen

  • Vollständig verwalteter Datenverarbeitungsdienst

  • Automatisierte Bereitstellung und Verwaltung von Verarbeitungsressourcen

  • Horizontales und vertikales Autoscaling von Worker-Ressourcen zur Maximierung der Ressourcennutzung

  • Von der OSS-Community vorangetriebene Innovationen mit dem Apache Beam SDK

Vorteile

Analyse von Streamingdaten mit hoher Geschwindigkeit

Dataflow ermöglicht die schnelle, vereinfachte Entwicklung von Streamingdaten-Pipelines mit besonders niedriger Latenz.

Vorgänge und Verwaltung vereinfachen

Dank des serverlosen Ansatzes von Dataflow entfällt der operative Aufwand von Data Engineering-Arbeitslasten, sodass sich Teams auf das Programmieren konzentrieren können und sich nicht um die Verwaltung von Serverclustern kümmern müssen.

Gesamtbetriebskosten reduzieren

Durch das Autoscaling von Ressourcen und eine kostenoptimierte Batchverarbeitung stellt Dataflow praktisch unbegrenzte Kapazitäten für Ihre nur temporär auftretenden Arbeitslasten und Lastspitzen bereit, ohne dass übermäßige Kosten anfallen.

Wichtige Features

Wichtige Features

Einsatzbereite Echtzeit-KI

Dank sofort einsatzbereiter ML-Features wie NVIDIA GPU und gebrauchsfertigen Mustern ermöglichen die KI-Funktionen von Dataflow Echtzeitreaktionen mit nahezu menschlicher Intelligenz auf große Mengen von Ereignissen. finden Sie weitere Informationen zu diesem Thema.

Kunden können intelligente Lösungen für eine Vielzahl von Bereichen erstellen, z. B. Analysen zu Prognosezwecken, Anomalieerkennung, Echtzeit-Personalisierung sowie weitere Anwendungsfälle im Bereich erweiterte Analysen.

Trainieren, Bereitstellen und Verwalten vollständiger ML-Pipelines, einschließlich lokaler und Remote-Inferenz mit Batch- und Streamingpipelines. 

Ressourcen-Autoscaling und dynamischer Arbeitsausgleich

Mit datenbewusstem Ressourcen-Autoscaling können Sie die Pipelinelatenz minimieren, die Ressourcennutzung maximieren und Verarbeitungskosten pro Dataset reduzieren. Dateneingaben werden automatisch partitioniert und permanent gleichmäßig verteilt, um die Worker-Ressourcennutzung auszugleichen und die Auswirkung von „Hot Keys“ auf die Pipelineleistung zu reduzieren.

Monitoring und Beobachtbarkeit

Beobachten Sie die Daten bei jedem Schritt einer Dataflow-Pipeline. Mit Stichproben realer Daten Probleme erkennen und Fehler effektiv beheben. Sie können verschiedene Ausführungen des Jobs vergleichen, um Probleme einfach zu identifizieren.

Alle Features ansehen

Dokumentation

Dokumentation

Tutorial