Skalierbare Pipelines für Datentransformationen in BigQuery mit SQL entwickeln und operationalisieren.
Ausgewählte, aktuelle, vertrauenswürdige und dokumentierte Tabellen in BigQuery entwickeln
Datenanalysten und Data Engineers die Zusammenarbeit am selben Repository ermöglichen
Skalierbare Datenpipelines in BigQuery mit SQL erstellen
Einbindung in GitHub und GitLab
Tabellen ohne Verwaltung der Infrastruktur aktualisieren
Vorteile
Skalierbare Datenpipelines in BigQuery mithilfe von SQL in einer einzigen Umgebung entwickeln und operationalisieren, ohne dass zusätzliche Abhängigkeiten erforderlich sind.
Mit Dataform verwalten Datenteams die Definitionen ihres SQL-Codes und ihrer Daten-Assets gemäß den Best Practices für die Softwareentwicklung, z. B. Versionsverwaltung, Umgebungen, Tests und Dokumentation.
Dataform abstrahiert die Komplexität beim Erstellen von SQL-Pipelines. Datenanalysten können mit SQL Abhängigkeiten verwalten, Datenqualitätstests konfigurieren und komplexe Pipelines orchestrieren.
Wichtige Features
Mit Dataform Core können Data Engineers und Datenanalysten zentral in nur einem SQL-Tabellen Tabellendefinitionen und Abhängigkeiten erstellen, Spaltenbeschreibungen hinzufügen und Assertions zur Datenqualität in einem einzigen Repository konfigurieren.
Dataform Core-Funktionen können schrittweise und addiert implementiert werden, ohne vorhandenen Code zu ändern.
Dataform Core ist eine Open-Source-Software und kann lokal verwendet werden. So sind Nutzer flexibler und können nicht an einen bestimmten Anbieter gebunden werden.
Dataform übernimmt die Betriebsinfrastruktur, um Ihre Tabellen nach den Abhängigkeiten zwischen Ihren Tabellen zu aktualisieren und die neueste Version Ihres Codes zu verwenden. Herkunft und Daten lassen sich mit Dataform-Integrationen nahtlos verfolgen. SQL-Workflows manuell auslösen oder über Cloud Composer, Workflows oder Dienste von Drittanbietern planen.
Sie können Tabellen festlegen, Probleme mit Fehlermeldungen in Echtzeit beheben, Abhängigkeiten visualisieren, Änderungen an Git speichern und Pipelines in wenigen Minuten über eine einzige Oberfläche planen, ohne Ihren Webbrowser zu verlassen. Verbinden Sie Ihr Repository mit Drittanbietern wie GitHub und GitLab. Übernehmen Sie Änderungen und übertragen Sie Pull- oder Pull-Anfragen von der IDE aus.
Dokumentation
Preise
Dataform ist ein kostenloser Dienst.
Bei der Verwendung des Produkts können Kosten durch andere Dienste anfallen.
Profitieren Sie von einem Guthaben über 300 $, um Google Cloud und mehr als 20 „Immer kostenlos“-Produkte kennenzulernen.