Skalierbare Pipelines für Datentransformationen in BigQuery mit SQL entwickeln und operationalisieren.
Ausgewählte, aktuelle, vertrauenswürdige und dokumentierte Tabellen in BigQuery entwickeln
Datenanalysten und Data Engineers die Zusammenarbeit am selben Code-Repository ermöglichen
Skalierbare Datenpipelines in BigQuery mit SQL erstellen
Einbindung in GitHub und GitLab
Datenpipelines direkt in BigQuery Studio entwickeln
Vorteile
Datenverarbeitungsarchitektur vereinfachen
Skalierbare Datenpipelines in BigQuery mit SQL in einer einzigen Umgebung entwickeln und operationalisieren, einschließlich in BigQuery Studio mit den Funktionen Datenpipelines und Datenvorbereitung.
Mit Softwareentwicklungspraktiken zusammenarbeiten
Mit Dataform verwalten Datenteams die Definitionen ihres SQL-Codes und ihrer Daten-Assets gemäß den Best Practices für die Softwareentwicklung, z. B. Versionsverwaltung, Umgebungen, Tests und Dokumentation.
Produktionspipelines für SQL-Pipelines erstellen
Dataform abstrahiert die Komplexität beim Erstellen von SQL-Pipelines. Datenanalysten können mit SQL Abhängigkeiten verwalten, Datenqualitätstests konfigurieren und komplexe Pipelines orchestrieren.
Wichtige Features
Mit Dataform Core können Data Engineers und Datenanalysten in nur einem SQL-Tabellen Tabellendefinitionen und Abhängigkeiten erstellen, Spaltenbeschreibungen hinzufügen und Assertions zur Datenqualität in einem einzigen Repository konfigurieren.
Dataform Core-Funktionen können schrittweise und addiert implementiert werden, ohne vorhandenen Code zu ändern.
Dataform Core ist eine Open-Source-Software und kann lokal verwendet werden. So sind Nutzer flexibler und können nicht an einen bestimmten Anbieter gebunden werden.
Dataform übernimmt die Betriebsinfrastruktur, um Ihre Tabellen nach den Abhängigkeiten zwischen Ihren Tabellen zu aktualisieren und die neueste Version Ihres Codes zu verwenden. Herkunft und Daten lassen sich mit Dataform-Integrationen nahtlos verfolgen. SQL-Workflows manuell auslösen oder über Managed Service for Apache Airflow, Workflows, Datenpipelines von BigQuery Studio oder Dienste von Drittanbietern planen.
Sie können Tabellen festlegen, Probleme mit Fehlermeldungen in Echtzeit beheben, Abhängigkeiten visualisieren, Änderungen an Git speichern und Pipelines in wenigen Minuten über eine einzige Oberfläche planen, ohne Ihren Webbrowser zu verlassen.
Verbinden Sie Ihr Repository mit Drittanbietern wie GitHub und GitLab. Änderungen übernehmen und Codeüberprüfungen über den Webbrowser übertragen oder öffnen.
Dokumentation
Profitieren Sie von einem Guthaben in Höhe von 300 $ und mehr als 20 immer kostenlose Produkten, um Google Cloud kennenzulernen.