Dataform-Leitfäden

Entdecken

• Dataform – Übersicht

  Übersicht über Dataform-Konzepte und -Prozesse.

• Übersicht über Dataform-Funktionen

  Übersicht über die Dataform-Funktionen.

• Übersicht über Dataform Core

  Übersicht über die wichtigsten Dataform-Konzepte

Mehr erfahren

• Kurzanleitung: SQL-Workflow erstellen und ausführen

  Einen SQL-Workflow erstellen und ausführen

• Kurzanleitung: Produktionsausführungen planen

  Erstellen Sie eine Produktionsumgebung mit einer Releasekonfiguration und planen Sie Produktionsausführungen mit einer Workflowkonfiguration.

• Kurzanleitung: Entwicklungsumgebungen erstellen

  Erstellen Sie Entwicklungsumgebungen mit Kompilierungsüberschreibungen von Dataform-Arbeitsbereichen.

• Von Legacy-Dataform migrieren

  Ein Legacy-Dataform-Projekt in Dataform in Google Cloud importieren

• Alte Dataform-Umgebungen und -Zeitpläne migrieren

  Umgebungen und Zeitpläne von Legacy-Dataform zu Dataform in Google Cloud mit Release- und Workflowkonfigurationen migrieren

Repositories verwalten

• Einführung in Repositories

  Informationen zu Repositories in Dataform.

• Repository erstellen

  Mithilfe der Google Cloud Console können Sie ein Repository erstellen, das Repository-Dienstkonto festlegen und bearbeiten sowie ein Repository in Dataform löschen.

• Verbindung zu einem Git-Repository eines Drittanbieters herstellen

  Verknüpfen Sie ein Dataform-Repository über die Google Cloud Console mit einem Remote-Git-Repository.

• Dataform-Einstellungen konfigurieren

  Bearbeiten Sie die Dataform-Einstellungen für ein bestimmtes Repository mithilfe der Google Cloud Console.

• Code in einem Repository strukturieren

  Lernen Sie Best Practices zum Strukturieren von SQL-Workflowcode in einem Dataform-Repository kennen.

• Übersicht über die Repository-Größe

  Auswirkungen der Repository-Größe auf die Nutzung von Dataform-Entwicklungs- und Kompilierungsressourcen

• Einführung in das Aufteilen von Repositories

  Informieren Sie sich über Strategien zur Aufteilung eines Repositorys und seine Vor- und Nachteile.

Zugriff kontrollieren

• Dataform Zugriff auf BigQuery gewähren

  Weisen Sie Dataform BigQuery-Rollen zu, die für die Workflow-Ausführung erforderlich sind.

• Zugriff mit IAM steuern

  Zugriff auf Dataform mit IAM steuern.

• Zugriff mit IAM steuern

  Sie steuern den BigQuery-Zugriff auf einzelne Tabellen in Dataform.

• Remote-Repositories einschränken

  Schränken Sie den Pool der Remote-Repositories ein, die eine Verbindung zu einem Dataform-Repository herstellen können, um Ihre Daten zu schützen.

In einem Arbeitsbereich entwickeln

• Einführung in die Entwicklung in einem Arbeitsbereich

  Informationen zu Arbeitsbereichen in Dataform.

• Arbeitsbereich erstellen

  Erstellen, initialisieren und löschen Sie einen Dataform-Arbeitsbereich mit der Google Cloud Console.

• Versionsverwaltung für Code

  Git-Versionsverwaltung in Dataform verwenden

Tabellen erstellen

• Einführung in Tabellen

  Informationen zu Tabellen in Dataform.

• Tabelle erstellen

  Definieren Sie mit Dataform Core eine Tabelle, eine inkrementelle Tabelle oder eine Ansicht in Dataform.

• Tabellenpartitionen und Cluster erstellen

  Erstellen Sie Tabellenpartitionen und Cluster in Dataform mit Dataform Core.

• Inkrementelle Tabelle konfigurieren

  Konfigurieren Sie eine inkrementelle Tabelle in Dataform mithilfe von Dataform Core.

• Tabellendokumentation hinzufügen

  Mit Dataform Core können Sie eine Tabelle, eine inkrementelle Tabelle oder eine Ansicht in Dataform dokumentieren.

• BigQuery-Labels hinzufügen

  BigQuery-Labels zu Tabellen in Dataform mit Dataform Core hinzufügen.

• BigQuery-Richtlinien-Tags hinzufügen

  BigQuery-Richtlinien-Tags in Dataform mit Dataform Core hinzufügen.

• Zusätzliche Tabelleneinstellungen konfigurieren

  Definieren Sie zusätzliche Tabelleneinstellungen in einer Dataform Core-Tabellendefinitionsdatei.

SQL-Workflows entwickeln

• Einführung in SQL-Workflows

  Erfahren Sie mehr über SQL-Workflows in Dataform.

• Datenquelle deklarieren

  Deklarieren Sie eine Datenquelle in Dataform mit Dataform Core.

• Abhängigkeiten deklarieren

  Abhängigkeiten zwischen SQL-Workflow-Objekten in Dataform deklarieren

• Benutzerdefinierte SQL-Vorgänge hinzufügen

  Mit Dataform Core benutzerdefinierte SQL-Vorgänge in Dataform definieren

• Ausführungs-Tags hinzufügen

  Fügen Sie Tabellen in Dataform mit Dataform Core Ausführungs-Tags hinzu.

• SQL-Abfragen als Vorschau ansehen

  Sehen Sie sich SQL-Abfragen in einem Dataform-Arbeitsbereich als Vorschau an, bevor Sie sie in BigQuery ausführen.

SQL-Workflows testen

• Tabellen mit Assertions validieren

  Assertions in Dataform mit Dataform Core erstellen

Mit JavaScript entwickeln

• Einführung in JavaScript in Dataform

  Erfahren Sie, wie Sie mit JavaScript SQL-Workflows in Dataform entwickeln können.

• SQL-Workflows mit JavaScript entwickeln

  SQL-Workflow-Elemente in Dataform mit JavaScript erstellen

• Variablen und Funktionen mit „Includes“ wiederverwenden

  Wiederverwendbaren Code mit JavaScript-Includes in Dataform erstellen

• Paket in Dataform erstellen

  Erstellen Sie ein Paket in Dataform, um damit SQL-Workflows zu entwickeln.

• Paket in Dataform installieren

  Installieren Sie ein JavaScript-Paket in einem Dataform-Repository und verwenden Sie es in einer JavaScript- oder SQLX-Datei.

• Privates Paket in Dataform authentifizieren

  Authentifizieren Sie ein privates Paket in einem Dataform-Repository, um die Installation zu ermöglichen.

• Sich langsam ändernde Dimensionen in Dataform verwenden

  Wenn Sie beispielsweise ein Open-Source-Paket in Dataform verwenden, können Sie mit dem Paket „ sich langsam ändernde Dimensionen“ Tabellen erstellen.

Mit der Dataform CLI entwickeln

• Dataform-CLI verwenden

  Verwenden Sie die Open-Source-Dataform-Befehlszeile.

SQL-Workflows ausführen

• Ausführung starten

  Lösen Sie die Ausführung des gesamten SQL-Workflows, ausgewählter Aktionen oder Aktionen mit ausgewählten Tags in der Google Cloud Console manuell aus.

Codelebenszyklus verwalten

• Einführung in den Codelebenszyklus in Dataform

  Erfahren Sie, wie Sie den Dataform-Codelebenszyklus optimal an Ihre Anforderungen anpassen können.

• Kompilierungsüberschreibungen für Arbeitsbereiche konfigurieren

  Konfigurieren Sie Kompilierungsüberschreibungen für alle Arbeitsbereiche in Ihrem Repository. Erstellen Sie Kompilierungsüberschreibungen für Dataform-Workflowausführungen.

• Releasekonfiguration erstellen

  Erstellen Sie Releasekonfigurationen in Dataform, um Vorlagen für Kompilierungseinstellungen zu konfigurieren. Sie können Releasekonfigurationen verwenden, um Ausführungsumgebungen wie Staging zu erstellen.

• Kompilierungsüberschreibungen mit der Dataform API konfigurieren

  Konfigurieren Sie Kompilierungsüberschreibungen für Dataform-Workflowaufrufe in Dataform API-Anfragen.

Ausführungen planen

• Ausführungen mit Workflowkonfigurationen planen

  Erstellen Sie Workflowkonfigurationen in Dataform, um Ausführungen zu planen und zu konfigurieren.

• Ausführungen mit Workflows und Cloud Scheduler planen

  Dataform-Ausführungen mit Workflows und Cloud Scheduler planen

• Ausführungen mit Cloud Composer planen

  Dataform-Ausführungen mit Cloud Composer planen

Prüfen

• Ausführungsprotokolle überwachen

  Dataform-Ausführungslogs in der Google Cloud Console ansehen.

• Audit-Logging

  Dataform-Audit-Logs ansehen

• Cloud Logging für Dataform ansehen

  Dataform-Workflowaufrufe mit Cloud Logging überwachen.

Warten

• Dataform aktualisieren

  Aktualisieren Sie Dataform auf die neueste Version.

Best Practices

• Übersicht über Best Practices

  Informationen zu Best Practices für Dataform.

• Übersicht über die Repository-Größe

  Auswirkungen der Repository-Größe auf die Nutzung von Dataform-Entwicklungs- und Kompilierungsressourcen

• Repositories aufteilen

  Informieren Sie sich über Strategien zur Aufteilung eines Repositorys und seine Vor- und Nachteile.

• Code in einem Repository strukturieren

  Lernen Sie Best Practices zum Strukturieren von SQL-Workflowcode in einem Dataform-Repository kennen.

• Codelebenszyklus verwalten

  Erfahren Sie mehr über Lösungen zum Konfigurieren isolierter Lebenszyklusumgebungen: Entwicklung, Staging und Produktion.

Fehlerbehebung

• Fehlerbehebung bei Dataform

  Probleme mit Dataform beheben