Einführung in den Codelebenszyklus in Dataform

In diesem Dokument wird der Codelebenszyklus in Dataform und Möglichkeiten für die Kompilierung und Ausführung in Dataform konfigurieren.

Codelebenszyklus in Dataform

Der Dataform-Code-Lebenszyklus besteht aus den folgenden Phasen:

Entwicklung
Sie entwickeln einen SQL-Workflow in einem Dataform-Arbeitsbereich.
Kompilierung

Dataform kompiliert den SQL-Workflowcode in Ihrem Arbeitsbereich zu SQL Echtzeit erstellt und ein Kompilierungsergebnis des Arbeitsbereichs erstellt wird, das Sie in BigQuery ausführen können. Dataform verwendet Einstellungen, die in der Datei mit den Workfloweinstellungen definiert wurde um das Kompilierungsergebnis zu erstellen.

Die Dataform-Kompilierung ist hermetisch, um die Konsistenz der Kompilierung sicherzustellen. Das bedeutet, dass derselbe Code zum selben SQL-Kompilierungsergebnis kompiliert wird. . Dataform kompiliert Ihren Code in einer Sandbox in einer Umgebung ohne Internetzugang. Keine weiteren Aktionen wie Anrufe externe APIs während der Kompilierung verfügbar sind.

Ausführung

Bei einem Workflowaufruf Dataform führt das Ergebnis der Arbeitsbereichskompilierung in BigQuery aus.

Um den Dataform-Codelebenszyklus an Ihre Anforderungen anzupassen, können Sie die Kompilierungsergebnis, um zu beeinflussen, wo und wie Dataform Ihren SQL-Workflow ausführt. Anschließend können Sie Ausführungen manuell auslösen oder planen um zu beeinflussen, wann Dataform Ihren gesamten SQL-Workflow oder seine ausgewählten Elementen.

Möglichkeiten zum Konfigurieren der Dataform-Kompilierung

Standardmäßig verwendet Dataform Einstellungen in den Datei mit Workflow-Einstellungen um Kompilierungsergebnisse zu erhalten. Sie können die Standardeinstellungen mit Kompilierungsüberschreibungen, um benutzerdefinierte Kompilierungsergebnisse zu erstellen. Anschließend können Sie die Ausführung eines benutzerdefinierten Kompilierungsergebnisses oder Ausführungen planen.

Dataform bietet die folgenden Optionen zum Konfigurieren Kompilierungsergebnisse:

Überschreibungen von Workspace-Kompilierungen
Sie können Kompilierungsüberschreibungen konfigurieren, die für alle Arbeitsbereiche in einem zu erstellen. Mit Überschreibungen von Arbeitsbereichskompilierungen lassen sich isolierte Entwicklungsumgebungen.
Release-Konfigurationen
Du kannst Releasekonfigurationen erstellen, um Vorlagen für Kompilierungsergebnisse eines Dataform-Repositorys. Sie können dann eine Workflowkonfiguration zum Planen von Ausführungen der erstellten Kompilierungsergebnisse in einer ausgewählten Releasekonfiguration.
Dataform API-Kompilierungsüberschreibungen
Sie können Dataform API-Anfragen im Terminal übergeben, um eine einzelnes Kompilierungsergebnis mit Kompilierungsüberschreibungen.

Kompilierungsüberschreibungen für Arbeitsbereiche konfigurieren

Mit Überschreibungen von Arbeitsbereichskompilierungen Sie können Kompilierungsüberschreibungen für alle Arbeitsbereiche in einem Dataform-Objekt zu erstellen. Sie können eine Konfiguration von Überschreibungen von Arbeitsbereichskompilierungen erstellen pro Repository.

Wenn Sie die Ausführung in einem Arbeitsbereich manuell auslösen, Repository mit Überschreibungen von Arbeitsbereichskompilierungen, Dataform wird angewendet zum Kompilierungsergebnis des Arbeitsbereichs hinzu.

Sie können die folgenden Überschreibungen von Arbeitsbereichskompilierungen konfigurieren:

  • Google Cloud-Projekt, in dem Dataform den Inhalt des Arbeitsbereich
  • Tabellenpräfix
  • Schemasuffix

Mit Überschreibungen von Arbeitsbereichskompilierungen können Sie eine isolierte Entwicklung erstellen Umgebungen durch Isolieren der Kompilierungsergebnisse von Arbeitsbereichen in BigQuery mit dynamischen Kompilierungsüberschreibungen. Dynamisches Tabellenpräfix und Überschreibungen der Schemasuffixkompilierung die Variable ${workspaceName} enthalten. Wenn Sie die Ausführung in einem Arbeitsbereich auslösen, ersetzt Dataform das Feld Variable ${workspaceName} mit dem Namen des aktuellen Arbeitsbereichs, wobei Kompilierungsüberschreibungen, die für den Arbeitsbereich eindeutig sind.

Beachten Sie, dass Sie keine Ausführungen von Kompilierungsergebnissen planen können die mit Überschreibungen von Arbeitsbereichskompilierungen erstellt wurden.

Releasekonfigurationen erstellen

Bei Releasekonfigurationen können Sie Vorlagen für Einstellungen konfigurieren, Kompilierungsergebnisse von Repositories.

In einer Releasekonfiguration können Sie Kompilierungsüberschreibungen Workfloweinstellungen, Kompilierungsvariablen und die Häufigkeit der Erstellung Kompilierungsergebnisse Ihres gesamten Repositorys.

In einer Releasekonfiguration können Sie Folgendes konfigurieren: Kompilierungsüberschreibungen:

Sie können in einem Dataform mehrere Releasekonfigurationen erstellen ein Repository für jede Phase des Entwicklungszyklus, wodurch isolierte Ergebnisse der Repository-Kompilierung.

Sie können dann Workflowkonfigurationen zum Planen von Ausführungen erstellen. von Kompilierungsergebnissen, die in einer ausgewählten Releasekonfiguration erstellt wurden.

Sie können die Ausführung eines Kompilierungsergebnisses in einer ausgewählten Releasekonfiguration auch manuell auslösen.

Einzelnes Kompilierungsergebnis mit Kompilierungsüberschreibungen der Dataform API konfigurieren

Durch Übergabe von Dataform API-Anfragen an das Terminal können Sie die Kompilierung konfigurieren Überschreibungen für ein einzelnes Kompilierungsergebnis.

In der compilationResults.create-Anfrage können Sie ein einzelnes Kompilierungsergebnis eines Dataform-Objekts erstellen. Workspace oder einem angegebenen Git-Comitish.

Im CodeCompilationConfig-Objekt des compilationResults.create-Anfrage können Sie Kompilierungsüberschreibungen konfigurieren für die Kompilierungsanfrage.

Sie können die folgenden Dataform API-Kompilierungsüberschreibungen konfigurieren:

Beachten Sie, dass die Dataform API-Kompilierungsüberschreibungen für einen einzelnen Kompilierungsergebnis und einer einzigen Ausführung. Sie können damit nicht Dataform-Ausführungen.

Sie können ein Kompilierungsergebnis in der workflowInvocations.create

Möglichkeiten zum Konfigurieren der Dataform-Ausführung

Dataform bietet die folgenden Optionen zum Konfigurieren der Ausführung:

Manuelle Ausführung in einem Arbeitsbereich
Sie können die sofortige Ausführung eines SQL-Workflows manuell auslösen in einem Dataform-Arbeitsbereich außerhalb eines Zeitplans. Sie können ausgewählten Aktionen im SQL-Workflow.
Workflowkonfigurationen
Sie können Ausführungen von Kompilierungsergebnissen planen, die in einer ausgewählten Releasekonfiguration. Sie können SQL-Workflowaktionen auswählen, die ausgeführt werden sollen, und Häufigkeit und Zeitzone von Ausführungen festlegen

Sofortige Ausführung in einem Arbeitsbereich auslösen

In einem Dataform-Arbeitsbereich können Sie die Ausführung manuell des SQL-Workflows in Ihrem Arbeitsbereich ausführen.

Sie können die folgenden Elemente des SQL-Workflows manuell in Ihrem Arbeitsbereich:

Wenn Ihr Repository Überschreibungen von Arbeitsbereichskompilierungen enthält, können Sie sich ansehen, Kompilierungsüberschreibungen, die Dataform auf den Arbeitsbereich angewendet wird Kompilierungsergebnis.

Workflowkonfigurationen erstellen

Bei Workflowkonfigurationen können Sie Kompilierungsergebnisse aus einer ausgewählten Liste Releasekonfiguration. Sie können mehrere Workflowkonfigurationen erstellen in einem Dataform-Repository.

In einer Workflowkonfiguration können Sie die folgenden Ausführungseinstellungen konfigurieren:

  • Angewendete Konfiguration des Kompilierungsrelease
  • Auswahl der auszuführenden SQL-Workflowaktionen
  • Zeitplan und Zeitzone von Ausführungen

Sie können die folgenden SQL-Workflowaktionen auswählen, die ausgeführt werden sollen:

  • Alle Aktionen
  • Ausgewählte Aktionen
  • Aktionen mit ausgewählten Tags

Während einer geplanten Ausführung Ihrer Workflowkonfiguration Dataform stellt Ihre Auswahl von Aktionen aus Kompilierungsergebnis in BigQuery.

Mit Dataform-Release-Konfigurationen und Workflow-Konfigurationen die Kompilierung und Ausführung in Dataform konfigurieren, ohne zusätzliche Dienste nutzen zu müssen.

Ablauf von Lebenszyklusressourcen

Dataform speichert Kompilierungsergebnisse und Workflowaufrufe für für einen bestimmten Zeitraum.

Ablauf von Workflowaufrufen

Workflowaufrufe nach 90 Tagen oder wenn Sie sie manuell löschen.

In einer Workflowkonfiguration können Sie eine Liste der letzten Workflowaufrufe aufrufen, die durch die Konfiguration erstellt wurden. Wenn ein von einem Workflow erstellter Workflowaufruf Konfiguration abläuft, entfernt Dataform diesen Workflowaufruf. aus der Liste der letzten Aufrufe.

Ablauf der Kompilierungsergebnisse

Ablauf der Kompilierungsergebnisse hängt davon ab, wie sie erstellt werden: In einem Entwicklungsarbeitsbereich in einer Releasekonfiguration oder durch einen Workflowaufruf.

Wenn Sie einen SQL-Workflow in einem Dataform-Arbeitsbereich entwickeln, Dataform kompiliert Ihren Code in Echtzeit zu einem Kompilierungsergebnis um Abfragen zu validieren. Auf diese Weise erstellte Kompilierungsergebnisse laufen ab nach 24 Stunden.

In einer Releasekonfiguration wird das letzte Kompilierungsergebnis zum Live-Kompilierungsergebnis. Kompilierungsergebnis. Ein neues Kompilierungsergebnis ersetzt den aktuellen Livestream. Kompilierungsergebnis. Dataform behält das Live-Kompilierungsergebnis bei, bis es durch ein neues Kompilierungsergebnis. Ein ersetztes Kompilierungsergebnis läuft ab innerhalb von 24 Stunden.

Dataform entfernt abgelaufene Kompilierungsergebnisse aus der Liste der früheren Kompilierungsergebnisse auf der Seite Details einer Releasekonfiguration.

Dataform behält die durch Workflowaufrufe erstellten Kompilierungsergebnisse bei für die gesamte Lebensdauer des Workflowaufrufs, bis zu 24 Stunden nach dem Workflow -Aufruf abläuft oder wird gelöscht.

Nächste Schritte