Kompilierungsüberschreibungen für Arbeitsbereiche erstellen

In diesem Dokument erfahren Sie, wie Sie Überschreibungen von Arbeitsbereichskompilierungen erstellen, um Tabellen und Ansichten zu isolieren, die aus Ihren Dataform-Arbeitsbereichen in BigQuery erstellt wurden. Sie können mit Überschreibungen von Arbeitsbereichskompilierungen isolierte Dataform-Entwicklungsumgebungen erstellen.

Kompilierungsüberschreibungen für Arbeitsbereiche

Wenn Sie SQL-Workflowcode in einem Dataform-Arbeitsbereich entwickeln, kompiliert Dataform den Code in Ihrem Arbeitsbereich in Echtzeit, um ein Kompilierungsergebnis des Arbeitsbereichs zu erstellen. Dataform verwendet die in der Datei mit den Workfloweinstellungen definierten Einstellungen, um das Kompilierungsergebnis des Arbeitsbereichs zu erstellen. Wenn Sie dann die Ausführung in einem Arbeitsbereich auslösen, führt Dataform das Ergebnis der Arbeitsbereichskompilierung in BigQuery aus.

Wenn Sie die in den Workfloweinstellungen festgelegten Standardeinstellungen für alle Arbeitsbereiche in Ihrem Repository überschreiben möchten, können Sie Überschreibungen von Arbeitsbereichskompilierungen erstellen.

Mit Überschreibungen von Arbeitsbereichskompilierungen können Sie die folgenden Einstellungen für alle Arbeitsbereiche in Ihrem Repository überschreiben:

Projekt
Google Cloud-Projekt, in dem Dataform das Ergebnis der Arbeitsbereichskompilierung ausführt, die in workflow_settings.yaml als defaultProject oder in dataform.json als defaultDatabase festgelegt ist.
Tabellenpräfix
Benutzerdefiniertes Präfix, das allen Tabellennamen in allen Arbeitsbereichen im Repository hinzugefügt wird.
Schemasuffix

Benutzerdefiniertes Suffix, das an das Schema der Tabellen angehängt wird, die in

Legen Sie defaultDataset in workflow_settings.yaml, defaultSchema in dataform.json oder im Parameter schema im Block config einer Tabelle fest.

Zum Erstellen isolierter Entwicklungsumgebungen können Sie Arbeitsbereiche mit speziellen Kompilierungsüberschreibungen isolieren. Sie können die Überschreibungen von Tabellenpräfix und Schemasuffixkompilierung dynamisch mit der Variablen ${workspaceName} ändern.

Wenn Sie die Ausführung in einem Arbeitsbereich manuell auslösen, wird der Name des Arbeitsbereichs über die Variable ${workspaceName} in die Überschreibungen der Arbeitsbereichskompilierung eingefügt.

Wenn Sie ${workspaceName} als Tabellenpräfix festlegen, fügt Dataform den Namen des Arbeitsbereichs den Namen aller Tabellen im Arbeitsbereich hinzu. Nach der Ausführung in BigQuery können Sie ermitteln, aus welchem Arbeitsbereich eine Tabelle stammt.

Wenn Sie ${workspaceName} als Schemasuffix festlegen, hängt Dataform den Namen des Arbeitsbereichs an defaultSchema an und erstellt ein benutzerdefiniertes Schema speziell für den Arbeitsbereich. Nach der Ausführung können Sie in BigQuery alle Tabellen finden, die in einem bestimmten Arbeitsbereich im dedizierten Schema ausgeführt wurden.

Beispiel für dynamische Überschreibungen von Arbeitsbereichskompilierungen

Das folgende Beispiel zeigt dynamische Überschreibungen von Arbeitsbereichskompilierungen, die auf ein Repository angewendet werden, das Arbeitsbereiche enthält, die nach Entwicklern benannt sind, die am Repository arbeiten: Sasha und Kai.

Das Ziel der Überschreibungen von Arbeitsbereichskompilierungen in diesem Beispiel besteht darin, isolierte Entwicklungsumgebungen für Sasha und Kai zu erstellen.

In workflow_settings.yaml sind die folgenden Standardeinstellungen festgelegt:

  • defaultProject: analytics
  • defaultDataset: dataform

Die folgenden Kompilierungsüberschreibungen des Arbeitsbereichs erstellen ein dynamisches Tabellenpräfix und Schemasuffix für jeden Arbeitsbereich im Repository:

  • Google Cloud-Projekt-ID : analytics_dev
  • Tabellenpräfix: ${workspaceName}
  • Schema suffix: ${workspaceName}

Wenn Sasha die Ausführung im Arbeitsbereich Sasha manuell auslöst, führt Dataform den Inhalt mit den folgenden Einstellungen aus:

  • Google Cloud-Projekt: analytics_dev
  • Schema: dataform_sasha
  • Tabellennamen: sasha_name, z. B. sasha_orders.

Wenn Kai die Ausführung im Arbeitsbereich Kai manuell auslöst, führt Dataform seinen Inhalt mit den folgenden Einstellungen aus:

  • Google Cloud-Projekt: analytics_dev
  • Schema: dataform_kai
  • Tabellennamen: kai_name, z. B. kai_orders

Hinweise

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository aus oder erstellen Sie ein Repository.

  3. Optional: Wenn Sie das Google Cloud-Standardprojekt überschreiben möchten, gewähren Sie Ihrem Dataform-Dienstkonto Zugriff auf das Google Cloud-Projekt, das Sie verwenden möchten.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Dataform Admin (roles/dataform.admin) für Repositories zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen von Überschreibungen von Arbeitsbereichskompilierungen benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Kompilierungsüberschreibungen für Arbeitsbereiche erstellen

So erstellen Sie Überschreibungen von Dataform-Arbeitsbereichskompilierungen:

  1. Rufen Sie in Ihrem Repository die Einstellungen auf.
  2. Klicken Sie auf Bearbeiten.
  3. Geben Sie im Bereich Überschreibungen von Arbeitsbereichskompilierungen im Feld Google Cloud-Projekt-ID die ID des Google Cloud-Projekts ein.
  4. Geben Sie im Feld Tabellenpräfix ein Präfix für alle Tabellennamen ein.
    1. Optional: Um ein dynamisches Tabellenpräfix zu erstellen, das für jeden Arbeitsbereich eindeutig ist, geben Sie ${workspaceName} als Tabellenpräfix ein.
  5. Geben Sie im Feld Schemasuffix ein Suffix ein, das an das Schema der erstellten Tabelle oder Ansicht angehängt werden soll.
    1. Optional: Wenn Sie ein dynamisches Schemasuffix erstellen möchten, das für jeden Arbeitsbereich eindeutig ist, geben Sie ${workspaceName} als Tabellensuffix ein.
  6. Klicken Sie auf Speichern.

Dataform wendet Überschreibungen von Arbeitsbereichskompilierungen auf alle Arbeitsbereiche in Ihrem Repository an.

Kompilierungsüberschreibungen für Arbeitsbereiche bearbeiten

So bearbeiten Sie Überschreibungen von Dataform-Arbeitsbereichskompilierungen:

  1. Rufen Sie in Ihrem Repository die Einstellungen auf.
  2. Klicken Sie auf Bearbeiten.
  3. Bearbeiten Sie die Kompilierungsüberschreibungen des Arbeitsbereichs und klicken Sie dann auf Speichern.

Kompilierungsüberschreibungen für Arbeitsbereiche löschen

So löschen Sie Überschreibungen von Dataform-Arbeitsbereichskompilierungen:

  1. Rufen Sie in Ihrem Repository die Einstellungen auf.
  2. Klicken Sie auf Bearbeiten.
  3. Klicken Sie im Bereich Arbeitsbereichskompilierungsüberschreibungen auf Alle löschen und dann auf Speichern.

Nächste Schritte