Dataform-Repository erstellen

In diesem Dokument erfahren Sie, wie Sie ein Repository erstellen, das Repository-Dienstkonto festlegen und bearbeiten sowie ein Repository in Dataform löschen.

Wenn Sie ein Dataform-Repository erstellen, müssen Sie die folgenden Repository-Einstellungen festlegen:

Repository-ID

Eine eindeutige ID des Repositorys. IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

Region

Dataform-Region zum Speichern des Repositorys und seines Inhalts.

Diese Speicherregion kann sich von der Verarbeitungsregion unterscheiden, in der Dataform Ihren Code verarbeitet und die Ausgabe von Ausführungen speichert. Standardmäßig wird als Verarbeitungsregion die Standardregion für das BigQuery-Dataset festgelegt. Sie können die Verarbeitungsregion in der Datei dataform.json bearbeiten, nachdem Sie das Repository erstellt haben. Weitere Informationen finden Sie unter Dataform-Einstellungen konfigurieren.

Dienstkonto

Mit dem Repository verknüpftes Dienstkonto. Sie können das Dataform-Standarddienstkonto, ein mit Ihrem Google Cloud-Projekt verknüpftes Dienstkonto auswählen oder manuell ein anderes Dienstkonto eingeben. Standardmäßig verwendet Dataform ein Dienstkonto, das von Ihrer Projektnummer im folgenden Format abgeleitet ist:

[e-mail]

Dataform verwendet das Standarddienstkonto für alle Repository-Vorgänge. Sie können ein anderes Dienstkonto verwenden, um Workflows in Ihrem Repository auszuführen, aber das Standarddienstkonto wird weiterhin für alle anderen Repository-Vorgänge verwendet.

Verschlüsselung

Verschlüsselungsmethode für das Repository. Sie können die Standardverschlüsselung verwenden oder einen vom Kunden verwalteten Cloud KMS-Verschlüsselungsschlüssel anwenden. Weitere Informationen zum Verwenden von vom Kunden verwalteten Verschlüsselungsschlüsseln (CMEKs) in Dataform finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.

Nachdem Sie ein Repository erstellt haben, können Sie es mit GitHub oder GitLab verbinden.

Wichtig: Wenn Sie ein Dataform-Repository erstellen möchten, das mit einem Remote-Git-Repository verbunden ist, das in der Richtlinie dataform.restrictGitRemotes nicht auf der Zulassungsliste steht, fügen Sie das Remote-Git-Repository zuerst der allowedValues-Liste in der Richtlinie hinzu. Erstellen Sie dann ein neues Dataform-Repository und verbinden Sie es mit dem Remote-Repository. Weitere Informationen finden Sie unter Remote-Repositories einschränken.

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. BigQuery and Dataform APIs aktivieren.

   Aktivieren Sie die APIs

5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. BigQuery and Dataform APIs aktivieren.

   Aktivieren Sie die APIs

8. Wenn Sie die CMEK-Verschlüsselung für das Repository verwenden möchten, aktivieren Sie die CMEK-Verschlüsselung von Dataform-Repositories.

Wichtig: Bevor Sie ein Dataform-Repository erstellen, das Sie mit einem Remote-Git-Repository verbinden möchten, prüfen Sie, ob Ihre Organisation oder Ihr Projekt Remote-Git-Repositories mit der Organisationsrichtlinie dataform.restrictGitRemotes einschränkt. Wenn die Richtlinie vorhanden ist, muss das Remote-Repository auf der Zulassungsliste stehen, bevor Sie das Dataform-Repository erstellen und mit dem Remote-Repository verbinden. Weitere Informationen finden Sie unter Remote-Repositories einschränken

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Dataform Admin (roles/dataform.admin) für Repositories zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Löschen eines Repositorys benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie ein anderes Dienstkonto als das Dataform-Standarddienstkonto verwenden möchten, gewähren Sie Zugriff auf das benutzerdefinierte Dienstkonto.

Hinweis: Ein benutzerdefiniertes Dienstkonto, das mit einem Dataform-Repository verknüpft ist, wird nur zum Ausführen der Workflows dieses Repositorys verwendet. Alle anderen Repository-Vorgänge werden weiterhin vom Dataform-Standarddienstkonto ausgeführt.

Repository erstellen

So erstellen Sie ein Dataform-Repository:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie auf Repository erstellen.

3. Geben Sie auf der Seite Repository erstellen in das Feld Repository-ID eine eindeutige ID ein.

   IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

4. Wählen Sie in der Drop-down-Liste Region eine Dataform-Region zum Speichern des Repositorys und seines Inhalts aus. Wählen Sie die Dataform-Region aus, die Ihrem Standort am nächsten ist.

   Eine Liste der verfügbaren Dataform-Regionen finden Sie unter Standorte. Die Repository-Region muss nicht mit dem Standort Ihrer BigQuery-Datasets übereinstimmen.

   In der Datei dataform.json können Sie die Verarbeitungsregion festlegen, in der Dataform Ihren Code verarbeitet und die Ausgabe von Ausführungen speichert. Die Verarbeitungsregion muss mit dem Standort Ihrer BigQuery-Datasets übereinstimmen, nicht jedoch mit der Repository-Region. Weitere Informationen finden Sie unter Dataform-Einstellungen konfigurieren.

5. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto für das Repository aus.

   Im Drop-down-Menü können Sie das Dataform-Standarddienstkonto oder ein beliebiges Dienstkonto auswählen, das mit Ihrem Google Cloud-Projekt verknüpft ist und auf das Sie Zugriff haben. Beachten Sie, dass benutzerdefinierte Dienstkonten nur für die Workflowausführung verwendet werden. Alle anderen Repository-Vorgänge werden weiterhin vom Dataform-Standarddienstkonto ausgeführt.

   1. Optional: Wenn Sie ein Dienstkonto auswählen möchten, das nicht im Drop-down-Menü angezeigt wird, klicken Sie auf Manuell eingeben und geben Sie eine Dienstkonto-ID ein.

6. Wählen Sie im Abschnitt Verschlüsselung die Verschlüsselungsmethode für das Repository aus.

   1. Wenn Sie die Standardverschlüsselung verwenden möchten, wählen Sie die Option Von Google verwalteter Verschlüsselungsschlüssel aus.

   2. Wenn Sie CMEK verwenden möchten, wählen Sie die Option Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) aus.

      1. Wählen Sie in der Drop-down-Liste Vom Kunden verwalteten Schlüssel auswählen einen CMEK-Schlüssel für das Repository aus.
   Hinweis: Sie können den Verschlüsselungsmechanismus eines Dataform-Repositorys nicht mehr ändern, nachdem das Repository erstellt wurde.

   Weitere Informationen finden Sie unter Einschränkungen für Dataform-CMEKs.

7. Klicken Sie auf Erstellen und anschließend auf Fertig.

Dienstkonto bearbeiten

Sie können ein benutzerdefiniertes Dienstkonto zur Ausführung von Workflows mit einem Dataform-Repository verknüpfen. Alle anderen Repository-Vorgänge werden weiterhin vom Dataform-Standarddienstkonto ausgeführt.

So bearbeiten Sie das Dienstkonto für ein Dataform-Repository:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Wählen Sie ein Repository aus und klicken Sie dann auf Einstellungen.

3. Klicken Sie neben dem Feld Dienstkonto auf Dienstkonto bearbeiten.

4. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto für das Repository aus.

   Im Drop-down-Menü können Sie das Dataform-Standarddienstkonto oder ein beliebiges Dienstkonto auswählen, das mit Ihrem Google Cloud-Projekt verknüpft ist und auf das Sie Zugriff haben.

   1. Optional: Wenn Sie ein Dienstkonto auswählen möchten, das nicht im Drop-down-Menü angezeigt wird, klicken Sie auf Manuell eingeben und geben Sie eine Dienstkonto-ID ein.

5. Klicken Sie auf Speichern.

Ein Repository löschen

So löschen Sie ein Repository und seinen gesamten Inhalt:

1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

   Zu Dataform

2. Klicken Sie neben dem Repository, das Sie löschen möchten, auf das -Menü Mehr und wählen Sie dann Löschen aus.

3. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

4. Klicken Sie auf Löschen.

Nächste Schritte

• Informationen zum Konfigurieren der Einstellungen für die Dataform-Verarbeitung finden Sie unter Dataform-Einstellungen konfigurieren.

• Informationen zum Verknüpfen eines Dataform-Repositorys mit einem Git-Drittanbieter-Git-Repository finden Sie unter Verbindung zu einem Git-Repository eines Drittanbieters herstellen.

• Informationen zur Verwendung von CMEK in Dataform finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.

• Informationen zum Erstellen eines Entwicklungsarbeitsbereichs finden Sie unter Arbeitsbereich erstellen.