Dataform-Repository erstellen

In diesem Dokument erfahren Sie, wie Sie ein Repository erstellen und festlegen und bearbeiten. Dienstkonto und löschen ein Repository in Dataform.

Beim Erstellen eines Dataform-Repositorys müssen Sie Folgendes festlegen: Repository-Einstellungen:

Repository-ID

Eine eindeutige ID des Repositorys. IDs dürfen nur Zahlen, Buchstaben, Bindestriche, und Unterstriche enthalten.

Region

Dataform-Region zum Speichern des Repositorys und seines Inhalts.

Diese Speicherregion kann sich von der Verarbeitungsregion unterscheiden, in der Dataform verarbeitet Ihren Code und speichert die Ausgabe von Ausführungen. Standardmäßig ist die Verarbeitungsregion auf Ihr BigQuery-Standard festgelegt. Dataset-Region. Sie können den Verarbeitungsbereich in der Datei mit den Workfloweinstellungen bearbeiten nachdem Sie das Repository erstellt haben. Weitere Informationen finden Sie unter Dataform-Einstellungen konfigurieren

Dienstkonto

Mit dem Repository verknüpftes Dienstkonto. Sie können die Standardeinstellung Dataform-Dienstkonto, ein Dienstkonto, das mit Ihrem Google Cloud-Projekt erstellen oder manuell ein anderes Dienstkonto eingeben. Standardmäßig Dataform verwendet ein Dienstkonto, das von Ihrer Projektnummer in im folgenden Format:

[e-mail]

Dataform verwendet für alle Repositories das Standarddienstkonto Geschäftsabläufe. Sie können ein anderes Dienstkonto verwenden, um Workflows auszuführen in Ihrem Repository, aber das Standarddienstkonto wird weiterhin für alle andere Repository-Vorgänge.

Verschlüsselung

Verschlüsselungsmethode für das Repository. Sie können die Standardverschlüsselung oder einen vom Kunden verwalteten Cloud KMS-Verschlüsselungsschlüssel anwenden. Weitere Informationen zur Verwendung vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs) in Dataform finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden.

Nachdem Sie ein Repository erstellt haben, können Sie mit GitHub oder GitLab verbinden.

Wichtig: So erstellen Sie ein Dataform-Repository, das mit einem Remote-Repository verbunden ist: Git-Repository, das in dataform.restrictGitRemotes nicht auf der Zulassungsliste steht fügen Sie zuerst das Remote-Git-Repository der allowedValues-Liste im und erstellen dann ein neues Dataform-Repository und verbinden es mit das Remote-Repository. Weitere Informationen finden Sie unter Remote-Repositories einschränken

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. BigQuery and Dataform APIs aktivieren.

   Aktivieren Sie die APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

7. BigQuery and Dataform APIs aktivieren.

   Aktivieren Sie die APIs

8. Wenn Sie die CMEK-Verschlüsselung für das Repository verwenden möchten, aktivieren Sie die CMEK-Verschlüsselung von Dataform-Repositories.

Wichtig :Bevor Sie ein Dataform-Repository erstellen, das Sie eine Verbindung zu einem Remote-Git-Repository herstellen, prüfen, ob Ihre Organisation oder Ihr Projekt schränkt Remote-Git-Repositories mit der Organisationsrichtlinie dataform.restrictGitRemotes. Wenn die Richtlinie vorhanden ist, muss das Remote-Repository auf die Zulassungsliste gesetzt werden bevor Sie das Dataform-Repository erstellen und es mit dem Remote-Repository verbinden. zu erstellen. Weitere Informationen finden Sie unter Remote-Repositories einschränken

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen und Löschen eines Repositorys benötigen, bitten Sie Ihren Administrator, Ihnen IAM-Rolle Dataform Admin (roles/dataform.admin) für Repositories. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

So verwenden Sie ein anderes Dienstkonto als den Dataform-Standarddienst -Konto haben, gewähren Sie Zugriff auf das benutzerdefinierte Dienstkonto.

Hinweis: Ein benutzerdefiniertes Dienstkonto, das mit einem Dataform-Objekt verknüpft ist Das Repository wird nur zum Ausführen der Workflows dieses Repositorys verwendet. Alle anderen Repository-Vorgänge werden weiterhin vom standardmäßigen Dataform ausgeführt Dienstkonto.

Repository erstellen

So erstellen Sie ein Dataform-Repository:

1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

   Zu Dataform

2. Klicken Sie auf Repository erstellen.

3. Gehen Sie auf der Seite Repository erstellen im Feld Repository-ID so vor: geben Sie eine eindeutige ID ein.

   IDs dürfen nur Ziffern, Buchstaben, Bindestriche und Unterstriche enthalten.

4. Wählen Sie in der Drop-down-Liste Region eine Dataform-Region aus. zum Speichern des Repositorys und seiner Inhalte. Dataform auswählen die Ihrem Standort am nächsten ist.

   Eine Liste der verfügbaren Dataform-Regionen finden Sie unter Standorte: Die Repository-Region enthält keine um den Speicherort Ihrer BigQuery-Datasets abzugleichen.

   In der Datei workflow_settings.yaml können Sie die Verarbeitungsregion festlegen, in der Dataform verarbeitet Ihren Code und speichert die Ausgabe von Ausführungen. Die Verarbeitungsregion muss mit dem Standort von BigQuery übereinstimmen Datasets, muss aber nicht mit der Repository-Region übereinstimmen. Weitere Informationen finden Sie unter Dataform-Einstellungen konfigurieren

5. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto aus. für das Repository.

   Im Drop-down-Menü können Sie das Dataform-Standarddienstkonto auswählen oder ein mit Ihrem Google Cloud-Projekt verknüpftes Dienstkonto, auf die Sie zugreifen können. Benutzerdefinierte Dienstkonten werden nur verwendet, für die Workflow-Ausführung. Alle anderen Repository-Vorgänge werden weiterhin ausgeführt Standard-Dataform-Dienstkonto.

   1. Optional: So wählen Sie ein Dienstkonto aus, das nicht im Drop-down-Menü angezeigt wird: Klicken Sie auf Manuell eingeben und geben Sie eine Dienstkonto-ID ein.

6. Wählen Sie im Abschnitt Verschlüsselung die Verschlüsselungsmethode für das Repository aus.

   1. So verwenden Sie die Standardverschlüsselung: Wählen Sie die Option Von Google verwalteter Verschlüsselungsschlüssel aus.

   2. Wählen Sie die Option Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) aus, um einen CMEK zu verwenden.

      1. Wählen Sie im Drop-down-Menü Vom Kunden verwalteten Schlüssel auswählen Wählen Sie einen CMEK-Schlüssel für das Repository aus.
   Hinweis :Der Verschlüsselungsmechanismus einer Dataform kann nicht geändert werden. nach dem Erstellen des Repositorys.

   Weitere Informationen finden Sie unter Einschränkungen für Dataform-CMEKs.

7. Klicken Sie auf Erstellen und dann auf Fertig.

Dienstkonto bearbeiten

Sie können ein benutzerdefiniertes Dienstkonto mit einem Dataform verknüpfen Repository für die Workflow-Ausführung. Alle anderen Repository-Vorgänge sind weiterhin vom Dataform-Standarddienstkonto ausgeführt.

So bearbeiten Sie das Dienstkonto für ein Dataform-Repository:

1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

   Zu Dataform

2. Wählen Sie ein Repository aus und klicken Sie dann auf Einstellungen.

3. Klicken Sie neben dem Feld Dienstkonto auf Dienstkonto bearbeiten.

4. Wählen Sie im Drop-down-Menü Dienstkonto ein Dienstkonto aus. für das Repository.

   Im Drop-down-Menü können Sie das Dataform-Standarddienstkonto auswählen oder ein mit Ihrem Google Cloud-Projekt verknüpftes Dienstkonto, auf die Sie zugreifen können.

   1. Optional: So wählen Sie ein Dienstkonto aus, das nicht im Drop-down-Menü angezeigt wird: Klicken Sie auf Manuell eingeben und geben Sie eine Dienstkonto-ID ein.

5. Klicken Sie auf Speichern.

Ein Repository löschen

So löschen Sie ein Repository und den gesamten Inhalt:

1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

   Zu Dataform

2. Klicken Sie neben dem Repository, das Sie löschen möchten, auf das Mehr und wählen Sie dann Löschen aus.

3. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

4. Klicken Sie auf Löschen.

Nächste Schritte

• Weitere Informationen zum Konfigurieren der Verarbeitungseinstellungen von Dataform Siehe Dataform-Einstellungen konfigurieren.

• Weitere Informationen zum Verknüpfen eines Dataform-Repositorys mit einem Git-Drittanbieter Siehe Verbindung zu einem Drittanbieter-Git-Repository herstellen.

• Informationen zur Verwendung von CMEK in Dataform finden Sie unter Verwenden Sie vom Kunden verwaltete Verschlüsselungsschlüssel.

• Informationen zum Erstellen eines Entwicklungsarbeitsbereichs finden Sie unter Arbeitsbereich erstellen