Datenquelle deklarieren

In diesem Dokument wird beschrieben, wie Sie BigQuery-Datenquellen mit Dataform Core deklarieren.

Sie können jeden BigQuery-Tabellentyp als Datenquelle in Dataform deklarieren. Wenn Sie BigQuery-Datenquellen deklarieren, die extern zu Dataform sind, können Sie diese Datenquellen als Dataform-Objekte behandeln.

Das Deklarieren von Datenquellen ist optional, kann aber nützlich sein, wenn Sie Folgendes tun möchten:

  • Deklarierte Quellen können wie jede andere Tabelle in Dataform referenziert oder aufgelöst werden.
  • Deklarierte Quellen im visualisierten Dataform-Diagramm ansehen
  • Mit Dataform können Sie die Beschreibungen extern erstellter Tabellen auf Tabellen- und Spaltenebene verwalten.
  • Workflowaufrufe auslösen, die alle abhängigen Elemente einer externen Datenquelle enthalten

Sie können Datenquellen mit JavaScript- oder SQLX-Dateien deklarieren. In einer JavaScript-Datei können Sie mehrere Datenquellen pro Datei deklarieren. In einer SQLX-Datei können Sie eine Datenquelle pro Datei deklarieren.

Hinweis

Bevor Sie eine Datenquelle deklarieren, erstellen und initialisieren Sie einen Entwicklungsarbeitsbereich in Ihrem Repository.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für Workspaces die IAM-Rolle Dataform Editor (roles/dataform.editor) zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Deklarieren einer Datenquelle benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

JavaScript-Datei für mehrere Datenquellendeklarationen erstellen

Speichern Sie JavaScript-Dateien für Datenquellendeklarationen im Verzeichnis definitions/. So erstellen Sie eine neue JavaScript-Datei im Verzeichnis definitions/:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository aus.

  3. Wählen Sie einen Entwicklungsarbeitsbereich aus.

  4. Klicken Sie im Bereich Dateien neben definitions/ auf das Dreipunkt-Menü Mehr.

  5. Klicken Sie auf Datei erstellen.

  6. Führen Sie im Bereich Neue Datei erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Dateipfad hinzufügen nach definitions/ den Namen der Datei gefolgt von .js ein. Beispiel: definitions/declarations.js.

      Dateinamen dürfen nur Zahlen, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Datei erstellen.

JavaScript-Datei eine Deklaration hinzufügen

Sie können mehrere Datenquellen pro JavaScript-Datei deklarieren. So fügen Sie eine neue Erklärung hinzu:

  1. Klicken Sie in Ihrem Entwicklungsbereich im Bereich Dateien auf die JavaScript-Datei mit den Datenquellendeklarationen.

  2. Fügen Sie in der Datei für jede Datenquelle das folgende Code-Snippet hinzu:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Ersetzen Sie Folgendes:

    • DATABASE_PROJECT_ID: die Projekt-ID des Projekts, das die Datenquelle enthält.
    • BIGQUERY_SCHEMA: Das BigQuery-Dataset, in dem sich die Datenquelle befindet.
    • RELATION_NAME: der Name der Tabelle oder Ansicht, die Sie als Datenquelle verwenden möchten. Sie können diesen Namen später verwenden, um in Dataform auf die Datenquelle zu verweisen.

SQLX-Datei für die Datenquellendeklaration erstellen

Speichern Sie SQLX-Dateien für Datenquellendeklarationen im Verzeichnis definitions/. So erstellen Sie eine neue SQLX-Datei im Verzeichnis definitions/:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository aus.

  3. Wählen Sie einen Entwicklungsarbeitsbereich aus.

  4. Klicken Sie im Bereich Dateien neben definitions/ auf das Dreipunkt-Menü Mehr.

  5. Klicken Sie auf Datei erstellen.

  6. Führen Sie im Bereich Neue Datei erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Dateipfad hinzufügen nach definitions/ den Namen der Datei gefolgt von .sqlx ein. Beispiel: definitions/dataset-declaration.sqlx.

      Dateinamen dürfen nur Zahlen, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Datei erstellen.

Datenquelle deklarieren

Sie können pro SQLX-Deklarationsdatei eine Datenquelle deklarieren. So deklarieren Sie eine Datenquelle im Konfigurationsblock einer SQLX-Datei:

  1. Klicken Sie in Ihrem Entwicklungsbereich im Bereich Dateien auf die SQLX-Datei für die Datenquellendeklaration.

  2. Geben Sie in die Datei das folgende Code-Snippet ein:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Ersetzen Sie Folgendes:

    • DATABASE: die Projekt-ID des Projekts, das die Datenquelle enthält.
    • SCHEMA: Das BigQuery-Dataset, in dem sich die Datenquelle befindet.
    • NAME: der Name der Tabelle oder Ansicht, die Sie als Datenquelle verwenden möchten. Sie können diesen Namen später verwenden, um in Dataform auf die Datenquelle zu verweisen.

  3. Optional: Klicken Sie auf Formatieren.

Im folgenden Codebeispiel wird die Tabelle shakespeare im Dataset samples des Projekts bigquery-public-data als Datenquelle deklariert:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Nächste Schritte