Open-Source-Dataform-CLI verwenden

In diesem Dokument erfahren Sie, wie Sie das Open-Source-Dataform verwenden Befehlszeilenschnittstelle (CLI) zum lokalen Entwickeln von SQL-Workflows mit dem Terminal.

Mit der Open-Source-CLI von Dataform und Dataform Core lokal ausführen, außerhalb von Google Cloud.

Die Dataform-Befehlszeile unterstützt Standardanmeldedaten für Anwendungen. Mit ADC können Sie Anmeldedaten für Ihre Anwendung auf verschiedene Arten zur Verfügung stellen. lokale Entwicklung oder Produktion aus, ohne Ihren Anwendungscode zu ändern. Wenn Sie ADC verwenden möchten, Ihre Anmeldedaten für den ADC bereitstellen.

Hinweise

Bevor Sie die Dataform CLI installieren, Verwaltung von Werbenetzwerkpartnern.

Dataform CLI installieren

  • Führen Sie den folgenden Befehl aus, um die Dataform CLI zu installieren:

    npm i -g @dataform/cli@^3.0.0-beta

Dataform-Projekt initialisieren

  • Um ein neues Dataform-Projekt zu initialisieren, Führen Sie den folgenden Befehl in Ihrem Projektverzeichnis aus:

    dataform init . PROJECT_NAME DEFAULT_LOCATION

    Ersetzen Sie Folgendes:

    • PROJECT_NAME: Name Ihres Projekts
    • DEFAULT_LOCATION: die Region, in der Sie Dataform zum Schreiben von BigQuery-Daten. Weitere Informationen zu BigQuery-Regionen finden Sie unter BigQuery-Standorte.

Dataform aktualisieren

  • Zum Aktualisieren des Dataform-Frameworks aktualisieren Sie die dataformCoreVersion. in der Datei workflow_settings.yaml und führen Sie dann die NPM-Installation noch einmal aus:

    npm i

Dataform-CLI aktualisieren

  • Führen Sie den folgenden Befehl aus, um das Dataform-CLI-Tool zu aktualisieren:

    npm i -g @dataform/cli@^3.0.0-beta.2

Datei mit Anmeldedaten erstellen

Dataform benötigt eine Datei mit Anmeldedaten, um eine Verbindung zu Remotediensten herzustellen und erstellen Sie die Datei .df-credentials.json auf Ihrem Laufwerk.

So erstellen Sie die Datei mit den Anmeldedaten:

  1. Führen Sie dazu diesen Befehl aus:

    dataform init-creds

  2. Folgen Sie dem init-creds-Assistenten, der Sie durch die Erstellung der Datei mit Anmeldedaten führt.

Projekt erstellen

Ein leeres Dataform-Projekt in Dataform Core 3.0.0-beta.0 oder später hat folgende Struktur:

   project-dir
   ├── definitions
   ├── includes
   └── workflow_settings.yaml

  • So erstellen Sie ein Dataform-Projekt zum Bereitstellen von Assets in BigQuery: führen Sie den folgenden Befehl aus:

    dataform init PROJECT_NAME --default-project YOUR_GOOGLE_CLOUD_PROJECT_ID

    Ersetzen Sie Folgendes:

    • PROJECT_NAME: Name Ihres Projekts
    • YOUR_GOOGLE_CLOUD_PROJECT_ID ist Ihre Google Cloud-Projekt-ID.

Projekt klonen

So klonen Sie ein vorhandenes Dataform-Projekt aus dem Git-Repository eines Drittanbieters: Folgen Sie der Anleitung Ihres Git-Anbieters.

  • Führen Sie nach dem Klonen des Repositorys folgenden Befehl aus: das geklonte Repository-Verzeichnis:

    dataform install

Tabelle definieren

Definitionen werden im Ordner definitions/ gespeichert.

  • Führen Sie den folgenden Befehl aus, um eine Tabelle zu definieren:

    echo "config { type: 'TABLE_TYPE' } SELECT_STATEMENT" > definitions/FILE.sqlx

    Ersetzen Sie Folgendes:

    • TABLE_TYPE: der Tabellentyp: table, incremental oder view.
    • SELECT_STATEMENT: Eine SELECT-Anweisung, die die Tabelle definiert.
    • FILE: der Name der Tabellendefinitionsdatei.

Im folgenden Codebeispiel wird eine Ansicht in der SQLX-Datei example definiert.

echo "config { type: 'view' } SELECT 1 AS test" > definitions/example.sqlx

Manuelle Assertion definieren

Definitionen werden im Ordner definitions/ gespeichert.

  • Führen Sie den folgenden Befehl aus, um eine manuelle Assertion zu definieren:

    echo "config { type: 'assertion' } SELECT_STATEMENT" > definitions/FILE.sqlx

    Ersetzen Sie Folgendes:

    • SELECT_STATEMENT: eine SELECT-Anweisung, die die Assertion definiert.
    • FILE: der Name des benutzerdefinierten SQL-Vorgangs Definitionsdatei.

Benutzerdefinierten SQL-Vorgang definieren

Definitionen werden im Ordner definitions/ gespeichert.

  • Führen Sie den folgenden Befehl aus, um einen benutzerdefinierten SQL-Vorgang zu definieren:

    echo "config { type: 'operations' } SQL_QUERY" > definitions/FILE.sqlx

    Ersetzen Sie Folgendes:

    • SQL_QUERY: Ihr benutzerdefinierter SQL-Vorgang.
    • FILE: der Name des benutzerdefinierten SQL-Vorgangs Definitionsdatei.

Kompilierungsausgabe ansehen

Dataform kompiliert Ihren Code in Echtzeit.

  • So rufen Sie die Ausgabe des Kompilierungsprozesses im Terminal auf: führen Sie den folgenden Befehl aus:

    dataform compile

  • So rufen Sie die Ausgabe des Kompilierungsprozesses als JSON-Objekt auf: führen Sie den folgenden Befehl aus:

    dataform compile --json

  • So rufen Sie die Ausgabe der Kompilierung mit benutzerdefinierten Kompilierungsvariablen führen Sie den folgenden Befehl aus:

    dataform compile --vars=SAMPLE_VAR=SAMPLE_VALUE,foo=bar

    Ersetzen Sie Folgendes:

    • SAMPLE_VAR: Ihre benutzerdefinierte Kompilierungsvariable.
    • SAMPLE_VALUE: der Wert Ihres benutzerdefinierte Kompilierungsvariable.

Code ausführen

Zum Ausführen Ihres Codes greift Dataform auf BigQuery zu, seinen aktuellen Status ermitteln und das resultierende SQL entsprechend anpassen.

  • Führen Sie den folgenden Befehl aus, um den Code Ihres Dataform-Projekts auszuführen:

    dataform run

  • So führen Sie den Code Ihres Dataform-Projekts in BigQuery aus: mit benutzerdefinierten Kompilierungsvariablen führen Sie den folgenden Befehl aus:

    dataform run --vars=SAMPLE_VAR=SAMPLE_VALUE,sampleVar2=sampleValue2

    Ersetzen Sie Folgendes:

    • SAMPLE_VAR: Ihre benutzerdefinierte Kompilierungsvariable.
    • SAMPLE_VALUE: der Wert Ihres benutzerdefinierte Kompilierungsvariable.

  • Führen Sie den folgenden Befehl aus, um den Code Ihres Dataform-Projekts in BigQuery auszuführen und alle Tabellen von Grund auf neu zu erstellen:

    dataform run --full-refresh

Ohne --full-refresh aktualisiert Dataform inkrementelle Tabellen ohne sie von Grund auf neu erstellen zu müssen.

  • Um den endgültigen kompilierten SQL-Code anzuzeigen, der auf den aktuellen Status des ohne es in BigQuery auszuführen, führen Sie den folgenden Befehl aus:

    dataform run --dry-run

Hilfe

  • Um alle verfügbaren Befehle und Optionen anzuzeigen, führen Sie den folgenden Befehl aus:

    dataform help

  • Um eine Beschreibung eines bestimmten Befehls anzuzeigen, führen Sie den folgenden Befehl aus:

    dataform help COMMAND

    Ersetzen Sie COMMAND durch den Befehl, über den Sie mehr erfahren möchten.

Nächste Schritte