Dengan Dataform CLI open source, Anda dapat melakukan inisialisasi, mengompilasi, menguji, dan menjalankan Dataform core secara lokal, di luar Google Cloud.
CLI Dataform mendukung Kredensial Default Aplikasi (ADC). Dengan ADC, Anda dapat menyediakan kredensial untuk aplikasi di berbagai lingkungan, seperti produksi atau pengembangan lokal, tanpa perlu mengubah kode aplikasi. Untuk menggunakan ADC, Anda harus memberikan kredensial Anda ke ADC terlebih dahulu.
Sebelum memulai
Sebelum menginstal Dataform CLI, instal NPM.
Menginstal Dataform CLI
Untuk menginstal Dataform CLI, jalankan perintah berikut:
npm i -g @dataform/cli@^3.0.0-beta
Melakukan inisialisasi project Dataform
Untuk menginisialisasi project Dataform baru, jalankan perintah berikut di dalam direktori project Anda:
dataform init . PROJECT_NAME DEFAULT_LOCATION
Ganti kode berikut:
- PROJECT_NAME: nama project Anda.
- DEFAULT_LOCATION: region tempat Anda ingin Dataform menulis data BigQuery. Untuk mengetahui informasi selengkapnya tentang region BigQuery, lihat Lokasi BigQuery.
Memperbarui inti Dataform
Untuk mengupdate framework inti Dataform, update
dataformCoreVersion
di fileworkflow_settings.yaml
, lalu jalankan kembali penginstalan NPM:npm i
Mengupdate Dataform CLI
Untuk mengupdate alat CLI Dataform, jalankan perintah berikut:
npm i -g @dataform/cli@^3.0.0-beta.2
Buat file kredensial
Dataform memerlukan file kredensial untuk terhubung ke layanan jarak jauh dan membuat file .df-credentials.json
di disk Anda.
Untuk membuat file kredensial, ikuti langkah-langkah berikut:
Jalankan perintah berikut:
dataform init-creds
Ikuti wizard
init-creds
yang memandu Anda membuat file kredensial.
Membuat project
Project Dataform kosong di Dataform core 3.0.0-beta.0
atau yang lebih baru memiliki struktur berikut:
project-dir
├── definitions
├── includes
└── workflow_settings.yaml
Untuk membuat project Dataform guna men-deploy aset ke BigQuery, jalankan perintah berikut:
dataform init PROJECT_NAME --default-database YOUR_GOOGLE_CLOUD_PROJECT_ID --default-location DEFAULT_LOCATION
Ganti kode berikut:
- PROJECT_NAME: nama project Anda.
- YOUR_GOOGLE_CLOUD_PROJECT_ID: ID project Google Cloud Anda.
- DEFAULT_LOCATION: region tempat Anda ingin Dataform menulis data BigQuery. Untuk mengetahui informasi selengkapnya tentang region BigQuery, lihat Lokasi BigQuery.
Meng-clone project
Untuk meng-clone project Dataform yang ada dari repositori Git pihak ketiga, ikuti petunjuk dari penyedia Git Anda.
Setelah repositori di-clone, jalankan perintah berikut di dalam direktori repositori yang di-clone:
dataform install
Menentukan tabel
Simpan definisi di folder definitions/
.
Untuk menentukan tabel, jalankan perintah berikut:
echo "config { type: 'TABLE_TYPE' } SELECT_STATEMENT" > definitions/FILE.sqlx
Ganti kode berikut:
- TABLE_TYPE: jenis tabel:
table
,incremental
, atauview
. - SELECT_STATEMENT: pernyataan
SELECT
yang menentukan tabel. - FILE: nama untuk file definisi tabel.
- TABLE_TYPE: jenis tabel:
Contoh kode berikut menentukan tampilan dalam file SQLX example
.
echo "config { type: 'view' } SELECT 1 AS test" > definitions/example.sqlx
Menentukan pernyataan manual
Simpan definisi di folder definitions/
.
Untuk menentukan pernyataan manual, jalankan perintah berikut:
echo "config { type: 'assertion' } SELECT_STATEMENT" > definitions/FILE.sqlx
Ganti kode berikut:
- SELECT_STATEMENT: pernyataan
SELECT
yang menentukan pernyataan. - FILE: nama untuk file definisi operasi SQL kustom.
- SELECT_STATEMENT: pernyataan
Menentukan operasi SQL kustom
Simpan definisi di folder definitions/
.
Untuk menentukan operasi SQL kustom, jalankan perintah berikut:
echo "config { type: 'operations' } SQL_QUERY" > definitions/FILE.sqlx
Ganti kode berikut:
- SQL_QUERY: operasi SQL kustom Anda.
- FILE: nama untuk file definisi operasi SQL kustom.
Melihat output kompilasi
Dataform mengompilasi kode Anda secara real time.
Untuk melihat output proses kompilasi di terminal, jalankan perintah berikut:
dataform compile
Untuk melihat output proses kompilasi sebagai objek JSON, jalankan perintah berikut:
dataform compile --json
Untuk melihat output kompilasi dengan variabel kompilasi kustom, jalankan perintah berikut:
dataform compile --vars=SAMPLE_VAR=SAMPLE_VALUE,foo=bar
Ganti kode berikut:
- SAMPLE_VAR: variabel kompilasi kustom Anda.
- SAMPLE_VALUE: nilai variabel kompilasi kustom Anda.
Jalankan kode
Untuk menjalankan kode Anda, Dataform mengakses BigQuery untuk menentukan statusnya saat ini dan menyesuaikan SQL yang dihasilkan.
Untuk menjalankan kode project Dataform, jalankan perintah berikut:
dataform run
Untuk menjalankan kode project Dataform di BigQuery dengan variabel kompilasi kustom, jalankan perintah berikut:
dataform run --vars=SAMPLE_VAR=SAMPLE_VALUE,sampleVar2=sampleValue2
Ganti kode berikut:
- SAMPLE_VAR: variabel kompilasi kustom Anda.
- SAMPLE_VALUE: nilai variabel kompilasi kustom Anda.
Untuk menjalankan kode project Dataform Anda di BigQuery dan membangun ulang semua tabel dari awal, jalankan perintah berikut:
dataform run --full-refresh
Tanpa --full-refresh
, Dataform memperbarui tabel inkremental
tanpa membangunnya kembali dari awal.
Untuk melakukan uji coba kode Anda terhadap BigQuery, jalankan perintah berikut:
dataform run --dry-run
Dapatkan bantuan
Untuk mencantumkan semua perintah dan opsi yang tersedia, jalankan perintah berikut:
dataform help
Untuk melihat deskripsi perintah tertentu, jalankan perintah berikut:
dataform help COMMAND
Ganti COMMAND dengan perintah yang ingin Anda pelajari.
Langkah berikutnya
- Untuk mempelajari Dataform CLI lebih lanjut, lihat Referensi Dataform CLI
- Untuk mempelajari Dataform lebih lanjut, lihat Ringkasan Dataform.