Mengelola paket inti Dataform

Dokumen ini menunjukkan cara mengelola paket dependensi framework inti Dataform dan mengupdatenya ke versi terbaru.

Dataform core adalah framework Dataform open source untuk mengembangkan alur kerja SQL dengan SQL, SQLX, dan JavaScript. Sebagai praktik terbaik, selalu gunakan framework inti Dataform versi terbaru yang tersedia. Untuk informasi tentang rilis framework inti Dataform, lihat Rilis Dataform di GitHub.

Sebelum memulai

  1. Buat repositori.
  2. Buat dan lakukan inisialisasi ruang kerja pengembangan.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna mengelola dan mengupdate inti Dataform, minta administrator untuk memberi Anda peran IAM berikut:

  • Mengelola lokasi paket inti Dataform: Dataform Admin (roles/dataform.admin) di repositori
  • Perbarui paket inti Dataform: Dataform Editor (roles/dataform.editor) di ruang kerja

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengelola lokasi paket inti Dataform

Saat Anda melakukan inisialisasi ruang kerja pertama di repositori, Dataform akan otomatis menetapkan inti Dataform sebagai paket dependensi. Mulai Dataform core 3.0.0, Dataform menginstal paket inti Dataform di file workflow_settings.yaml secara default. Pada versi inti Dataform sebelumnya, inti Dataform ditetapkan dalam file package.json.

Di Dataform core 3.0.0 dan yang lebih baru, jika Dataform core adalah satu-satunya paket di repositori Anda, Anda harus menetapkannya di file workflow_settings.yaml. Untuk repositori yang dibuat dengan versi inti Dataform sebelumnya, pindahkan paket inti Dataform ke workflow_settings.yaml.

File package.json diperlukan untuk menginstal paket tambahan di Dataform. Jika repositori Anda menggunakan paket tambahan, tetapkan paket inti Dataform di package.json sehingga semua paket ditetapkan di satu tempat. Jika repositori Anda tidak memiliki package.json, buat package.json dan pindahkan paket inti Dataform untuk menginstal paket tambahan.

Memindahkan inti Dataform ke workflow_settings.yaml

Untuk repositori yang dibuat dengan versi inti Dataform sebelum 3.0.0, jika Anda tidak memiliki paket dependensi selain inti Dataform, Anda harus memindahkan paket inti Dataform dari package.json ke workflow_settings.yaml, dan menghapus file package.json yang berlebihan.

Untuk memigrasikan paket inti Dataform dari package.json ke workflow_settings.yaml, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori, lalu pilih ruang kerja.

  3. Di panel Files, pilih file workflow_settings.yaml.

  4. Di file workflow_settings.yaml, tambahkan paket inti Dataform dalam format berikut:

    dataformCoreVersion: "VERSION"

    Ganti VERSION dengan Dataform versi terbaru, misalnya, 3.0.0.

  5. Di panel Files, klik menu More di samping package.json, lalu klik Delete.

  6. Untuk mengonfirmasi penghapusan dataform.json, klik Hapus.

  7. Klik Instal paket.

Memindahkan inti Dataform ke package.json

File package.json diperlukan untuk menginstal paket tambahan di repositori. Jika repositori Anda menggunakan paket tambahan, Anda harus menyimpan semua paket, termasuk paket inti Dataform, di package.json.

Jika repositori Anda tidak berisi file package.json karena paket inti Dataform ditetapkan dalam file workflow_settings.yaml, Anda harus membuat file package.json untuk menginstal paket tambahan, lalu memindahkan paket inti Dataform dari workflow_settings.yaml ke package.json yang baru dibuat.

Untuk membuat file package.json dan memindahkan paket inti Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih repositori, lalu pilih ruang kerja.

  3. Di panel Files, klik addAdd, lalu klik Create file.

  4. Di kolom Add a file path, masukkan package.json.

  5. Klik Create file.

  6. Di file package.json, tambahkan paket inti Dataform dalam format berikut:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Ganti VERSION dengan Dataform versi terbaru, misalnya, 3.0.0.

  7. Klik Instal paket.

  8. Di panel File, pilih workflow_settings.yaml.

  9. Dalam file workflow_settings.yaml, hapus properti dataformCoreVersion.

Memperbarui inti Dataform

Selalu uji versi paket baru di lingkungan non-produksi sebelum men-deploy di lingkungan produksi.

Untuk mengupdate paket dependensi inti Dataform, ikuti langkah-langkah berikut:

  1. Cari versi terbaru @dataform/core di halaman rilis Dataform di GitHub.

  2. Di konsol Google Cloud, buka halaman Dataform.

    Buka halaman Dataform

  3. Pilih repositori, lalu pilih ruang kerja.

  4. Di panel File, pilih file package.json atau file workflow_settings.yaml.

    Lokasi tempat paket dependensi inti Dataform ditetapkan bergantung pada versi inti Dataform dan penggunaan paket Anda. Untuk informasi selengkapnya, lihat Mengelola lokasi paket inti Dataform.

  5. Update paket dependensi inti Dataform dengan versi terbaru:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Ganti VERSION dengan Dataform versi terbaru, misalnya, 3.0.0. Untuk mencegah masalah terkait penginstalan paket, tentukan versi paket inti Dataform secara eksplisit. Jangan gunakan opsi dependencies lain dari package.json, misalnya, >version.

    1. Klik Instal paket.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Ganti VERSION dengan Dataform versi terbaru, misalnya, 3.0.0.

    1. Klik Instal paket.

  6. Lakukan commit perubahan.

  7. Kirim perubahan ke repositori Anda.

Contoh kode berikut menunjukkan dependensi @dataform/core yang diperbarui ke versi 3.0.0 dalam file package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

Langkah selanjutnya