Memigrasikan lingkungan dan jadwal lama

Formulir Data Lama tidak akan digunakan lagi mulai 26 Februari 2024. Setelah itu, Anda tidak akan dapat mengakses project lama. Dokumen ini menjelaskan cara memigrasikan lingkungan dan jadwal dari Dataform lama ke Dataform di Google Cloud dengan konfigurasi rilis dan alur kerja.

Dalam Dataform lama, Anda menentukan lingkungan dan jadwal secara bersamaan dalam file environments.json.

Contoh kode berikut menunjukkan definisi lingkungan production dan staging serta jadwal yang sesuai dalam file environments.json dari Dataform lama:

// example of an environments.json file

{
  "environments": [
    {
      "name": "production",
      "configOverride": {},
      "schedules": [
        {
          "name": "daily",
          "cron": "30 14 * * *",
          "tags": [
            "daily"
          ]
        },
        {
          "name": "hourly",
          "cron": "*/5 * * * *",
          "disabled": false
        }
      ],
      "gitRef": "master"
    },
    {
      "name": "staging",
      "configOverride": {
        "schemaSuffix": "staging"
      },
      "schedules": [
        {
          "name": "daily (all)",
          "cron": "42 16 * * mon,tue,wed,thu,fri,sat,sun"
        }
      ],
      "gitRef": "master"
    }
  ]
}

Dalam Dataform di Google Cloud, mengonfigurasi lingkungan dan jadwal dibagi menjadi dua pengalaman:

Konfigurasi rilis
Mirip dengan lingkungan Dataform lama, yang digunakan untuk mengonfigurasi setelan kompilasi untuk lingkungan yang berbeda, misalnya, staging dan production.

Dengan konfigurasi rilis, Anda dapat mengonfigurasi penggantian commit dan kompilasi Git untuk menyesuaikan pembuatan hasil kompilasi. Dataform membuat hasil kompilasi dari konfigurasi rilis secara terpisah dari jadwal konfigurasi alur kerja. Hal ini berarti bahwa eksekusi terjadwal hasil kompilasi dari konfigurasi rilis dapat berjalan meskipun penyedia Git jarak jauh Anda tidak tersedia.

Saat membuat konfigurasi rilis, Anda dapat menetapkan frekuensi pembuatan hasil kompilasi. Anda juga dapat membuat hasil kompilasi dari konfigurasi rilis secara manual atau dalam proses deployment berkelanjutan otomatis.

Konfigurasi alur kerja
Setara dengan jadwal Dataform lama, yang digunakan untuk menjadwalkan eksekusi hasil kompilasi dari konfigurasi rilis.

Pertama, Anda perlu membuat konfigurasi rilis dan menentukan setelan kompilasi untuk lingkungan yang dipilih, misalnya, staging. Kemudian, buat konfigurasi alur kerja dan tentukan jadwal eksekusi hasil kompilasi staging.

Cara memigrasikan lingkungan dan jadwal

Anda dapat memigrasikan lingkungan dan jadwal lama ke konfigurasi rilis dan konfigurasi alur kerja dengan cara berikut:

Mengonfigurasi konfigurasi rilis dan alur kerja di dalam Dataform

Buat ulang lingkungan sebagai konfigurasi rilis dan jadwal sebagai konfigurasi alur kerja dalam Dataform di Google Cloud.

Buka halaman Dataform

Mengonfigurasi konfigurasi rilis dan alur kerja dengan Dataform API

Gunakan Dataform API untuk mengonfigurasi konfigurasi rilis dan konfigurasi alur kerja.

Atau, Anda dapat memigrasikan lingkungan dan jadwal lama dengan cara berikut:

Terapkan konfigurasi kustom ke environments.json melalui Dataform API
Anda dapat menyimpan file environments.json sebagai repositori Anda dan mengonfigurasi proses deployment berkelanjutan dengan alat pilihan Anda. Dalam proses deployment berkelanjutan, perbarui konfigurasi rilis dan konfigurasi alur kerja dari file environment.json setelah penggabungan ke cabang default.
Abaikan konfigurasi rilis dan alur kerja
Anda dapat mengabaikan konfigurasi rilis dan alur kerja serta menggunakan Dataform CLI, Dataform API, atau Dataform API bersama dengan Cloud Composer atau Alur kerja open source untuk mengompilasi repositori Anda dan menjalankan alur kerja.

Notifikasi migrasi alur kerja

Dataform menyediakan Cloud Logging untuk pemanggilan alur kerja. Log ini berisi informasi yang berguna untuk memantau dan men-debug alur kerja Anda:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: dapat berupa INFO, WARNING, atau ERROR
  • terminalState: dapat berupa SUCCEEDED, CANCELED, atau FAILED
  • timestamp
  • @type

Anda dapat menggunakan Cloud Logging bersama dengan Cloud Monitoring untuk mengonfigurasi pemberitahuan yang mirip dengan pemberitahuan lama.

Dengan Cloud Monitoring, Anda dapat mengonfigurasi metrik dan pemberitahuan berikut:

  • Metrik berbasis log, yang dapat Anda gunakan sebagai berikut:
    • Untuk membuat kebijakan pemberitahuan yang memberi tahu Anda tentang perubahan dari waktu ke waktu.
    • Untuk membuat diagram yang menampilkan perubahan dari waktu ke waktu.
  • Notifikasi berbasis log, yang memberi tahu Anda setiap kali peristiwa tertentu muncul dalam log.

Untuk mengetahui informasi selengkapnya, lihat Melihat Cloud Logging untuk Formulir Data

Langkah selanjutnya