Langkah 6: Jalankan deployment

Halaman ini menjelaskan langkah keenam untuk men-deploy Data Foundation Cortex Framework, inti Cortex Framework. Pada langkah ini, Anda akan menjalankan deployment Cortex Framework Data Foundation.

Catatan: Langkah-langkah yang diuraikan di halaman ini dirancang khusus untuk men-deploy Cortex Framework Data Foundation dari repositori GitHub resmi.

Proses build

Setelah mengonfigurasi file config.json seperti yang dijelaskan dalam Langkah 5: Mengonfigurasi deployment, ikuti petunjuk ini untuk mem-build proses Anda.

1. Jalankan perintah berikut untuk menemukan diri Anda di repositori yang di-clone:

   cd cortex-data-foundation
   

2. Jalankan perintah build dengan bucket log target:

   gcloud builds submit --project EXECUTION_PROJECT\
       --substitutions=_GCS_BUCKET=LOGS_BUCKET
   

   Ganti kode berikut:

   • EXECUTION_PROJECT dengan project eksekusi, kemungkinan project sumber.
   • LOGS_BUCKET dengan nama bucket untuk penyimpanan log. Akun Layanan Cloud Build memerlukan akses untuk menulisnya di sini.

3. Ikuti proses build utama dengan melihat log di terminal atau di konsol Cloud Build, jika Anda memiliki izin yang cukup. Lihat gambar berikut untuk referensi selengkapnya.

   

   Gambar 1. Contoh melihat progres log di terminal.

   

   Gambar 2. Contoh melihat progres log di konsol.

4. Lacak langkah build turunan yang dipicu dari konsol Cloud Build atau dalam log yang dibuat dari langkah-langkah tersebut. Lihat gambar berikut untuk referensi selengkapnya.

   

   Gambar 3. Contoh pelacakan langkah build turunan di konsol.

   

   Gambar 4. Contoh pelacakan langkah build turunan dalam log.

5. Identifikasi masalah apa pun pada setiap build. Perbaiki error, jika ada. Sebaiknya tempelkan SQL yang dihasilkan ke BigQuery untuk mengidentifikasi dan memperbaiki error. Sebagian besar error terkait dengan kolom yang dipilih, tetapi tidak ada di sumber yang direplikasi. UI BigQuery membantu mengidentifikasi dan menonaktifkannya.

   

   Gambar 5. Contoh identifikasi masalah melalui log Cloud Build.

Memindahkan file ke bucket DAG Cloud Composer (Airflow)

Jika memilih untuk membuat file integrasi atau CDC dan memiliki instance Cloud Composer (Airflow), Anda dapat memindahkannya ke bucket akhir dengan perintah berikut:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Ganti kode berikut:

• OUTPUT_BUCKET dengan bucket output.
• COMPOSER_DAG_BUCKET dengan bucket DAG Cloud Composer (Airflow).

Catatan: Langkah ini hanya berlaku jika Anda memiliki instance Airflow yang berjalan, karena Airflow biasanya digunakan untuk mengelola dan mengatur pipeline data.

Menyesuaikan dan mempersiapkan upgrade

Banyak pelanggan perusahaan memiliki penyesuaian khusus pada sistem mereka, seperti dokumen tambahan dalam alur atau jenis data tertentu. Hal ini spesifik untuk setiap pelanggan dan dikonfigurasi oleh analis fungsional saat kebutuhan bisnis muncul.

Cortex menggunakan tag ## CORTEX-CUSTOMER dalam kode untuk menunjukkan tempat yang kemungkinan memerlukan penyesuaian tersebut. Gunakan perintah grep -R CORTEX-CUSTOMER untuk memeriksa semua komentar ## CORTEX-CUSTOMER yang harus Anda sesuaikan.

Selain tag CORTEX-CUSTOMER, Anda mungkin perlu menyesuaikan hal berikut lebih lanjut dengan melakukan semua perubahan ini dengan tag yang jelas dalam kode ke repositori yang di-fork atau di-clone sendiri:

• Menambahkan aturan bisnis.
• Menambahkan set data lain dan menggabungkannya dengan tampilan atau tabel yang ada
• Menggunakan kembali template yang disediakan untuk memanggil API tambahan.
• Mengubah skrip deployment.
• Menerapkan konsep mesh data lebih lanjut.
• Menyesuaikan beberapa tabel atau API yang di-landing untuk menyertakan kolom tambahan yang tidak disertakan dalam standar.

Gunakan pipeline CI/CD yang sesuai untuk organisasi Anda agar terus menguji peningkatan ini dan solusi Anda secara keseluruhan dalam keadaan yang andal dan tangguh. Pipeline dapat menggunakan kembali skrip cloudbuild.yaml untuk memicu deployment menyeluruh secara berkala, atau berdasarkan operasi git, bergantung pada repositori pilihan Anda dengan mengotomatiskan build.

Gunakan file config.json untuk menentukan berbagai kumpulan project dan set data untuk lingkungan pengembangan, staging, dan produksi. Gunakan pengujian otomatis dengan data sampel Anda sendiri untuk memastikan model selalu menghasilkan hal yang Anda harapkan.

Memberi tag pada perubahan Anda sendiri secara jelas di fork atau clone repositori bersama dengan beberapa otomatisasi deployment dan pengujian akan membantu melakukan upgrade.

Dukungan

Jika Anda mengalami masalah atau memiliki permintaan fitur terkait model atau deployer ini, buat masalah di repositori Cortex Framework Data Foundation. Untuk membantu mengumpulkan informasi yang diperlukan, jalankan support.sh dari direktori yang di-clone. Skrip ini akan memandu Anda melalui serangkaian langkah untuk membantu memecahkan masalah.

Untuk permintaan atau masalah Cortex Framework, buka bagian dukungan di halaman ringkasan.

Blok dan Dasbor Looker

Manfaatkan Dasbor dan Blok Looker yang tersedia. Model data ini pada dasarnya dapat digunakan kembali untuk pola analisis umum dan sumber data untuk Cortex Framework. Untuk informasi selengkapnya, lihat Ringkasan Dasbor dan Blok Looker.