Rekomendasi upgrade

Halaman ini menjelaskan rekomendasi untuk mengupgrade ke versi baru dari Cortex Framework Data Foundation yang disesuaikan. Pada setiap rilis, tim Cortex berkomitmen untuk meminimalkan gangguan saat menambahkan fitur baru ke Cortex Framework. Update baru memprioritaskan kompatibilitas mundur. Namun, panduan ini membantu Anda meminimalkan kemungkinan masalah.

Cortex Framework Data Foundation menyediakan kumpulan konten dan template standar untuk mempercepat nilai dari data yang direplikasi ke BigQuery. Organisasi menyesuaikan template, modul, SQL, skrip Python, pipeline, dan konten lainnya yang disediakan agar sesuai dengan kebutuhan mereka.

Komponen inti

Konten Cortex Framework Data Foundation dirancang dengan mempertimbangkan prinsip keterbukaan. Organisasi dapat menggunakan alat yang paling sesuai untuk mereka saat menggunakan model data BigQuery yang disediakan. Satu-satunya platform yang menjadi dependensi utama foundation adalah BigQuery. Semua alat lainnya dapat dipertukarkan sesuai kebutuhan:

  • Integrasi Data: Alat integrasi apa pun yang memiliki interkoneksi dengan BigQuery dapat dimanfaatkan asalkan dapat mereplikasi tabel dan struktur mentah. Misalnya, tabel mentah harus menyerupai skema yang sama seperti saat dibuat di SAP (nama, kolom, dan jenis data yang sama). Selain itu, alat integrasi harus dapat menyediakan layanan transformasi dasar seperti memperbarui jenis data target untuk kompatibilitas BigQuery serta menambahkan kolom tambahan seperti stempel waktu atau tanda operasi untuk menandai data baru dan yang diubah.
  • Pemrosesan Data: Skrip pemrosesan Change Data Capture (CDC) yang menyediakan pekerjaan dengan Cloud Composer (atau Apache Airflow) bersifat opsional. Sebaliknya, pernyataan SQL dibuat secara terpisah dari file khusus Airflow jika memungkinkan, sehingga pelanggan dapat menggunakan file SQL terpisah di alat lain sesuai kebutuhan.
  • Visualisasi Data: Meskipun template dasbor Looker disediakan dan berisi visualisasi serta logika minimum, logika inti tetap tersedia di fondasi data dalam BigQuery secara desain untuk membuat visualisasi dengan alat pelaporan pilihan mereka.

Manfaat utama

Cortex Framework Data Foundation dirancang agar dapat disesuaikan dengan berbagai kebutuhan bisnis. Komponennya dibuat dengan fleksibilitas, sehingga organisasi dapat menyesuaikan platform dengan kebutuhan spesifik mereka dan mendapatkan manfaat berikut:

  • Keterbukaan: Terintegrasi dengan lancar dengan berbagai alat integrasi, pemrosesan, dan visualisasi data di luar BigQuery.
  • Penyesuaian: Organisasi dapat mengubah dan memperluas komponen bawaan seperti tampilan SQL agar sesuai dengan model data dan logika bisnis mereka.
  • Pengoptimalan Performa: Teknik seperti partisi, pemeriksaan kualitas data, dan pengelompokan dapat disesuaikan berdasarkan setiap beban kerja dan volume data.
  • Kompatibilitas Mundur: Cortex berupaya mempertahankan kompatibilitas mundur dalam rilis mendatang, sehingga meminimalkan gangguan pada implementasi yang ada. Untuk mengetahui informasi tentang perubahan versi, lihat Catatan Rilis.
  • Kontribusi Komunitas: Mendorong berbagi pengetahuan dan kolaborasi di antara pengguna.

Proses update

Bagian berikut membagikan petunjuk untuk salah satu cara developer dapat terus memperbarui kode mereka dengan repositori Cortex Framework Data Foundation sekaligus mempertahankan penyesuaian mereka. Penggunaan skrip deployment yang telah dikirimkan sebelumnya di pipeline CI/CD. Namun, organisasi dapat menggunakan alat dan metodologi alternatif agar sesuai dengan preferensi mereka, seperti Dataform, atau alat otomatisasi yang disediakan oleh berbagai host Git, seperti tindakan GitHub.

Menyiapkan repositori

Bagian ini menguraikan satu pendekatan untuk menyiapkan repositori Anda. Sebelum mengikuti langkah-langkah ini, sebaiknya Anda memiliki pemahaman yang baik tentang Git.

  1. Membuat fork repositori inti: Buat fork repositori Data Foundation Cortex Framework. Fork akan membuat repositori tersebut terus menerima update dari repositori Google Cloud , dan repositori terpisah untuk utama Perusahaan.

  2. Create Company Repository: Buat host Git baru untuk repositori perusahaan Anda (misalnya, Cloud Source). Buat repositori dengan nama yang sama dengan repositori yang Anda buat fork di host baru.

  3. Melakukan Inisialisasi Repositori Perusahaan: Salin kode dari Repositori yang Anda buat fork ke dalam repositori perusahaan yang baru dibuat. Tambahkan repositori fork asli sebagai repositori jarak jauh upstream dengan perintah berikut, dan pastikan repositori jarak jauh telah ditambahkan. Tindakan ini akan membuat koneksi antara repositori perusahaan Anda dan repositori asli.

    git remote add google <<remote URL>>
git remote -v
git push --all google

  4. Verifikasi Penyiapan Repositori: Pastikan repositori perusahaan Anda berisi kode dan histori yang di-clone. Anda akan melihat dua remote, asli dan yang Anda tambahkan setelah menggunakan perintah:

    git remote -v:

    Sekarang Anda memiliki repositori, Repositori perusahaan, tempat developer dapat mengirimkan perubahan mereka. Developer kini dapat meng-clone dan bekerja di cabang di repositori baru.

Menggabungkan perubahan Anda dengan rilis Cortex baru

Bagian ini menjelaskan proses penggabungan perubahan dari repositori Perusahaan dan perubahan yang berasal dari repositori Google Cloud .

  1. Memperbarui fork: Klik Sinkronkan fork untuk memperbarui fork untuk repositori Anda dengan perubahan dari repositori Google Cloud . Misalnya, perubahan berikut pada repositori Perusahaan telah dilakukan. Selain itu, ada beberapa perubahan lain di repositori Data Foundation oleh Google Cloud dalam rilis baru.

    • Membuat dan menggabungkan penggunaan tampilan baru di SQL
    • Mengubah tampilan yang ada
    • Mengganti skrip sepenuhnya dengan logika kita sendiri

    Urutan perintah berikut menambahkan repositori fork sebagai repositori jarak jauh upstream untuk mengambil rilis yang diperbarui dari GitHub dan memeriksa cabang utamanya sebagai GitHub-main. Kemudian, contoh ini akan memeriksa cabang utama dari repositori Perusahaan di Google Cloud Sumber dan membuat cabang untuk penggabungan yang disebut merging_br.

    git remote add github <<github fork>>
git fetch github main
git checkout -b github-main github/main
git checkout  main
git checkout -b merging_br

    Ada beberapa cara untuk membuat alur ini. Proses penggabungan juga dapat terjadi di fork di GitHub, diganti dengan rebase, bukan penggabungan, dan cabang penggabungan juga dapat dikirim sebagai permintaan penggabungan. Variasi proses ini bergantung pada kebijakan organisasi saat ini, kedalaman perubahan, dan kemudahan.

    Dengan penyiapan ini, Anda dapat membandingkan perubahan yang masuk dengan perubahan lokal. Sebaiknya gunakan alat di IDE grafis pilihan untuk melihat perubahan dan memilih apa yang akan digabungkan. Misalnya, Visual Studio.

    Sebaiknya laporkan penyesuaian menggunakan komentar yang terlihat jelas secara visual, untuk mempermudah proses perbedaan.

  2. Mulai proses penggabungan: Gunakan cabang yang dibuat (dalam contoh ini, adalah cabang yang disebut merging_br) untuk menggabungkan semua perubahan dan menghapus file. Jika sudah siap, Anda dapat menggabungkan cabang ini kembali ke cabang utama atau cabang lain untuk repositori Perusahaan Anda guna membuat permintaan penggabungan. Dari cabang penggabungan yang diambil dari cabang utama repositori Perusahaan Anda (git checkout merging_br), gabungkan perubahan yang masuk dari fork jarak jauh.

        ## git branch -a
    ## The command shows github-main which was created from the GitHub fork
    ## You are in merging_br

    git merge github-main

    ## If you don't want a list of the commits coming from GitHub in your history, use `--squash`

    Perintah ini menghasilkan daftar konflik. Gunakan perbandingan IDE grafis untuk memahami perubahan dan memilih antara saat ini, masuk, dan keduanya. Di sinilah komentar dalam kode seputar penyesuaian menjadi berguna. Pilih untuk menghapus semua perubahan, menghapus file yang tidak ingin digabungkan sama sekali, dan mengabaikan perubahan pada tampilan atau skrip yang telah Anda sesuaikan.

  3. Gabungkan perubahan: Setelah Anda memutuskan perubahan yang akan diterapkan, periksa ringkasan dan komit dengan perintah:

        git status
    ## If something doesn't look right, you can use git rm or git restore accordingly
    git add --all #Or . or individual files
    git commit -m "Your commit message"

    Jika Anda merasa tidak yakin dengan langkah apa pun, lihat Mengurungkan tindakan dasar di Git.

  4. Uji dan deploy: Sejauh ini, Anda hanya menggabungkan ke cabang "sementara". Sebaiknya jalankan deployment pengujian dari skrip cloudbuild\*.yaml pada tahap ini untuk memastikan semuanya berjalan seperti yang diharapkan. Pengujian otomatis dapat membantu menyederhanakan proses ini. Setelah cabang penggabungan ini terlihat bagus, Anda dapat melakukan checkout cabang target utama dan menggabungkan cabang merging_br ke dalamnya.