Dokumen ini membahas arsitektur pemantauan dan logging untuk deployment hybrid dan multi-cloud, serta memberikan praktik terbaik untuk menerapkannya menggunakan Google Cloud. Dengan dokumen ini, Anda dapat mengidentifikasi pola dan produk yang paling sesuai dengan lingkungan Anda.
Setiap perusahaan memiliki portofolio unik tentang workload aplikasi yang menempatkan persyaratan dan batasan pada arsitektur penyiapan hybrid atau multi-cloud. Meskipun harus mendesain dan menyesuaikan arsitektur untuk memenuhi batasan dan persyaratan ini, Anda dapat mengandalkan beberapa pola umum.
Pola yang dibahas dalam dokumen ini terbagi dalam dua kategori:
- Dalam arsitektur satu panel terpadu, semua pemantauan dan logging dipusatkan, dengan tujuan menyediakan satu titik akses dan kontrol.
- Dalam arsitektur aplikasi dan operasi yang terpisah, data aplikasi yang sensitif dipisahkan dari data operasi yang kurang sensitif, dengan tujuan memenuhi persyaratan kepatuhan untuk data sensitif.
Memilih pola arsitektur Anda
Anda dapat menggunakan pohon keputusan (decision tree) dalam diagram berikut untuk mengidentifikasi arsitektur terbaik untuk kasus penggunaan Anda.
Detail setiap arsitektur dibahas lebih lanjut dalam dokumen ini, tetapi pada tingkat tinggi, pilihan Anda adalah sebagai berikut:
- Mengekspor dari Monitoring ke solusi lama.
- Ekspor langsung ke solusi lama.
- Menggunakan Monitoring dengan Prometheus dan Fluentd atau Fluent Bit.
- Menggunakan Pemantauan dengan observIQ BindPlane.
Satu panel arsitektur kaca
Tujuan umum untuk sistem campuran adalah mengintegrasikan informasi pemantauan dan logging dari berbagai sumber di beberapa aplikasi dan lingkungan ke dalam satu tampilan. Jenis layar ini disebut satu panel kaca.
Diagram berikut menggambarkan pola ini tempat data pemantauan dan logging dari semua aplikasi, baik di infrastruktur lokal maupun di cloud, dipusatkan ke dalam satu repositori yang dihosting di cloud.
Arsitektur ini memiliki keunggulan berikut:
- Anda memiliki satu tampilan yang konsisten untuk semua pemantauan dan logging.
- Anda memiliki satu tempat untuk mengelola penyimpanan dan retensi data.
- Anda mendapatkan audit dan kontrol akses terpusat. Namun, Anda tetap perlu memastikan keamanan data yang dikirim ke repositori pusat.
Pemantauan sebagai satu panel kaca
Cloud Monitoring adalah solusi pemantauan dan pengelolaan yang dikelola Google untuk layanan, container, aplikasi, dan infrastruktur. Untuk satu panel terpadu dan solusi penyimpanan yang andal untuk metrik, log, trace, dan peristiwa, gunakan Kemampuan Observasi Google Cloud. Suite ini juga menyediakan rangkaian alat kemampuan observasi lengkap, seperti dasbor, pelaporan, dan pemberitahuan.
Semua produk dan layanan Google Cloud mendukung integrasi dengan Monitoring. Selain itu, ada beberapa alat terintegrasi yang dapat Anda gunakan untuk memperluas Monitoring ke resource hybrid dan lokal.
Praktik terbaik berikut berlaku untuk semua arsitektur yang menggunakan Monitoring sebagai satu panel kaca:
- Agar memenuhi persyaratan kepatuhan untuk retensi log, siapkan sink log untuk organisasi Anda.
- Untuk analisis peristiwa log dengan cepat, siapkan ekspor log ke BigQuery untuk analisis keamanan dan akses.
- Untuk menganalisis log yang disimpan di bucket log, jalankan kueri SQL melalui Log Analytics.
- Untuk project yang berisi data sensitif, pertimbangkan untuk mengaktifkan log audit Akses Data, sehingga Anda dapat melacak siapa yang telah mengakses data.
- Untuk menghapus informasi sensitif, seperti nomor Jaminan Sosial, nomor kartu kredit, dan alamat email, Anda dapat memfilter data log. Anda dapat memfilter menggunakan konfigurasi Fluentd kustom, atau konfigurasi Fluent Bit kustom, atau penyerapan dengan log pengecualian. Anda juga dapat mengekspor log yang tidak difilter secara terpisah untuk memenuhi persyaratan kepatuhan.
- Untuk mengoptimalkan biaya, analisis penggunaan Monitoring dan Logging Anda serta terapkan kontrol biaya. Monitoring dan Logging adalah layanan terkelola dengan biaya berbasis volume untuk log dan metrik.
Pemantauan dan logging hybrid dengan Monitoring dan BindPlane oleh observIQ
Dengan BindPlane dari observIQ partner Google, Anda dapat mengimpor data pemantauan dan logging dari VM lokal dan penyedia cloud lainnya, seperti Amazon Web Services (AWS), Microsoft Azure, Alibaba Cloud, dan IBM Cloud ke Google Cloud. Diagram berikut menunjukkan cara Monitoring dan BindPlane dapat menyediakan satu panel kaca untuk hybrid cloud.
Arsitektur ini memiliki keunggulan berikut:
- Selain memantau resource seperti VM, BindPlane memiliki deep integration bawaan untuk lebih dari 50 sumber data populer.
- Tidak ada biaya lisensi tambahan untuk menggunakan BindPlane. Metrik BindPlane diimpor ke Monitoring sebagai metrik kustom, yang dapat dikenai biaya. Demikian juga, log BindPlane ditagih dengan kecepatan yang sama seperti log Logging lainnya.
Untuk mengetahui detail selengkapnya tentang menerapkan pola ini, lihat Logging dan pemantauan resource lokal dengan BindPlane.
Pemantauan Google Kubernetes Engine hybrid dengan Prometheus dan Monitoring
Dengan Google Cloud Managed Service for Prometheus, solusi pemantauan open source populer yang dikelola sepenuhnya oleh Google Cloud, Anda dapat memantau aplikasi yang berjalan di beberapa cluster Kubernetes dengan Pemantauan singkat ini. Arsitektur ini berguna saat menjalankan workload Kubernetes yang didistribusikan di seluruh Google Kubernetes Engine (GKE) di Google Cloud dan GKE di VMware di pusat data lokal Anda karena menyediakan antarmuka terpadu di kedua layanan tersebut. Diagram berikut menunjukkan cara menggunakan Prometheus dan kolektor Monitoring untuk pengumpulan data.
Arsitektur ini memiliki keunggulan berikut:
- Metrik Kubernetes yang konsisten di seluruh lingkungan cloud dan lokal.
- Dengan Prometheus, Anda dapat memantau dan membuat pemberitahuan terkait workload secara global dengan menggunakan Prometheus, tanpa harus mengelola dan mengoperasikan Prometheus secara manual dalam skala besar.
- Tidak ada biaya lisensi tambahan untuk menggunakan Prometheus. Metrik Prometheus diimpor ke Monitoring. Impor dikenai biaya dan dikenakan biaya berdasarkan jumlah sampel yang diserap.
Arsitektur ini memiliki kekurangan berikut:
- Prometheus hanya mendukung pemantauan, sehingga logging harus dikonfigurasi secara terpisah. Bagian berikut membahas opsi umum untuk logging menggunakan Fluentd atau Fluent Bit.
Sebaiknya lakukan praktik terbaik berikut:
- Secara default, Prometheus mengumpulkan semua metrik yang diekspos, yang masing-masing menjadi metrik yang dapat dikenai biaya. Untuk menghindari biaya tidak terduga, pertimbangkan untuk menerapkan Pemantauan kontrol biaya.
Logging GKE hybrid dengan Fluentd atau Fluent Bit dan Cloud Logging
Dengan Fluentd atau Fluent Bit, agen logging open source dan Cloud Logging populer, Anda dapat menyerap log dari aplikasi yang berjalan di beberapa cluster GKE ke Cloud Logging. Arsitektur ini berguna saat menjalankan workload Kubernetes yang didistribusikan di seluruh GKE di Google Cloud dan GKE di VMware di pusat data lokal Anda karena arsitektur ini menyediakan antarmuka terpadu di kedua platform tersebut. Diagram berikut menggambarkan alur log.
Arsitektur ini memiliki keunggulan berikut:
- Anda dapat memiliki logging Kubernetes yang konsisten di lingkungan cloud dan lokal.
- Anda dapat menyesuaikan Logging untuk memfilter informasi sensitif.
- Penggunaan Fluentd atau Fluent Bit tidak dikenai biaya lisensi tambahan. Log yang diimpor ke Logging menggunakan Fluentd atau Fluent Bit dikenai biaya.
Arsitektur ini memiliki kekurangan berikut:
- Hanya mendukung logging Fluentd dan Fluent Bit, sehingga pemantauan harus dikonfigurasi secara terpisah. Bagian sebelumnya membahas opsi umum untuk memantau dengan Prometheus.
Untuk mengetahui detail selengkapnya tentang penerapan pola ini, lihat Menyesuaikan log Logging untuk Google Kubernetes Engine dengan Fluentd atau Menyesuaikan log Logging untuk Google Kubernetes Engine dengan Fluent Bit.
Layanan partner sebagai satu panel kaca
Jika sudah menggunakan layanan pemantauan atau logging pihak ketiga seperti Datadog atau Splunk, Anda mungkin tidak ingin beralih ke Logging. Jika demikian, Anda dapat mengekspor data dari Google Cloud ke banyak layanan pemantauan dan logging yang umum. Anda dapat memilih untuk menggunakan layanan pemantauan dan logging yang terintegrasi, atau memilih layanan pemantauan dan logging terpisah yang paling sesuai dengan kebutuhan Anda.
Mengekspor dari Logging ke layanan partner
Dalam pola ini, Anda mengizinkan layanan pemantauan partner, seperti Datadog, untuk terhubung ke Cloud Monitoring API. Otorisasi ini memungkinkan layanan menyerap semua metrik yang tersedia untuk Logging, sehingga Datadog dapat berfungsi sebagai satu panel kaca untuk pemantauan.
Untuk data logging, Logging menyediakan ekspor (sink log) ke Pub/Sub. Ekspor ini menyediakan metode yang berperforma tinggi dan tangguh untuk layanan logging partner seperti Elastic dan Splunk untuk menyerap volume besar log dari Logging secara real time, sehingga layanan partner ini dapat menyediakan satu panel kaca untuk log.
Arsitektur gabungan untuk logging dan pemantauan ditampilkan dalam diagram berikut.
Arsitektur ini memiliki keunggulan berikut:
- Anda dapat terus menggunakan alat-alat yang sudah dikenal luas.
- Dukungan Google Cloud akan terus memiliki akses ke log Logging untuk memecahkan masalah.
Arsitektur ini memiliki kekurangan berikut:
- Solusi partner biasanya dihosting secara eksternal, yang berarti solusi tersebut mungkin tidak tersedia atau mengumpulkan data jika koneksi jaringan terganggu. Terkadang, Anda dapat mengurangi risiko ini dengan menghosting sendiri, tetapi Anda harus mengelola sendiri infrastruktur untuk solusinya sendiri.
- Dasbor yang dihosting secara eksternal tidak langsung tersedia bagi Dukungan Google Cloud. Kurangnya ketersediaan ini dapat memperlambat pemecahan masalah dan mitigasi.
- Solusi partner komersial mungkin menimbulkan lebih banyak biaya lisensi.
Beberapa contoh integrasi mendetail mencakup hal berikut:
- Datadog: Memantau metrik Compute Engine dan Mengumpulkan Log Logging
- Elastic: Mengekspor log Logging ke Elastic Cloud
- Splunk: Skenario untuk mengekspor Logging
Menganalisis metrik dari Prometheus dan Logging dengan Grafana
Grafana adalah alat pemantauan open source populer yang biasanya dipasangkan dengan Prometheus untuk koleksi metrik. Dalam arsitektur ini, Anda menggunakan Prometheus sebagai lapisan koleksi lokal dan menggunakan Grafana sebagai satu panel terpadu untuk Google Cloud dan resource lokal. Diagram berikut menunjukkan contoh arsitektur yang menganalisis metrik dari Google Cloud dan infrastruktur lokal.
Arsitektur ini memiliki keunggulan berikut:
- Solusi ini cocok untuk lingkungan hybrid dengan VM dan container.
- Jika organisasi Anda sudah menggunakan Prometheus dan Grafana, pengguna dapat terus menggunakannya.
Arsitektur ini memiliki kekurangan berikut:
- Prometheus hanya mendukung pemantauan, sehingga logging harus dikonfigurasi secara terpisah, misalnya, menggunakan Fluentd atau plugin Cloud Logging untuk Grafana.
- Prometheus bersifat open source dan dapat diperluas, tetapi hanya mendukung integrasi software perusahaan dengan cakupan terbatas.
- Prometheus dan Grafana adalah alat pihak ketiga dan bukan produk resmi Google. Google tidak menawarkan dukungan untuk Prometheus atau Grafana.
Untuk informasi selengkapnya, lihat Pemecahan masalah yang lebih baik dengan plugin Cloud Logging untuk Grafana.
Mengekspor log menggunakan Fluentd
Pola sebelumnya yang tercakup menggunakan Fluentd atau Fluent Bit sebagai kolektor log untuk Logging. Arsitektur dasar yang sama juga dapat digunakan untuk sistem logging atau analisis data lainnya yang mendukung Fluentd atau Fluent Bit, termasuk BigQuery, Elastic, dan Splunk. Diagram berikut menggambarkan pola ini.
Arsitektur ini memiliki keunggulan berikut:
- Solusi ini cocok untuk lingkungan hybrid dengan VM dan container.
- Fluentd dapat membaca dari banyak sumber data, termasuk log sistem.
- Fluentd menawarkan plugin output untuk banyak sistem logging dan analisis data pihak ketiga yang populer.
- Fluent Bit juga dapat membaca dari banyak input, termasuk log sistem.
- Fluent Bit menawarkan output untuk banyak sistem logging dan analisis data pihak ketiga yang populer.
Arsitektur ini memiliki kekurangan berikut:
- Hanya log dukungan Fluentd dan Fluent Bit, sehingga pemantauan harus dikonfigurasi secara terpisah. Bagian sebelumnya membahas opsi umum untuk pemantauan dengan Prometheus dan Grafana.
- Fluentd dan Fluent Bit adalah alat pihak ketiga dan bukan produk resmi Google. Google tidak menawarkan dukungan untuk mereka.
- Log yang diekspor tidak tersedia bagi Dukungan Google Cloud untuk pemecahan masalah. Secara khusus, Google tidak menawarkan cluster untuk GKE di VMware tanpa mengaktifkan Logging.
Memisahkan data operasi dan aplikasi
Satu panel arsitektur kaca memerlukan pemantauan aplikasi streaming dan data logging ke cloud. Namun, Anda mungkin memiliki persyaratan peraturan atau kepatuhan yang mengharuskan penyimpanan data pelanggan di infrastruktur lokal atau menerapkan batasan ketat terkait data apa yang dapat disimpan di cloud publik.
Pola yang berguna untuk lingkungan hybrid ini adalah memisahkan data aplikasi yang sensitif dari data operasi yang berisiko lebih rendah, seperti yang diilustrasikan dalam diagram berikut.
Memisahkan data aplikasi dan sistem dengan GKE Enterprise
GKE Enterprise on VMware, yang merupakan bagian dari suite GKE Enterprise, menyertakan Grafana untuk memantau cluster lokal. Selain itu, Anda dapat memilih untuk menginstal solusi partner seperti Elastic Stack atau Splunk untuk logging. Dengan solusi ini, Anda dapat menyerap dan melihat data aplikasi sensitif sepenuhnya di infrastruktur lokal, sambil tetap mengekspor data sistem ke Logging di Google Cloud. Diagram berikut mengilustrasikan arsitektur ini.
Arsitektur ini memiliki keunggulan berikut:
- Data aplikasi yang sensitif sepenuhnya disimpan di infrastruktur lokal.
- Pemantauan dan logging lokal tidak memiliki dependensi cloud dan tetap tersedia meskipun koneksi jaringan terganggu.
- Semua data sistem GKE, baik lokal maupun Google Cloud, terpusat dalam Logging dan juga dapat diakses oleh Dukungan Google Cloud sesuai kebutuhan.
Untuk contoh implementasi yang menggunakan Elastic Stack sebagai solusi partner, lihat Memantau GKE Enterprise dengan Elastic Stack.
Langkah selanjutnya
- Pelajari lebih lanjut praktik terbaik hybrid dan multi-cloud melalui rangkaian pola dan praktik hybrid dan multicloud, termasuk pola arsitektur dan pola arsitektur jaringan yang aman.
- Daftar ke quest Praktik Terbaik Cloud Kubernetes untuk mengikuti latihan langsung tentang kemampuan observasi dan lainnya di GKE.
- Pelajari arsitektur referensi, diagram, dan praktik terbaik tentang Google Cloud. Lihat Cloud Architecture Center kami.