Google Cloud Managed Service for Prometheus

Google Cloud Managed Service for Prometheus adalah solusi multi-cloud dan lintas project Google Cloud yang terkelola sepenuhnya untuk metrik Prometheus. Dengan Prometheus, Anda dapat memantau dan membuat pemberitahuan terkait workload secara global, menggunakan Prometheus, tanpa harus mengelola dan mengoperasikan Prometheus secara manual dalam skala besar.

Google Cloud Managed Service for Prometheus mengumpulkan metrik dari pengekspor Prometheus dan memungkinkan Anda membuat kueri data secara global menggunakan PromQL. Artinya, Anda dapat terus menggunakan dasbor Grafana, pemberitahuan berbasis PromQL, dan alur kerja yang ada. Platform ini kompatibel dengan hybrid dan multi-cloud, dapat memantau Kubernetes, VM, dan workload serverless di Cloud Run, menyimpan data selama 24 bulan, dan mempertahankan portabilitas dengan tetap kompatibel dengan Prometheus upstream. Anda juga dapat melengkapi pemantauan Prometheus dengan membuat kueri lebih dari 6.500 metrik gratis di Cloud Monitoring, termasuk metrik sistem GKE gratis, menggunakan PromQL.

Dokumen ini memberikan ringkasan tentang layanan terkelola, dan dokumen lebih lanjut menjelaskan cara menyiapkan dan menjalankan layanan. Untuk menerima info terbaru secara rutin tentang fitur dan rilis baru, kirimkan formulir pendaftaran opsional.

Simak cara The Home Depot menggunakan Google Cloud Managed Service for Prometheus untuk mendapatkan kemampuan observasi terpadu di 2.200 toko yang menjalankan cluster Kubernetes lokal:

Ringkasan sistem

Google Cloud Managed Service for Prometheus memberi Anda pemahaman tentang Prometheus yang didukung oleh infrastruktur Cloud Monitoring global, multi-cloud, dan lintas project.

Google Cloud Managed Service for Prometheus memberi Anda akses ke fitur Prometheus dan Cloud Monitoring.

Google Cloud Managed Service for Prometheus dibangun di atas Monarch, yakni penyimpanan data yang skalabel secara global yang sama dengan yang digunakan untuk pemantauan Google sendiri. Karena Google Cloud Managed Service for Prometheus menggunakan backend dan API yang sama seperti Cloud Monitoring, metrik dan metrik Cloud Monitoring yang diserap oleh Managed Service for Prometheus dapat dikueri dengan menggunakan PromQL di Cloud Monitoring, Grafana, atau alat lain yang dapat membaca Prometheus API.

Dalam deployment Prometheus standar, pengumpulan data, evaluasi kueri, evaluasi aturan dan pemberitahuan, serta penyimpanan data, semuanya ditangani dalam satu server Prometheus. Google Cloud Managed Service for Prometheus membagi tanggung jawab untuk fungsi ini menjadi beberapa komponen:

  • Pengumpulan data ditangani oleh kolektor terkelola, kolektor yang di-deploy sendiri, OpenTelemetry Collector, atau Agen Operasional, yang melakukan scraping pengekspor lokal dan meneruskan data yang dikumpulkan ke Monarch. Kolektor ini dapat digunakan untuk workload Kubernetes, serverless, dan VM tradisional, serta dapat berjalan di mana saja, termasuk cloud lain dan deployment lokal.
  • Evaluasi kueri ditangani oleh Monarch, yang menjalankan kueri dan hasil gabungan di semua region Google Cloud dan di hingga 1.000 project Google Cloud.
  • Evaluasi aturan dan pemberitahuan ditangani dengan menulis pemberitahuan PromQL di Cloud Monitoring yang sepenuhnya dijalankan di cloud, atau dengan menggunakan komponen evaluator aturan yang dijalankan secara lokal dan dikonfigurasi secara lokal yang menjalankan aturan dan pemberitahuan terhadap penyimpanan data Monarch global dan meneruskan pemberitahuan yang diaktifkan ke Prometheus AlertManager.
  • Penyimpanan data ditangani oleh Monarch, yang menyimpan semua data Prometheus selama 24 bulan tanpa biaya tambahan.

Grafana terhubung ke penyimpanan data Monarch global, bukan menghubungkan ke server Prometheus individual. Jika Anda telah mengonfigurasi kolektor Layanan Terkelola untuk Prometheus di semua deployment, satu instance Grafana ini akan memberi Anda tampilan terpadu dari semua metrik di seluruh cloud.

Pengumpulan data

Anda dapat menggunakan Managed Service for Prometheus dalam salah satu dari empat mode: dengan pengumpulan data terkelola, dengan pengumpulan data yang di-deploy sendiri, dengan OpenTelemetry Collector, atau dengan Agen Operasional.

Managed Service for Prometheus menawarkan operator untuk pengumpulan data terkelola di lingkungan Kubernetes. Sebaiknya gunakan koleksi terkelola. Jika koleksi ini digunakan, deployment, penskalaan, sharding, konfigurasi, dan pemeliharaan server Prometheus akan dihilangkan. Koleksi terkelola didukung untuk lingkungan Kubernetes GKE dan non-GKE.

Dengan pengumpulan data yang di-deploy sendiri, Anda dapat mengelola penginstalan Prometheus seperti biasa. Satu-satunya perbedaan dari Prometheus upstream adalah Anda menjalankan biner pengganti drop-in Managed Service for Prometheus, bukan biner Prometheus upstream.

OpenTelemetry Collector dapat digunakan untuk melakukan scraping pengekspor Prometheus dan mengirim data ke Managed Service for Prometheus. OpenTelemetry mendukung strategi agen tunggal untuk semua sinyal, dengan satu kolektor dapat digunakan untuk metrik (termasuk metrik Prometheus), log, dan trace di lingkungan mana pun.

Anda dapat mengonfigurasi Agen Operasional pada instance Compute Engine apa pun untuk melakukan scraping dan mengirim metrik Prometheus ke penyimpanan data global. Penggunaan agen akan sangat menyederhanakan penemuan VM dan menghilangkan kebutuhan untuk menginstal, men-deploy, atau mengonfigurasi Prometheus di lingkungan VM.

Jika memiliki layanan Cloud Run yang menulis metrik Prometheus atau metrik OTLP, Anda dapat menggunakan file bantuan dan Managed Service for Prometheus untuk mengirimkan metrik ke Cloud Monitoring.

Anda dapat menjalankan kolektor terkelola, yang di-deploy sendiri, dan OpenTelemetry di deployment lokal dan di cloud apa pun. Kolektor yang berjalan di luar Google Cloud mengirim data ke Monarch untuk penyimpanan jangka panjang dan pembuatan kueri global.

Saat memilih di antara opsi koleksi, pertimbangkan hal-hal berikut:

  • Koleksi terkelola:

    • Pendekatan yang direkomendasikan Google untuk semua lingkungan Kubernetes.
    • Di-deploy menggunakan UI GKE, gcloud CLI, kubectl CLI, atau Terraform.
    • Pengoperasian Prometheus—membuat konfigurasi scrape, penyerapan penskalaan, aturan pencakupan ke data yang tepat, dan sebagainya—ditangani sepenuhnya oleh operator Kubernetes.
    • Scraping dan aturan dikonfigurasi menggunakan resource kustom (CR) yang ringan.
    • Cocok bagi mereka yang menginginkan pengalaman yang lebih otomatis dan terkelola sepenuhnya.
    • Migrasi intuitif dari konfigurasi prometheus-operator.
    • Mendukung sebagian besar kasus penggunaan Prometheus terbaru.
    • Bantuan penuh dari dukungan teknis Google Cloud.

  • Koleksi yang di-deploy sendiri:

    • Pengganti siap pakai untuk biner Prometheus upstream.
    • Anda dapat menggunakan mekanisme deployment pilihan Anda, seperti prometheus-operator atau deployment manual.
    • Scraping dikonfigurasi menggunakan metode pilihan Anda, seperti anotasi atau operator prometheus.
    • Penskalaan dan sharding fungsi dilakukan secara manual.
    • Cocok untuk integrasi cepat ke dalam penyiapan yang ada yang lebih kompleks. Anda dapat menggunakan kembali konfigurasi yang ada serta menjalankan Prometheus upstream dan Managed Service for Prometheus secara berdampingan.
    • Aturan dan pemberitahuan biasanya dijalankan dalam setiap server Prometheus, yang mungkin lebih cocok untuk deployment edge karena evaluasi aturan lokal tidak menimbulkan traffic jaringan apa pun.
    • Mungkin mendukung kasus penggunaan longtail yang belum didukung oleh koleksi terkelola, seperti agregasi lokal untuk mengurangi kardinalitas.
    • Bantuan terbatas dari dukungan teknis Google Cloud.

  • OpenTelemetry Collector:

    • Satu kolektor yang dapat mengumpulkan metrik (termasuk metrik Prometheus) dari lingkungan mana pun dan mengirimkannya ke backend mana pun yang kompatibel. Dapat juga digunakan untuk mengumpulkan log dan trace, serta mengirimkannya ke backend yang kompatibel, termasuk Cloud Logging dan Cloud Trace.
    • Di-deploy di lingkungan komputasi atau Kubernetes apa pun, baik secara manual maupun menggunakan Terraform. Dapat digunakan untuk mengirim metrik dari lingkungan stateless seperti Cloud Run.
    • Scraping dikonfigurasi menggunakan konfigurasi mirip Prometheus di penerima Prometheus kolektor.
    • Mendukung pola pengumpulan metrik berbasis push.
    • Metadata diinjeksikan dari cloud apa pun menggunakan pemroses detektor resource.
    • Aturan dan pemberitahuan dapat dijalankan menggunakan kebijakan pemberitahuan Cloud Monitoring atau evaluator aturan mandiri.
    • Best mendukung alur kerja dan fitur lintas sinyal seperti contoh.
    • Bantuan terbatas dari dukungan teknis Google Cloud.

  • Agen Operasional:

    • Cara termudah untuk mengumpulkan dan mengirim data metrik Prometheus yang berasal dari lingkungan Compute Engine, termasuk distro Linux dan Windows.
    • Di-deploy menggunakan gcloud CLI, UI Compute Engine, atau Terraform.
    • Scraping dikonfigurasi menggunakan konfigurasi mirip Prometheus di penerima Prometheus Agen, yang didukung oleh OpenTelemetry.
    • Aturan dan pemberitahuan dapat dijalankan menggunakan Cloud Monitoring atau evaluator aturan mandiri.
    • Dilengkapi dengan agen Logging opsional dan metrik proses.
    • Bantuan penuh dari dukungan teknis Google Cloud. Untuk memulai, lihat Memulai pengumpulan data terkelola, Memulai pengumpulan yang di-deploy sendiri, Memulai OpenTelemetry Collector, atau Memulai Agen Operasional.

Jika Anda menggunakan layanan terkelola di luar Google Kubernetes Engine atau Google Cloud, beberapa konfigurasi tambahan mungkin diperlukan; lihat Menjalankan koleksi terkelola di luar Google Cloud, Menjalankan koleksi yang di-deploy sendiri di luar Google Cloud, atau Menambahkan pemroses OpenTelemetry.

Evaluasi kueri

Google Cloud Managed Service for Prometheus mendukung semua UI kueri yang dapat memanggil API kueri Prometheus, termasuk Grafana dan UI Cloud Monitoring. Dasbor Grafana yang sudah ada akan terus berfungsi saat beralih dari Prometheus lokal ke Managed Service for Prometheus, dan Anda dapat terus menggunakan PromQL yang dapat ditemukan di repositori open source populer dan di forum komunitas.

Anda dapat menggunakan PromQL untuk membuat kueri lebih dari 6.500 metrik gratis di Cloud Monitoring, bahkan tanpa mengirim data ke Google Cloud Managed Service for Prometheus. Anda juga dapat menggunakan PromQL untuk membuat kueri metrik Kubernetes gratis, metrik kustom, dan metrik berbasis log.

Untuk mengetahui informasi tentang cara mengonfigurasi Grafana guna membuat kueri data Managed Service for Prometheus, lihat Membuat kueri menggunakan Grafana.

Untuk mengetahui informasi tentang cara membuat kueri metrik Cloud Monitoring menggunakan PromQL, lihat PromQL di Cloud Monitoring.

Evaluasi aturan dan pemberitahuan

Google Cloud Managed Service for Prometheus menyediakan pipeline pemberitahuan berbasis cloud sepenuhnya dan evaluator aturan mandiri, yang keduanya mengevaluasi aturan terhadap semua data Monarch yang dapat diakses dalam cakupan metrik. Dengan mengevaluasi aturan berdasarkan cakupan metrik multi-project, Anda tidak perlu lagi menempatkan semua data yang diinginkan di satu server Prometheus atau dalam satu project Google Cloud. Dengan begitu, Anda dapat menetapkan izin IAM pada beberapa grup project.

Karena semua opsi evaluasi aturan menerima format rule_files Prometheus standar, Anda dapat dengan mudah bermigrasi ke Managed Service for Prometheus dengan menyalin dan menempel aturan yang ada atau dengan menyalin aturan yang ditemukan di repositori open source populer. Bagi kolektor yang di-deploy sendiri, Anda dapat terus mengevaluasi aturan perekaman secara lokal di kolektor Anda. Hasil aturan perekaman dan pemberitahuan disimpan di Monarch, seperti data metrik yang dikumpulkan langsung. Anda juga dapat memigrasikan aturan pemberitahuan Prometheus ke kebijakan pemberitahuan berbasis PromQL di Cloud Monitoring.

Untuk evaluasi pemberitahuan dengan Cloud Monitoring, lihat Pemberitahuan PromQL di Cloud Monitoring.

Untuk evaluasi aturan dengan pengumpulan terkelola, lihat Evaluasi dan pemberitahuan aturan terkelola.

Untuk evaluasi aturan dengan koleksi yang di-deploy sendiri, OpenTelemetry Collector, dan Agen Operasional, lihat Evaluasi dan pemberitahuan aturan yang di-deploy sendiri.

Untuk mengetahui informasi tentang cara mengurangi kardinalitas menggunakan aturan perekaman pada kolektor yang di-deploy sendiri, lihat Kontrol dan atribusi biaya.

Penyimpanan data

Semua data Google Cloud Managed Service for Prometheus disimpan selama 24 bulan tanpa biaya tambahan.

Google Cloud Managed Service for Prometheus mendukung interval scrape minimum 5 detik. Data disimpan dalam perincian penuh selama 1 minggu, kemudian diturunkan sampelnya menjadi 1 menit selama 5 minggu berikutnya, kemudian dikurangi menjadi poin 10 menit dan disimpan selama sisa periode retensi.

Google Cloud Managed Service for Prometheus tidak memiliki batasan jumlah deret waktu aktif atau total deret waktu.

Untuk mengetahui informasi selengkapnya, baca artikel Kuota dan batas dalam dokumentasi Cloud Monitoring.

Penagihan dan kuota

Google Cloud Managed Service for Prometheus adalah produk Google Cloud, dan kuota penagihan serta penggunaan berlaku.

Penagihan

Penagihan untuk layanan ini terutama didasarkan pada jumlah sampel metrik yang diserap ke dalam penyimpanan. Ada juga biaya nominal untuk panggilan API baca. Google Cloud Managed Service for Prometheus tidak mengenakan biaya untuk penyimpanan atau retensi data metrik.

Kuota

Google Cloud Managed Service for Prometheus membagikan kuota penyerapan dan pembacaan dengan Cloud Monitoring. Kuota penyerapan default adalah 500 QPS per project dengan maksimal 200 sampel dalam satu panggilan, setara dengan 100.000 sampel per detik. Kuota baca default adalah 100 QPS per cakupan metrik.

Anda dapat meningkatkan kuota ini untuk mendukung volume kueri dan metrik. Untuk mengetahui informasi tentang cara mengelola kuota dan meminta penambahan kuota, lihat Bekerja dengan kuota.

Persyaratan Layanan dan kepatuhan

Google Cloud Managed Service for Prometheus adalah bagian dari Cloud Monitoring sehingga mewarisi perjanjian dan sertifikasi tertentu dari Cloud Monitoring, termasuk (tetapi tidak terbatas pada):

Langkah selanjutnya