Memahami penggunaan resource cluster

Standar

---

Halaman ini menjelaskan cara menggunakan pengukuran penggunaan GKE untuk memahami profil penggunaan cluster Google Kubernetes Engine (GKE), dan mengaitkan penggunaan dengan masing-masing tim atau unit bisnis dalam organisasi Anda. Pengukuran penggunaan GKE tidak berdampak pada penagihan untuk project Anda; hal ini memungkinkan Anda memahami penggunaan sumber daya pada tingkat yang terperinci.

Catatan: Sebaiknya gunakan alokasi biaya GKE, bukan pengukuran penggunaan GKE. Dengan alokasi biaya GKE, Anda dapat mendistribusikan biaya cluster kepada penggunanya.

Ringkasan

Pengukuran penggunaan GKE melacak informasi tentang permintaan resource dan penggunaan resource yang sebenarnya dari beban kerja cluster Anda. Saat ini, pengukuran penggunaan GKE melacak informasi tentang CPU, GPU, TPU, memori, penyimpanan, dan traffic egress jaringan secara opsional. Anda dapat membedakan penggunaan resource dengan menggunakan namespace, label Kubernetes, atau kombinasi keduanya.

Data disimpan di BigQuery, tempat Anda dapat membuat kuerinya secara langsung atau mengekspornya untuk dianalisis dengan alat eksternal seperti Looker Studio.

Pengukuran penggunaan GKE berguna untuk skenario seperti berikut:

• Melacak permintaan resource per tenant dan konsumsi resource aktual dalam cluster multi-tenant tempat setiap tenant beroperasi dalam namespace tertentu.
• Menentukan konsumsi resource dari beban kerja yang berjalan di cluster tertentu, dengan menetapkan label unik ke objek Kubernetes yang terkait dengan beban kerja tersebut.
• Mengidentifikasi beban kerja yang permintaan resource-nya berbeda secara signifikan dengan konsumsi resource aktualnya, sehingga Anda dapat mengalokasikan resource dengan lebih efisien untuk setiap beban kerja.

Sebelum memulai

Sebelum memulai, pastikan Anda telah menjalankan tugas berikut:

• Aktifkan Google Kubernetes Engine API.
Aktifkan Google Kubernetes Engine API
• Jika ingin menggunakan Google Cloud CLI untuk tugas ini, instal lalu initialize gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan gcloud components update.
  Catatan: Untuk penginstalan gcloud CLI yang ada, pastikan untuk menyetel properti compute/region dan compute/zone. Dengan menetapkan lokasi default, Anda dapat menghindari error di gcloud CLI seperti berikut: One of [--zone, --region] must be supplied: Please specify location.

Batasan

Anda dapat menggunakan contoh kueri BigQuery dan template Looker Studio untuk menggabungkan data pengukuran penggunaan GKE dengan data penagihan Google Cloud yang diekspor di BigQuery. Dengan begitu, Anda dapat memperkirakan perincian biaya berdasarkan cluster, namespace, dan label.

Data pengukuran penggunaan GKE hanya sebagai saran, dan tidak memengaruhi tagihan Google Cloud Anda. Untuk data penagihan, invoice penagihan Google Cloud Anda adalah satu-satunya sumber ketepatan.

Batasan berikut berlaku:

• Diskon atau kredit kontrak khusus tidak diperhitungkan.
• Resource yang dibuat di luar cakupan GKE tidak dilacak berdasarkan namespace atau label.
• Hanya label dari objek Pod dan PersistentVolumeClaim yang dilacak dengan pelaporan penggunaan.
• Hanya PersistentVolumes yang disediakan secara dinamis yang didukung.
• Hanya jenis disk pd-standard dan pd-ssd yang didukung. Pengukuran penggunaan GKE dapat mencakup biaya untuk kedua jenis disk versi regional pada SKU yang sama.
• Looker Studio tidak mendukung visualisasi jenis mesin yang mampu melakukan bursting.
• Anda hanya dapat mengekspor data ke set data BigQuery yang ada dalam project yang sama dengan cluster Anda.
• Anda tidak boleh menggunakan port 27304, 47082, dan 47083, karena port ini direservasi oleh pelacakan traffic egress jaringan.
• Objek StorageClass kustom tidak didukung.
• Pengukuran traffic egress jaringan tidak didukung untuk node Windows Server.
• Pengukuran traffic egress jaringan tidak didukung untuk VPC Bersama atau Peering Jaringan VPC.
• Pengukuran traffic egress jaringan tidak didukung untuk cluster dengan lebih dari 150 node.

Prasyarat

Sebelum menggunakan pengukuran penggunaan GKE, Anda harus memenuhi prasyarat berikut:

• Untuk melacak konsumsi resource aktual, cluster harus menggunakan GKE 1.14.2-gke.3 atau versi yang lebih baru.
• Jika Anda menggunakan jenis mesin E2 atau N2, versi cluster harus berupa GKE 1.15.11-gke.9 atau yang lebih baru.
• Ekspor penagihan untuk BigQuery diaktifkan. Biaya terkait dengan penggunaan BigQuery.
• Perintah gcloud versi 250.0.0 atau yang lebih baru diperlukan. Gunakan gcloud --version untuk memeriksa.
• Anda harus mengaktifkan BigQuery API di project Google Cloud Anda. Jika Anda pertama kali mengaktifkan GKE setelah Juli 2018, API-nya sudah diaktifkan.

Aktifkan pengukuran penggunaan GKE

Untuk mengaktifkan pengukuran penggunaan GKE, Anda harus membuat set data BigQuery terlebih dahulu untuk satu cluster, beberapa cluster dalam project, atau seluruh project. Untuk mengetahui informasi selengkapnya tentang cara memilih pemetaan antara set data dan cluster, baca Memilih satu atau beberapa set data BigQuery.

Selanjutnya, Anda mengaktifkan pengukuran penggunaan GKE saat membuat cluster baru atau dengan memodifikasi cluster yang ada.

Jika ingin, Anda dapat membuat dasbor Looker Studio untuk memvisualisasikan penggunaan resource cluster Anda.

Membuat set data BigQuery

Agar dapat menggunakan pengukuran penggunaan untuk cluster dalam project Google Cloud Platform, Anda harus terlebih dahulu membuat set data BigQuery, lalu mengonfigurasi cluster untuk menggunakannya. Anda dapat menggunakan satu set data BigQuery untuk menyimpan informasi tentang penggunaan resource untuk beberapa cluster dalam project yang sama.

Buka Membuat Set Data untuk mengetahui detail selengkapnya. Tetapkan Default table expiration untuk set data ke Never agar masa berlaku tabel tidak berakhir. Jika masa berlaku tabel telah berakhir, tabel tersebut akan otomatis dibuat ulang sebagai tabel kosong.

Catatan: Fitur ini menulis ke set data BigQuery yang Anda berikan dengan akun layanan Google ([e-mail]) dan dengan Kubernetes Engine Peran Agen Layanan.

Peringatan: Jika Anda menghapus set data atau tabel BigQuery yang digunakan cluster untuk mencatat log GKE data pengukuran penggunaan, Cloud Logging menampilkan peringatan sementara seperti Failed to upload a record to BigQuery. Untuk mengatasi peringatan ini, buat ulang set data atau konfigurasi cluster untuk menggunakan set data yang berbeda. Data historis Anda akan hilang.

Mengaktifkan pengukuran penggunaan GKE untuk cluster

Anda dapat mengaktifkan pengukuran penggunaan GKE pada cluster baru atau yang sudah ada menggunakan perintah gcloud atau konsol Google Cloud.

Mengaktifkan pengukuran penggunaan GKE juga akan mengaktifkan pengukuran penggunaan resource secara default. Untuk menonaktifkan pengukuran konsumsi resource secara selektif sambil terus melacak permintaan resource, lihat petunjuk spesifik untuk mengaktifkan pengukuran penggunaan GKE menggunakan perintah gcloud dalam topik ini.

Pengukuran traffic egress jaringan dinonaktifkan secara default. Untuk mengaktifkannya, lihat peringatan dan petunjuk di bagian Opsional: Mengaktifkan pengukuran traffic egress jaringan dalam topik ini.

Membuat cluster baru

Anda dapat membuat cluster dengan menggunakan gcloud CLI atau Google Cloud Console.

gcloud

Untuk membuat cluster dengan pengukuran penggunaan GKE yang telah diaktifkan, jalankan perintah berikut:

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Ganti kode berikut:

• CLUSTER_NAME: nama cluster GKE Anda.
• RESOURCE_USAGE_DATASET: nama set data BigQuery Anda.

Pengukuran konsumsi resource diaktifkan secara default. Untuk menonaktifkannya dan hanya melacak permintaan resource, tambahkan flag --no-enable-resource-consumption- metering ke perintah sebelumnya. Anda juga harus mengubah contoh kueri pada bagian selanjutnya dalam topik ini agar tidak mengkueri penggunaan resource.

Catatan: Pengukuran traffic egress jaringan dinonaktifkan secara default. Untuk mengaktifkannya, lihat peringatan dan petunjuk di bagian Opsional: Mengaktifkan pengukuran traffic egress jaringan dalam topik ini.

Jika diperlukan, tabel yang diperlukan akan dibuat dalam set data BigQuery saat cluster dimulai.

Konsol

Untuk membuat cluster dengan pengukuran penggunaan GKE diaktifkan:

Catatan: Saat menggunakan Google Cloud Console, Anda tidak dapat mengaktifkan pengukuran penggunaan GKE saat menonaktifkan pengukuran konsumsi resource secara selektif. Jika Anda perlu melakukannya, gunakan petunjuk gcloud.

1. Buka halaman Google Kubernetes Engine di Konsol Google Cloud.

   Buka Google Kubernetes Engine

2. Klik Create.

3. Dari panel navigasi, pada bagian Cluster, klik Fitur.

4. Pilih Aktifkan pengukuran penggunaan GKE.

5. Masukkan nama set data BigQuery.

6. Opsional: pilih Aktifkan pengukuran traffic egress jaringan setelah meninjau peringatan dan petunjuk di bagian Opsional: Mengaktifkan pengukuran traffic egress jaringan.

7. Lanjutkan konfigurasi cluster Anda, lalu klik Create.

Mengonfigurasi cluster yang ada

gcloud

Untuk mengaktifkan pengukuran penggunaan GKE pada cluster yang ada, jalankan perintah berikut:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

Pengukuran konsumsi resource diaktifkan secara default. Untuk menonaktifkannya dan hanya melacak permintaan resource, tambahkan flag --no-enable-resource-consumption- metering ke perintah sebelumnya. Anda juga harus mengubah contoh kueri dalam bagian lain dalam topik ini agar tidak membuat kueri untuk konsumsi resource.

Catatan: Pengukuran traffic egress jaringan dinonaktifkan secara default. Untuk mengaktifkannya, lihat peringatan dan petunjuk di bagian Opsional: Mengaktifkan pengukuran traffic egress jaringan dalam topik ini.

Anda juga dapat mengubah set data yang digunakan cluster yang ada untuk menyimpan data pengukuran penggunaannya dengan mengubah nilai tanda --resource-usage-bigquery-dataset.

Jika diperlukan, tabel akan dibuat dalam set data BigQuery saat cluster diperbarui.

Konsol

Catatan: Saat menggunakan Google Cloud Console, Anda tidak dapat mengaktifkan pengukuran penggunaan GKE saat menonaktifkan pengukuran konsumsi resource secara selektif. Jika Anda perlu melakukannya, gunakan petunjuk gcloud.

1. Buka halaman Google Kubernetes Engine di Konsol Google Cloud.

   Buka Google Kubernetes Engine

2. Di samping cluster yang ingin diubah, klik Actions, lalu klik Edit.

3. Di bagian Features, klik Edit di samping Pengukuran penggunaan GKE.

4. Pilih Aktifkan pengukuran penggunaan GKE.

5. Masukkan nama set data BigQuery.

6. Opsional: pilih Aktifkan pengukuran traffic egress jaringan setelah meninjau peringatan dan petunjuk di bagian Opsional: Mengaktifkan pengukuran traffic egress jaringan.

7. Klik Simpan Perubahan.

Opsional: Aktifkan pengukuran traffic egress jaringan

Secara default, data egress jaringan tidak dikumpulkan atau diekspor. Mengukur egress jaringan membutuhkan agen pengukuran jaringan (NMA) yang dijalankan di setiap node. NMA dijalankan sebagai pod yang diistimewakan, menggunakan beberapa resource pada node (CPU, memori, dan kapasitas disk), dan mengaktifkan tanda nf_conntrack_acct sysctl pada kernel untuk penghitungan alur pelacakan koneksi.

Jika tidak keberatan dengan peringatan ini, Anda dapat mengaktifkan pelacakan traffic egress jaringan untuk digunakan dengan pengukuran penggunaan GKE. Untuk mengaktifkan pelacakan traffic egress jaringan, sertakan opsi --enable-network-egress-metering saat membuat atau memperbarui cluster Anda, atau pilih Aktifkan pengukuran traffic egress jaringan saat mengaktifkan pengukuran penggunaan GKE di Google Cloud Console.

Untuk menonaktifkan pengukuran traffic egress jaringan, tambahkan flag --no-enable-network-egress-metering saat memperbarui cluster Anda dengan command line. Atau, Anda dapat menghapus opsi Aktifkan pengukuran traffic egress jaringan di bagian pengukuran penggunaan GKE dalam cluster di Google Cloud Console.

Memastikan pengukuran penggunaan GKE sudah diaktifkan

Untuk memastikan bahwa pengukuran penggunaan GKE diaktifkan di cluster, dan untuk memastikan set data BigQuery mana yang menyimpan data penggunaan resource cluster, jalankan perintah berikut:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

Outputnya akan kosong jika pengukuran penggunaan GKE tidak diaktifkan, atau menampilkan set data BigQuery yang digunakan oleh cluster, seperti dalam contoh output berikut:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

Pilih satu atau beberapa set data BigQuery

Set data dapat menyimpan data pengukuran penggunaan GKE untuk satu atau beberapa cluster dalam project Anda. Penggunaan satu atau banyak set data bergantung pada kebutuhan keamanan Anda:

• Satu set data untuk seluruh proyek menyederhanakan administrasi.
• Dengan set data per cluster, Anda dapat mendelegasikan akses terperinci ke set data.
• Set data per grup cluster terkait memungkinkan Anda menemukan perpaduan kesederhanaan dan perincian yang tepat untuk kebutuhan Anda.

Visualisasikan data pengukuran penggunaan GKE menggunakan dasbor Looker Studio

Anda dapat memvisualisasikan data pengukuran penggunaan GKE menggunakan dasbor Looker Studio. Dengan begitu, Anda dapat memfilter data menurut nama cluster, namespace, atau label. Anda juga dapat menyesuaikan periode pelaporan secara dinamis. Jika memiliki pengalaman dengan Looker Studio dan BigQuery, Anda dapat membuat dasbor yang disesuaikan. Anda juga dapat meng-clone dasbor yang kami buat khusus untuk pengukuran penggunaan GKE.

Catatan: Anda mungkin melihat perbedaan antara data pengukuran penggunaan GKE dan data Penagihan Cloud karena latensi upload. Batch data Penagihan Cloud memerlukan waktu hingga 5 jam untuk muncul di BigQuery, sementara data pengukuran penggunaan GKE muncul di BigQuery kira-kira setiap jam.

Anda dapat menggunakan dasbor untuk memvisualisasikan permintaan dan konsumsi resource pada cluster Anda dari waktu ke waktu.

Catatan: Looker Studio tidak didukung oleh Cloud Customer Care. Untuk informasi selengkapnya, lihat Pusat Bantuan Looker Studio.

Prasyarat

1. Aktifkan Mengekspor data penagihan Google Cloud ke BigQuery jika belum diaktifkan.

   Selama proses ini, Anda akan membuat set data, tetapi tabel dalam set data dapat memerlukan waktu hingga 5 jam untuk muncul dan mulai diisi. Saat tabel muncul, namanya adalah gcp_billing_export_v1_BILLING_ACCOUNT_ID.

2. Aktifkan pengukuran penggunaan GKE setidaknya di satu cluster dalam project. Catat nama yang Anda pilih untuk set data BigQuery.

3. Aktifkan Looker Studio jika belum diaktifkan.

4. Kumpulkan informasi berikut, yang diperlukan untuk mengonfigurasi dasbor:

   • ID set data dan tabel data ekspor Penagihan Cloud
   • ID set data pengukuran penggunaan GKE

5. Pastikan Anda memiliki BigQuery CLI versi 2.0.58 atau yang lebih baru. Untuk memeriksa versi, jalankan bq version, dan gcloud components update untuk mengupdate BigQuery CLI Anda.

6. Perintah di bagian ini harus dijalankan di terminal Linux atau di Cloud Shell.

Membuat tabel perincian biaya BigQuery

1. Download salah satu template kueri berikut:

   • Jika Anda mengaktifkan pengukuran pemakaian, download this template.
   • Jika Anda tidak mengaktifkan pengukuran konsumsi, download this template.

   Jika Anda menggunakan Cloud Shell, salin file ini ke direktori tempat Anda menjalankan perintah berikut.

2. Jalankan perintah berikut untuk menetapkan variabel lingkungan:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
   export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
   export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
   export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
   export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
   export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
   export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
   

   Ganti kode berikut:

   • YOUR_BILLING_EXPORT_TABLE_PATH: jalur ke tabel ekspor penagihan yang dihasilkan. Tabel ini memiliki nama yang mirip dengan PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
   • YOUR_USAGE_METERING_PROJECT_ID: nama project Google Cloud Anda.
   • YOUR_USAGE_METERING_DATASET_ID: nama set data yang Anda buat di BigQuery, misalnya all_billing_data.
   • YOUR_USAGE_METERING_START_DATE: tanggal mulai kueri Anda dalam format YYYY-MM-DD.
   • YOUR_COST_BREAKDOWN_TABLE_ID: nama tabel baru yang Anda pilih, seperti usage_metering_cost_breakdown. Tabel ini digunakan sebagai input untuk Looker Studio.
   • YOUR_TEMPLATE_PATH: nama template kueri yang Anda download, baik usage_metering_query_template_request_and_consumption.sql atau usage_metering_query_template_request_only.sql.
   • YOUR_RENDERED_QUERY_PATH: nama jalur untuk kueri yang dirender yang Anda pilih, seperti cost_breakdown_query.sql.

   Sebagai contoh, variabel lingkungan Anda mungkin mirip dengan contoh berikut:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
   export USAGE_METERING_PROJECT_ID=my-billing-project
   export USAGE_METERING_DATASET_ID=all_billing_data
   export USAGE_METERING_START_DATE=2022-05-01
   export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
   export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
   export USAGE_METERING_QUERY=cost_breakdown_query.sql
   

3. Render kueri dari template:

   sed \
   -e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
   -e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
   -e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
   -e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
   "$USAGE_METERING_QUERY_TEMPLATE" \
   > "$USAGE_METERING_QUERY"
   

4. Buat tabel perincian biaya baru yang diperbarui setiap 24 jam:

   bq query \
   --project_id=$USAGE_METERING_PROJECT_ID \
   --use_legacy_sql=false \
   --destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
   --schedule='every 24 hours' \
   --display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
   --replace=true \
   "$(cat $USAGE_METERING_QUERY)"
   

   Untuk mengetahui informasi selengkapnya tentang penjadwalan kueri, lihat Menyiapkan kueri terjadwal.

Membuat sumber data BigQuery

1. Di Looker Studio, buka Sumber Data.
2. Klik Create, lalu klik Sumber data.
3. Pilih BigQuery.
4. Memberi nama sumber data Dari toolbar, klik kata Sumber Data Tanpa Judul untuk mengganti teks dengan nama deskriptif.
5. Pilih Kueri Kustom, lalu pilih ID project Anda.

6. Tempel kueri berikut ke dalam Query Editor:

   SELECT
     *
   FROM
     `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`
   

7. Klik Connect.

Membuat dasbor Looker Studio

1. Salin dasbor pengukuran penggunaan GKE ke project Anda.
2. Klik Opsi lainnya, lalu klik Buat salinan.
3. Pada dialog Salin laporan ini, dari daftar Sumber data baru, pilih sumber data yang Anda buat.
4. Klik Salin laporan.

Dasbor telah dibuat dan Anda dapat mengaksesnya kapan saja dalam daftar laporan Looker Studio untuk project Anda.

Menggunakan dasbor Looker Studio

Dasbor berisi beberapa laporan:

Perincian penggunaan

Laporan ini berisi rasio penggunaan cluster keseluruhan di antara semua cluster yang mengirim data pengukuran penggunaan ke sumber data BigQuery yang sama. Halaman ini juga berisi informasi mendetail tentang jenis resource seperti CPU, memori, atau traffic egress jaringan berdasarkan namespace. Anda dapat membatasi data laporan ke satu atau beberapa cluster atau namespace.

Perincian penggunaan dengan resource yang tidak dialokasikan

Laporan ini mirip dengan laporan perincian penggunaan, tetapi menyebarkan resource yang tidak teralokasi secara proporsional ke seluruh namespace. Resource yang tidak dialokasikan mencakup resource tidak ada aktivitas dan resource apa pun yang saat ini tidak dialokasikan oleh pengukuran penggunaan GKE ke tenant tertentu.

Tren biaya * telusuri perincian berdasarkan namespace

Tren penggunaan di antara semua cluster yang mengirimkan data pengukuran penggunaan ke sumber data BigQuery yang sama berdasarkan namespace. Anda dapat memilih satu atau beberapa cluster, namespace, resource, atau SKU individual.

Tren biaya * telusuri menurut label

Tren biaya di antara semua cluster yang mengirimkan data pengukuran penggunaan ke sumber data BigQuery yang sama. Anda dapat memilih satu atau beberapa cluster individual, resource, nama label, atau nilai label.

Pengukuran Berbasis Konsumsi

Tren konsumsi di antara semua cluster yang mengirim data pengukuran penggunaan ke sumber data BigQuery yang sama. Anda dapat memilih satu atau beberapa namespace, kunci label, atau nilai label masing-masing. Laporan ini hanya terisi jika pengukuran konsumsi resource diaktifkan di setidaknya satu cluster.

Catatan: Karena perbedaan frekuensi ketersediaan data antara pengukuran penggunaan dan Penagihan Cloud, data ditampilkan dasbor tidak pasti dan hanya bersifat informasi.

Anda dapat mengubah halaman menggunakan menu navigasi. Anda dapat mengubah jangka waktu untuk halaman menggunakan pemilih tanggal. Untuk membagikan laporan kepada anggota organisasi, atau untuk mencabut akses, klik Bagikan Laporan.

Setelah menyalin laporan ke project, Anda dapat menyesuaikannya menggunakan editor laporan Looker Studio. Meskipun template laporan yang disediakan oleh Google berubah, salinan Anda tidak akan terpengaruh.

Menjelajahi data pengukuran penggunaan GKE menggunakan BigQuery

Untuk melihat data tentang permintaan resource menggunakan BigQuery, buat kueri tabel gke_cluster_resource_usage dalam set data BigQuery yang relevan.

Untuk melihat data tentang konsumsi resource yang sebenarnya, buat kueri tabel gke_cluster_resource_consumption. Data konsumsi traffic keluar jaringan tetap ada di gke_cluster_resource_usage karena tidak ada konsep permintaan resource untuk traffic keluar.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan kueri di BigQuery, lihat Menjalankan kueri. Kolom di schema bersifat stabil, meskipun lebih banyak kolom dapat ditambahkan di masa mendatang.

Kueri ini adalah contoh sederhana. Sesuaikan kueri untuk menemukan data yang Anda butuhkan.

Kueri untuk permintaan resource

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

Kueri untuk konsumsi resource

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

Ganti kode berikut:

• CLUSTER_GCP_PROJECT: nama project Google Cloud yang berisi cluster yang ingin Anda kueri.
• USAGE_METERING_DATASET: nama tabel pengukuran penggunaan Anda.
• NAMESPACE: nama namespace Anda.

Contoh lainnya

Luaskan bagian berikut untuk melihat contoh yang lebih mendetail.

Cara mengkueri biaya, yang dikelompokkan berdasarkan namespace

Kueri ini mengabaikan penggunaan resource cluster jika informasi penagihan resource cloud yang terkait belum diekspor ke set data ekspor penagihan Google Cloud. Penundaan ini terjadi ketika jangka waktu data penggunaan resource cloud lebih cepat dari data terbaru pada data penagihan Google Cloud yang diekspor. Latensi untuk ekspor penagihan bisa hingga 5 jam.

Permintaan resource

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

Konsumsi sumber daya

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

Cara membuat kueri biaya dalam jangka waktu tertentu, yang dikelompokkan berdasarkan namespace dan label

Kueri ini menunjukkan biaya untuk jangka waktu tertentu, berdasarkan label namespace.

Permintaan resource menurut jangka waktu, yang dikelompokkan berdasarkan namespace dan label

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

Penggunaan resource menurut jangka waktu, dikelompokkan berdasarkan namespace dan label

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

Cara menampilkan konsumsi resource aktual sebagai persentase permintaan resource, dari waktu ke waktu

Kueri ini menampilkan rasio konsumsi CPU sebenarnya terhadap permintaan CPU, sehingga Anda dapat melihat Pod mana yang meminta terlalu sedikit atau terlalu banyak CPU dibandingkan dengan persyaratan sebenarnya.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC
  

Skema pengukuran penggunaan GKE di BigQuery

Tabel berikut ini menjelaskan skema untuk tabel pengukuran penggunaan GKE dalam set data BigQuery. Jika cluster Anda menjalankan versi GKE yang mendukung pengukuran konsumsi resource dan permintaan resource, tabel tambahan akan dibuat dengan skema yang sama.

Kolom	Jenis	Deskripsi
cluster_location	STRING	Nama zona atau region Compute Engine tempat cluster GKE berada.
cluster_name	STRING	Nama cluster GKE.
namespace	STRING	Namespace Kubernetes tempat penggunaan dihasilkan.
resource_name	STRING	Nama resource, seperti "cpu", "memory", dan "storage".
sku_id	STRING	ID SKU resource cloud Google Cloud yang mendasarinya.
start_time	TIMESTAMP	Stempel waktu UNIX saat penggunaan dimulai.
end_time	TIMESTAMP	Stempel waktu UNIX saat penggunaan berakhir.
fraction	FLOAT	Bagian resource cloud yang digunakan oleh penggunaan. Untuk resource cloud khusus yang hanya digunakan oleh satu namespace, fraksinya selalu 1,0. Untuk resource yang digunakan bersama oleh beberapa namespace, fraksinya dihitung sebagai jumlah yang diminta dibagi dengan total kapasitas resource cloud yang mendasarinya.
cloud_resource_size	INTEGER	Ukuran resource Google Cloud yang mendasarinya. Misalnya, ukuran vCPU pada instance n1-standard-2 adalah 2.
labels.key	STRING	Kunci label Kubernetes yang terkait dengan penggunaan.
labels.value	STRING	Nilai label Kubernetes yang terkait dengan penggunaan.
project.id	STRING	ID project tempat cluster GKE berada.
usage.amount	FLOAT	Jumlah usage.unit yang digunakan.
usage.unit	STRING	Unit dasar untuk pengukuran penggunaan resource. Misalnya, unit dasar untuk penyimpanan standar adalah byte-detik.

Unit untuk pengukuran penggunaan GKE harus ditafsirkan dengan cara berikut:

1. usage.unit CPU adalah detik, yang merupakan total waktu CPU yang diminta atau digunakan Pod. Misalnya, jika kita memiliki dua Pod yang masing-masing meminta 30 CPU dan berjalan selama 15 menit,jumlah gabungan tabel permintaan adalah 54000 detik (2 Pod * 30 CPU * 15 menit * 60 detik / menit).

2. Memori usage.unit adalah byte-detik, yang merupakan integral dari memori dari waktu ke waktu yang diminta atau digunakan Pod. Misalnya, jika kita memiliki dua Pod dengan setiap permintaan 30 GiB dan berjalan selama 15 menit, maka jumlah gabungan tabel permintaan adalah 5.798 + 13 byte-detik (2 Pod * 30 GiB * 15 menit * 60 detik / menit * 1073741824 byte / GiB).

Memahami kapan data pengukuran penggunaan GKE ditulis ke BigQuery

Ada dua kondisi saat pengukuran penggunaan GKE menulis catatan penggunaan ke metrik BigQuery:

1. Fase Pod berubah menjadi succeeded atau failed, atau saat Pod dihapus.

2. Stempel waktu jadwal per jam untuk menulis kumpulan data tercapai saat Pod masih berjalan.

   Pengukuran penggunaan GKE menghasilkan jadwal per jam saat menulis data penggunaan Pod ke BigQuery untuk semua Pod yang sedang berjalan. Stempel waktu jadwal tidak sama di semua cluster.

   Jika ada beberapa Pod yang berjalan pada stempel waktu tersebut, Anda akan menemukan beberapa data penggunaan dengan end_time yang sama. end_time data penggunaan ini menunjukkan stempel waktu jadwal per jam.

   Selain itu, jika Anda memiliki beberapa Pod yang telah berjalan selama beberapa jam, Anda juga memiliki kumpulan catatan penggunaan dengan end_time yang cocok dengan start_time kumpulan catatan penggunaan lainnya.

Nonaktifkan pengukuran penggunaan GKE

gcloud

Untuk menonaktifkan pengukuran penggunaan GKE di cluster, jalankan perintah berikut:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

Catatan: Set data BigQuery akan dipertahankan. Anda dapat menghapusnya jika tidak memerlukan data dan tidak ada cluster yang menggunakannya.

Konsol

1. Buka halaman Google Kubernetes Engine di Konsol Google Cloud.

   Buka Google Kubernetes Engine

2. Di samping cluster yang ingin diubah, klik Actions, lalu klik Edit.

3. Di bagian Features, klik Edit di samping Pengukuran penggunaan GKE.

4. Hapus centang Aktifkan pengukuran penggunaan GKE.

5. Klik Simpan Perubahan.

Langkah selanjutnya

• Pelajari multi-tenancy cluster lebih lanjut
• Pelajari Penagihan Cloud
• Pelajari Looker Studio