Memvisualisasikan biaya dengan Looker Studio

Anda dapat menggabungkan ekspor data Penagihan Cloud ke BigQuery dengan Looker Studio untuk mendapatkan informasi terbaru seputar Google Cloud biaya.

Dokumen ini menunjukkan cara menyiapkan Dasbor insight penggunaan dan biaya penagihan dengan data Penagihan Cloud Anda. Anda dapat menggunakan dasbor untuk menjawab pertanyaan tentang pengeluaran Google Cloud , seperti Berapa banyak yang saya belanjakan untuk resource Compute Engine?, dan Lingkungan mana yang paling banyak menghabiskan biaya?.

Contoh visualisasi di Looker Studio

Anda dapat menyiapkan dasbor dengan mengikuti tutorial ini, atau menonton video berikut:

Membuat salinan dasbor

Terraform

Untuk membuat salinan dasbor Anda sendiri menggunakan Terraform, pertama-tama Anda harus meng-clone repositori GitHub yang mengotomatiskan proses ini. Langkah ini menggunakan Cloud Shell, yang merupakan lingkungan shell interaktif untuk Google Cloud yang dapat Anda gunakan dari browser. Cloud Shell dilengkapi dengan Terraform yang telah diinstal sebelumnya.

Pada tingkat tinggi, konfigurasi Terraform di repositori melakukan tugas berikut:

  • Membuat tampilan BigQuery baru yang mengambil data dari ekspor data biaya Standar Anda.
  • Menyalin template dasbor dan menghubungkan salinan tersebut ke tampilan BigQuery data Anda.
  • Memberi Anda link Looker Studio ke salinan Anda, yang dapat disimpan ke dasbor Looker Studio.
  • Memberi Anda Google Cloud ID akun layanan, yang Anda gunakan sebagai metode autentikasi untuk dasbor.

Ikuti langkah-langkah berikut untuk membuat dasbor:

  1. Buka repositori GitHub di Cloud Shell:

    Buka di Cloud Shell

  2. Buat file definisi variabel Terraform, dengan informasi tentang project dan set data BigQuery Anda. Gunakan perintah berikut untuk membuat file, yang disebut variables.tfvars:

    cat << EOF > variables.tfvars
 project-id  = "PROJECT_ID"
 bq-dashboard-dataset-name = "DATASET_NAME"
 bq-billing-export-table-id = "PROJECT_ID.DATASET_NAME.TABLE_ID"
 looker-studio-service-agent-name = "LOOKER_STUDIO_AGENT_NAME"
EOF

    Dengan variabel sebagai berikut:

    • PROJECT_ID: Project ID yang menghosting set data Penagihan Cloud Anda.
    • DATASET_NAME: Set data BigQuery yang berisi ekspor data biaya Standar.
    • TABLE_ID: Nama untuk tabel BigQuery yang berisi ekspor data penagihan Standar.
    • LOOKER_STUDIO_AGENT_NAME: Alamat email untuk agen layanan Looker Studio, yang Anda dapatkan dari halaman bantuan agen layanan Looker Studio

  3. Untuk melakukan inisialisasi repositori GitHub sebagai direktori kerja Terraform, jalankan perintah berikut:

    terraform init

  4. Jika ingin melihat pratinjau perubahan yang dilakukan konfigurasi Terraform, jalankan perintah terraform plan berikut:

    terraform plan -var-file=variables.tfvars

    Anda mungkin diminta untuk mengizinkan Cloud Shell melakukan panggilan API atas nama Anda.

  5. Tinjau perubahan Terraform, dan edit variables.tfvars jika Anda perlu mengubah nilai variabel. Setelah Anda siap membuat resource, jalankan perintah terraform apply berikut:

    terraform apply -var-file=variables.tfvars

    Setelah perintah berjalan, Anda akan mendapatkan akun layanan yang dibuat untuk autentikasi, dan link ke dasbor Looker Studio Anda.

  6. Salin nama akun layanan. Anda memerlukan informasi ini saat mengonfigurasi autentikasi untuk sumber data Looker Studio.

  7. Klik link Looker Studio untuk membuka dasbor.

  8. Di Looker Studio, klik Edit dan bagikan untuk menyimpan dasbor. Saat Anda diminta untuk meninjau setelan akses data, klik Pahami dan simpan.

  9. Jika Anda diminta untuk menambahkan data ke laporan, klik Tambahkan ke laporan.

Sekarang Anda dapat mengakses dasbor dari halaman beranda Looker Studio.

Python

Untuk membuat salinan dasbor Anda sendiri menggunakan Python, pertama-tama Anda harus meng-clone repositori GitHub yang mengotomatiskan proses ini. Langkah ini menggunakan Cloud Shell, yang merupakan lingkungan shell interaktif untuk Google Cloud yang dapat Anda gunakan dari browser.

Pada level tinggi, skrip penyiapan dalam repositori melakukan tugas berikut:

  • Membuat tampilan BigQuery baru di set data yang memiliki ekspor data biaya Standar Anda.
  • Menyalin template dasbor dan menghubungkan salinan tersebut ke tampilan BigQuery data Anda.
  • Memberi Anda link Looker Studio ke salinan Anda, yang dapat disimpan ke dasbor Looker Studio.

Ikuti langkah-langkah berikut untuk membuat dasbor:

  1. Buka repositori GitHub di Cloud Shell:

    Buka di Cloud Shell

  2. Buka direktori billboard:

    cd examples/billboard

  3. Jalankan perintah berikut untuk menyiapkan lingkungan Python untuk skrip:

    rm -rf bill-env
python3 -m venv bill-env
source bill-env/bin/activate
pip install -r requirements.txt

  4. Jalankan skrip yang membuat dasbor Anda. Anda mungkin perlu mengizinkan Cloud Shell untuk melakukan panggilan API atas nama Anda:

    python billboard.py \
  -pr 'PROJECT_ID' \
  -se 'STANDARD_BILLING_EXPORT_DATASET' \
  -bb 'BILLBOARD_DATASET'

    Dengan variabel sebagai berikut:

    • PROJECT_ID: Project ID yang menghosting set data Penagihan Cloud Anda.
    • STANDARD_BILLING_EXPORT_DATASET: Set data BigQuery yang berisi ekspor data biaya penggunaan Standar.
    • BILLBOARD_DATASET: Nama untuk set data BigQuery tempat tampilan BigQuery untuk dasbor dibuat, misalnya, example_dashboard_view. Jika Anda belum memiliki set data untuk tampilan, skrip akan membuat set data baru dengan nama ini.

    Setelah skrip selesai berjalan, Anda akan mendapatkan link Looker Studio ke dasbor.

  5. Klik link Looker Studio untuk membuka dasbor.

  6. Di Looker Studio, klik Edit dan bagikan untuk menyimpan dasbor. Saat diminta untuk menambahkan sumber data ke laporan, klik Tambahkan ke laporan.

Sekarang Anda dapat mengakses dasbor dari halaman beranda Looker Studio.

(Opsional) Mengonfigurasi kredensial sumber data

Secara default, dasbor Penggunaan penagihan menggunakan kredensial Anda untuk mengakses sumber data BigQuery. Jika Anda ingin membagikan dasbor kepada orang lain, sebaiknya gunakan akun layanan untuk mengautentikasi set data BigQuery, sehingga sumber data tidak bergantung pada kredensial Anda. Google Cloud

Jika Anda menggunakan Terraform untuk menyalin dasbor, Anda akan mendapatkan ID akun layanan saat menjalankan perintah terraform apply. Jika Anda menggunakan skrip Python, Anda harus membuat akun layanan secara manual dengan mengikuti langkah-langkah berikut:

  1. Dapatkan alamat email agen layanan Looker Studio dari halaman bantuan agen layanan Looker Studio.

  2. Buat akun layanan untuk agen layanan Looker Studio.

  3. Berikan izin berikut kepada akun layanan di project yang memiliki tampilan BigQuery untuk dasbor:

    • bigquery.dataViewer
    • bigquery.jobUser
    • iam.serviceAccountTokenCreator

Setelah Anda memiliki ID akun layanan, ikuti langkah-langkah berikut untuk menggunakan akun layanan untuk autentikasi:

  1. Dari halaman beranda Looker Studio, buka dasbor.

  2. Klik Edit untuk mengedit dasbor.

  3. Dari menu Aset, pilih Kelola sumber data yang ditambahkan. Nama sumber data untuk dasbor dimulai dengan billing-export-view.

  4. Dari kolom Tindakan untuk sumber data, klik Edit.

  5. Klik Kredensial data.

  6. Di halaman Perbarui kredensial data, pilih Kredensial akun layanan, lalu masukkan ID akun layanan.

  7. Klik Perbarui untuk menggunakan kredensial akun layanan.

  8. Klik Selesai untuk menyimpan perubahan pada sumber data.

  9. Untuk melihat dasbor, klik Lihat.

Memperbarui dasbor untuk menggunakan label organisasi Anda

Beberapa diagram di dasbor, seperti yang ada di halaman Cost Reporting: Labels, didasarkan pada label di resource Anda. Untuk melihat perincian biaya yang akurat menurut label tertentu, Anda harus mengubah filter default untuk menggunakan label Anda sendiri.

  1. Dari halaman beranda Looker Studio, buka dasbor.

  2. Klik Edit untuk mengedit dasbor.

  3. Dari menu Aset, pilih Kelola filter.

  4. Tinjau filter yang didasarkan pada labels.key dan project.labels.key, dan jika berlaku, klik Edit untuk mengubah kunci label menjadi kunci yang digunakan organisasi Anda.

    Misalnya, jika Anda menggunakan kunci label department untuk mengatur resource menurut unit bisnis, edit filter business_unit, dan ubah filter project.labels.key menjadi department.

  5. Klik Tutup untuk menyelesaikan pengeditan filter.

Menganalisis data di dasbor

Halaman di dasbor Looker Studio mengelompokkan data biaya Anda sehingga Anda dapat melihat ringkasan cepat tentang biaya dan tren, serta mendapatkan informasi mendetail tentang pembelanjaan Anda.

Di sebagian besar halaman, Anda dapat memfilter data menurut project, dan menggunakan kalender untuk memilih periode yang ingin Anda gunakan untuk menganalisis biaya.

Mendapatkan gambaran umum biaya

Gunakan halaman Ringkasan untuk melihat sekilas biaya bersih untuk bulan invoice saat ini dan sebelumnya, biaya untuk layanan teratas, dan biaya harian selama 30 hari terakhir.

Gunakan halaman Tren untuk membandingkan biaya Anda untuk periode yang berbeda, seperti bulan ini dan bulan lalu, atau kuartal ini dan kuartal lalu.

Gunakan halaman Analisis untuk menganalisis biaya dari waktu ke waktu, dan mengidentifikasi anomali seperti pembelanjaan yang sangat tinggi atau rendah.

Mengidentifikasi faktor biaya

Gunakan halaman berikut untuk menemukan tempat Anda paling banyak berbelanja:

  • Biaya menurut layanan per bulan
  • Biaya menurut project menurut bulan
  • Biaya menurut project, layanan, dan SKU
  • Biaya menurut wilayah

Untuk melihat biaya secara mendetail untuk setiap layanan, gunakan halaman khusus layanan. Misalnya, halaman Cluster GKE menampilkan biaya yang diperinci berdasarkan cluster dan namespace GKE Anda.

Mengidentifikasi peluang penghematan dengan diskon abonemen

Diskon abonemen (CUD) memberikan harga diskon sebagai imbalan atas komitmen Anda untuk menggunakan tingkat minimum resource selama jangka waktu tertentu.

Halaman CUD di dasbor menampilkan penggunaan Compute Engine, Cloud SQL, dan Memorystore Anda yang mungkin memenuhi syarat untuk CUD. Jika Anda sudah memiliki satu atau beberapa CUD, halaman ini hanya menampilkan penggunaan yang belum tercakup oleh CUD yang ada.

Melihat biaya untuk software Cloud Marketplace dan lisensi tambahan

Gunakan halaman Marketplace untuk melihat biaya software yang telah Anda beli dari Cloud Marketplace, seperti Google Cloud NetApp Volumes.

Gunakan halaman Lisensi untuk melihat jumlah yang Anda belanjakan untuk lisensi tambahan, seperti lisensi untuk Windows Server di Compute Engine, dan lisensi pihak ketiga yang telah Anda beli dari Cloud Marketplace.

Melihat biaya menurut label

Anda dapat menyesuaikan filter dasbor untuk menggunakan label organisasi Anda. Setelah memperbarui filter, Anda dapat menggunakan halaman berikut untuk melihat biaya di seluruh project dan folder:

  • Halaman Menurut aplikasi menampilkan biaya untuk semua resource dengan kunci label application. Misalnya, jika Anda memiliki aplikasi web dan seluler, dan memberi label pada resource-nya dengan application:web dan application:mobile, Anda dapat melihat biaya untuk setiap aplikasi secara terpisah.

  • Halaman Label menampilkan biaya untuk label tertentu, seperti pusat biaya dan kode bisnis. Jika menyesuaikan filter untuk dasbor, Anda dapat mengubah judul pada diagram untuk mencerminkan filter.

(Lanjutan) Mengubah data untuk beberapa akun Penagihan Cloud

Jika ingin dasbor menyertakan data dari beberapa akun Penagihan Cloud, Anda dapat mengubah tampilan BigQuery agar menyertakan ekspor data penagihan untuk semua akun Penagihan Cloud.

Sebelum memulai

Untuk setiap akun Penagihan Cloud yang ingin Anda sertakan, ikuti semua langkah dalam prasyarat tutorial.

Memperbarui tampilan BigQuery agar dapat menyertakan ekspor Penagihan Cloud tambahan

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Pilih project yang berisi set data yang Anda buat untuk dasbor.

  3. Di panel Explorer, luaskan project Anda, lalu luaskan set data.

  4. Klik tampilan billboard untuk melihat detailnya. Tampilan ini mengkueri ekspor data penggunaan dan biaya Standar.

  5. Klik tab Detail, lalu klik Edit Kueri. Kueri untuk tampilan terlihat mirip dengan berikut ini:

    SELECT *,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
   date(usage_end_time) AS date
from `PROJECT_ID.BILLING_ACCOUNT_EXPORT` s
WHERE date(usage_end_time) > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

    Dengan PROJECT_ID adalah project yang berisi ekspor data biaya Standar BigQuery untuk Penagihan Cloud, dan BILLING_ACCOUNT_EXPORT adalah nama tabel BigQuery dengan data biaya Standar Anda.

  6. Buat duplikat kueri yang ada, dan di klausa FROM, ganti project ID dan tabel BigQuery dengan informasi untuk akun Penagihan Cloud tambahan.

  7. Tambahkan operator UNION ALL di antara dua kueri untuk menggabungkan data. Kueri akhir Anda akan terlihat seperti contoh berikut, yang menggabungkan ekspor data untuk BILLING_ACCOUNT_1 dan BILLING_ACCOUNT_2, yang masing-masing ada di PROJECT_ID_1 dan PROJECT_ID_2.

    SELECT *, --query for BILLING_ACCOUNT_1
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  EXTRACT(DATE FROM _PARTITIONTIME) AS date
FROM `PROJECT_ID_1.BILLING_ACCOUNT_1_EXPORT` s
WHERE _PARTITIONTIME >"2021-01-01"
UNION ALL
SELECT *, --query for BILLING_ACCOUNT_2
COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
date(usage_end_time) AS date
from `PROJECT_ID_2.BILLING_ACCOUNT_2_EXPORT` s
WHERE date(usage_end_time) > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

  8. Ulangi langkah-langkah ini untuk tampilan billboard_detail yang mengkueri Data biaya dan penggunaan mendetail.

  9. Jika salah satu akun Anda menggunakan mata uang yang berbeda dengan USD, ulangi langkah-langkah ini, dan gunakan kolom currency_conversion_rate untuk mengonversi ke USD, seperti contoh berikut:

    select *,
  (COALESCE((SELECT SUM(x.amount)
  FROM UNNEST(s.credits) x),0))/currency_conversion_rate AS credits_sum_amount,
    (COALESCE((SELECT SUM(x.amount)
    FROM UNNEST(s.credits) x),0))/currency_conversion_rate + cost/currency_conversion_rate as net_cost,
    'USD' as net_cost_currency,
     PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
      date(usage_end_time) AS date
from `PROJECT_ID.BILLING_ACCOUNT_DATASET` s
WHERE date(usage_end_time) > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)