Memvisualisasikan biaya dengan Looker Studio

Anda dapat menggabungkan ekspor data Penagihan Cloud ke BigQuery dengan Looker Studio untuk mendapatkan informasi terbaru seputar biaya Google Cloud Anda.

Halaman ini menunjukkan cara menyiapkan Dasbor penggunaan dan insight biaya penagihan dengan data Penagihan Cloud Anda. Anda dapat menggunakan dasbor untuk menjawab berbagai pertanyaan tentang pengeluaran Google Cloud, seperti Berapa banyak yang saya belanjakan untuk resource Compute Engine?

Contoh visualisasi di Looker Studio

Anda dapat menyiapkan dasbor dengan mengikuti tutorial ini, atau menonton video berikut:

Tujuan

Tutorial ini menunjukkan cara menyelesaikan tugas-tugas berikut:

Siapkan salinan Dasbor penggunaan dan insight biaya penagihan Anda sendiri menggunakan Cloud Shell.
Pelajari cara mengubah tampilan dasbor untuk kasus lanjutan, misalnya jika Anda memiliki beberapa akun Penagihan Cloud, atau akun Penagihan Cloud dalam mata uang selain USD.

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

BigQuery

Biaya penyimpanan data Penagihan Cloud Anda di BigQuery biasanya gratis atau minimal. Bergantung pada ukuran set data BigQuery, Anda mungkin dikenai biaya saat membuat kueri data untuk analisis.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Siapkan ekspor data Penagihan Cloud ke BigQuery.

Untuk menggunakan dasbor, Anda harus mengaktifkan ekspor BigQuery untuk data penggunaan Penagihan Cloud Standar dan Terperinci.

Setelah Anda mengaktifkan ekspor data, perlu waktu sekitar satu hari agar set data diisi dengan data Penagihan Cloud. Anda mungkin melihat beberapa transfer data jaringan terlebih dahulu, lalu beberapa biaya VM, kemudian penggunaan Pub/Sub, dan seterusnya. Setelah memiliki data di set data, Anda dapat menjalankan kueri pada set data tersebut.

Perhatian: Ekspor data Penagihan Cloud hanya mencerminkan data penggunaan dan biaya Google Cloud yang dikenakan sejak tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Data penagihan Google Cloud tidak ditambahkan secara retroaktif sehingga Anda tidak akan melihat data Penagihan Cloud sebelum mengaktifkan ekspor. Sebaiknya aktifkan ekspor Penagihan Cloud ke BigQuery pada saat Anda membuat akun Penagihan Cloud sehingga Anda memiliki akses ke kumpulan data penagihan Google Cloud yang lebih komprehensif untuk kebutuhan analisis Anda.
Jika organisasi Anda sudah menyiapkan BigQuery Export, Anda harus memiliki izin untuk membuat tampilan BigQuery di project yang menghosting set data.

Opsi lain, jika ingin membuat set data baru untuk tampilan BigQuery, Anda harus memiliki izin untuk membuat set data BigQuery.
Dapatkan informasi berikut tentang lingkungan Google Cloud Anda:
- Project ID tempat set data BigQuery Penagihan Cloud Anda dihosting.
- Nama set data untuk ekspor data biaya Standar dan Terperinci. Biasanya, ekspor data biaya berada dalam set data yang sama.

Membuat salinan dasbor

Untuk membuat salinan dasbor Anda sendiri, pertama-tama Anda harus meng-clone repositori GitHub yang mengotomatiskan proses ini. Langkah ini menggunakan Cloud Shell, yang merupakan lingkungan shell interaktif untuk Google Cloud yang dapat Anda gunakan dari browser.

Pada level tinggi, skrip penyiapan dalam repositori melakukan tugas berikut:

Membuat set data BigQuery baru, dengan tampilan yang mengambil data dari ekspor data biaya Standar dan Terperinci Anda.
Menyalin template dasbor dan menghubungkan salinan tersebut ke tampilan BigQuery data Anda.
Memberi Anda link Looker Studio ke salinan Anda, yang dapat disimpan ke dasbor Looker Studio.

Untuk membuat salinan:

Buka repositori GitHub di Cloud Shell:
Buka direktori billboard:
```
cd examples/billboard
```

Jalankan perintah berikut untuk menyiapkan lingkungan Python untuk skrip:

rm -rf bill-env
pip install virtualenv
virtualenv bill-env
source bill-env/bin/activate
pip install -r requirements.txt

Jalankan skrip yang membuat dasbor Anda. Anda mungkin perlu mengizinkan Cloud Shell untuk melakukan panggilan API atas nama Anda:
```
python billboard.py \
  -pr 'PROJECT_ID' \
  -se 'STANDARD_BILLING_EXPORT_DATASET' \
  -de 'DETAILED_BILLING_EXPORT_DATASET' \
  -bb 'BILLBOARD_DATASET'
```
Dengan variabel sebagai berikut:
- PROJECT_ID: Project ID yang menghosting set data Penagihan Cloud Anda.
- STANDARD_BILLING_EXPORT_DATASET: Set data BigQuery yang berisi ekspor data biaya Standar.
- DETAILED_BILLING_EXPORT_DATASET: Set data BigQuery yang berisi ekspor data Biaya penggunaan yang Terperinci.
- BILLBOARD_DATASET: Nama untuk set data BigQuery tempat tampilan BigQuery untuk dasbor dibuat, misalnya, example_dashboard_views. Jika Anda belum memiliki set data untuk tampilan, skrip akan membuat set data baru dengan nama ini.
Setelah skrip selesai berjalan, Anda akan mendapatkan link Looker Studio ke dasbor.
Klik link Looker Studio untuk membuka dasbor.
Di Looker Studio, klik Edit dan bagikan untuk menyimpan dasbor. Saat diminta untuk menambahkan sumber data ke laporan, klik Tambahkan ke laporan.

Sekarang Anda dapat mengakses dasbor dari halaman beranda Looker Studio.

(Lanjutan) Mengubah data untuk beberapa akun Penagihan Cloud

Jika ingin dasbor menyertakan data dari beberapa akun Penagihan Cloud, Anda dapat mengubah tampilan BigQuery agar menyertakan ekspor data penagihan untuk semua akun Penagihan Cloud.

Sebelum memulai

Untuk setiap akun Penagihan Cloud yang ingin Anda sertakan, ikuti semua langkah dalam prasyarat tutorial.

Memperbarui tampilan BigQuery agar dapat menyertakan ekspor Penagihan Cloud tambahan

Di Konsol Google Cloud, buka halaman BigQuery.

Buka BigQuery
Pilih project yang berisi set data yang Anda buat untuk dasbor.
Di panel Explorer, luaskan project Anda, lalu luaskan set data.
Klik tampilan billboard untuk melihat detailnya. Tampilan ini mengkueri ekspor data penggunaan dan biaya Standar.

Klik tab Detail, lalu klik Edit Kueri. Kueri untuk tampilan terlihat mirip dengan berikut ini:

SELECT *,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
   _PARTITIONDATE AS date
from `PROJECT_ID.BILLING_ACCOUNT_EXPORT` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Dengan PROJECT_ID adalah project yang berisi ekspor data biaya Standar BigQuery untuk Penagihan Cloud, dan BILLING_ACCOUNT_EXPORT adalah nama tabel BigQuery dengan data biaya Standar Anda.

Buat duplikat kueri yang ada, dan di klausa FROM, ganti project ID dan tabel BigQuery dengan informasi untuk akun Penagihan Cloud tambahan.

Tambahkan operator UNION ALL di antara dua kueri untuk menggabungkan data. Kueri akhir Anda terlihat seperti contoh berikut, yang menggabungkan ekspor data untuk BILLING_ACCOUNT_1 dan BILLING_ACCOUNT_2, yang ada di PROJECT_ID_1 dan PROJECT_ID_2 masing-masing.

SELECT *, --query for BILLING_ACCOUNT_1
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  EXTRACT(DATE FROM _PARTITIONTIME) AS date
FROM `PROJECT_ID_1.BILLING_ACCOUNT_1_EXPORT` s
WHERE _PARTITIONTIME >"2021-01-01"
UNION ALL
SELECT *, --query for BILLING_ACCOUNT_2
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) AS credits_sum_amount,
  COALESCE((SELECT SUM(x.amount) FROM UNNEST(s.credits) x),0) + cost as net_cost,
  PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
   _PARTITIONDATE AS date
from `PROJECT_ID_2.BILLING_ACCOUNT_2_EXPORT` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Ulangi langkah-langkah ini untuk tampilan billboard_detail yang mengkueri Data biaya dan penggunaan mendetail.

Jika salah satu akun Anda menggunakan mata uang yang berbeda dengan USD, ulangi langkah-langkah ini, dan gunakan kolom currency_conversion_rate untuk mengonversi ke USD, seperti contoh berikut:

select *,
  (COALESCE((SELECT SUM(x.amount)
  FROM UNNEST(s.credits) x),0))/currency_conversion_rate AS credits_sum_amount,
    (COALESCE((SELECT SUM(x.amount)
    FROM UNNEST(s.credits) x),0))/currency_conversion_rate + cost/currency_conversion_rate as net_cost,
    'USD' as net_cost_currency,
     PARSE_DATE("%Y%m", invoice.month) AS Invoice_Month,
      _PARTITIONDATE AS date
from `PROJECT_ID.BILLING_ACCOUNT_DATASET` s
WHERE _PARTITIONDATE > DATE_SUB(CURRENT_DATE(), INTERVAL 13 MONTH)

Pembersihan

Jika Anda tidak ingin menggunakan dasbor lagi, buat clone repositori GitHub lalu jalankan skrip dasbor dengan opsi -clean. Skrip ini menghapus tampilan BigQuery, tetapi membiarkan set data BigQuery Export tetap utuh.

Buka repositori GitHub di Cloud Shell:
Buka direktori billboard:
```
cd examples/billboard
```

Jalankan perintah berikut untuk menyiapkan lingkungan Python untuk skrip:

pip install virtualenv
virtualenv bill-env
source bill-env/bin/activate
pip install -r requirements.txt

Jalankan perintah pembersihan:
```
python billboard.py \
  -pr 'PROJECT_ID' \
  -se 'STANDARD_BILLING_EXPORT_DATASET' \
  -de 'DETAILED_BILLING_EXPORT_DATASET' \
  -bb 'BILLBOARD_DATASET' \
  -clean yes
```
Dengan variabel sebagai berikut:
- PROJECT_ID: Project ID yang menghosting set data Penagihan Cloud Anda.
- STANDARD_BILLING_EXPORT_DATASET: Set data BigQuery yang berisi ekspor data biaya penggunaan Standar.
- DETAILED_BILLING_EXPORT_DATASET: Set data BigQuery yang berisi ekspor data Biaya penggunaan yang Terperinci.
- BILLBOARD_DATASET: Set data BigQuery tempat Anda membuat tampilan BigQuery untuk dasbor.
Untuk menghapus dasbor Looker Studio, buka Looker Studio, cari dasbor, lalu dari menu , klik Hapus.

Langkah selanjutnya

Memahami tabel data Penagihan Cloud di BigQuery.
Tinjau contoh kueri untuk ekspor data Penagihan Cloud Anda.
Baca cara menerapkan FinOps di Google Cloud, dan praktik terbaik untuk memantau biaya.
Tinjau kode yang membuat dasbor.