Mengekspor data Penagihan Cloud ke BigQuery

Ekspor Penagihan Cloud ke BigQuery memungkinkan Anda mengekspor data penagihan Google Cloud yang mendetail (seperti data penggunaan, perkiraan biaya, dan harga) secara otomatis sepanjang hari ke set data BigQuery yang Anda tentukan. Kemudian, Anda dapat mengakses data Penagihan Cloud dari BigQuery untuk memperoleh analisis yang mendetail, atau menggunakan alat seperti Looker Studio untuk memvisualisasikan data Anda. Anda juga dapat menggunakan metode ekspor ini untuk mengekspor data ke file JSON.

Ketepatan waktu adalah hal penting. Untuk mengakses kumpulan data penagihan Google Cloud yang lebih komprehensif untuk kebutuhan analisis Anda, sebaiknya aktifkan ekspor data Penagihan Cloud ke BigQuery bersamaan dengan saat membuat akun Penagihan Cloud.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Langkah berikutnya

Mengelola dan melaporkan biaya secara efektif merupakan bagian penting dalam pengelolaan keuangan, baik Anda menjalankan bisnis bernilai miliaran dolar atau anggaran rumah tangga kecil. Membuat keputusan berdasarkan data tentang biaya dan penggunaan Google Cloud dimulai dengan mengumpulkan data yang Anda perlukan sebagai dasar pengambilan keputusan tersebut.

Lihat panduan di bagian ini untuk mempelajari tugas-tugas berikut:

Menyiapkan ekspor data Penagihan Cloud ke BigQuery.

Untuk mulai mengumpulkan data Penagihan Cloud, Anda harus mengaktifkan ekspor data Penagihan Cloud ke BigQuery.

Panduan penyiapan ini memberikan rekomendasi praktik terbaik dan petunjuk mendetail untuk mengaktifkan ekspor data Penagihan Cloud ke BigQuery. Berikut adalah jenis data Penagihan Cloud yang dapat Anda aktifkan untuk ekspor:

  • Data biaya penggunaan standar - Berisi informasi penggunaan biaya akun Penagihan Cloud standar, seperti ID akun, tanggal invoice, layanan, SKU, project, label, lokasi, biaya, penggunaan, kredit, penyesuaian, dan mata uang.

    Gunakan Ekspor penggunaan standar untuk menganalisis tren yang luas dalam data biaya Anda.

  • Data biaya penggunaan mendetail - Berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail. Mencakup semua yang ada dalam data biaya penggunaan standar ditambah data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan.

    Gunakan Ekspor penggunaan mendetail untuk menganalisis biaya di level resource, dan mengidentifikasi resource tertentu yang mungkin meningkatkan biaya. Ekspor mendetail mencakup informasi tingkat resource untuk produk berikut:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Fungsi Cloud Run
    • Cloud Run

    Untuk melihat informasi tentang GKE, aktifkan alokasi biaya dalam ekspor mendetail.

    Tinjau skema data biaya penggunaan mendetail untuk mendapatkan rekomendasi dan batasan lebih lanjut.

  • (Khusus reseller) Ekspor data penagihan ulang - Berisi informasi penggunaan biaya akun Penagihan Cloud mendetail di semua Akun Penagihan Reseller Anda yang dianotasi dengan atribut khusus Partner.

    Gunakan ekspor data Penagihan ulang untuk mengelola operasi penagihan bagi pelanggan Google Cloud Anda. Pelajari lebih lanjut Konfigurasi penetapan ulang harga yang memungkinkan Anda menghasilkan biaya pelanggan akhir.

  • Data harga - Berisi informasi harga akun Penagihan Cloud, seperti ID akun, layanan, SKU, produk, metadata geografis, unit harga, mata uang, agregasi, dan tingkat.

    Anda juga bisa mendapatkan data harga akun Penagihan Cloud dengan cara berikut:

Menggunakan BigQuery untuk menyimpan dan membuat kueri data Penagihan Cloud akan dikenakan biaya minimal. Untuk informasi lebih lanjut, lihat Biaya penggunaan.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Memahami tabel data Penagihan Cloud

Setelah Anda mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data Penagihan Cloud akan otomatis dibuat di set data BigQuery.

Untuk memahami skema data konten yang diekspor, lihat informasi referensi untuk konten data Penagihan Cloud yang diekspor ke setiap tabel dalam set data BigQuery.

Menemukan contoh kueri untuk data Penagihan Cloud

Untuk mendapatkan tips dan panduan menggunakan SQL guna menjalankan kueri pada data Penagihan Cloud Anda, lihat contoh kueri.

Di halaman contoh kueri, Anda akan menemukan berbagai contoh SQL, termasuk berikut ini:

Biaya penggunaan

Menggunakan BigQuery untuk menyimpan dan menganalisis data biaya dan penggunaan penagihan biasanya dikenai biaya minimal.

  • Pemuatan data ke dataset yang ditentukan tidak dikenakan biaya; tindakan ini memanfaatkan kumpulan sumber daya bersama milik BigQuery untuk memuat data dalam batch.
  • Saat mengekspor dan menganalisis data Penagihan Cloud dengan BigQuery, biaya yang terkait bergantung pada jumlah data yang Anda streaming, simpan, dan buat kueri.
  • Banyak operasi tabel berpartisi tersedia gratis, termasuk memuat data ke dalam partisi, menyalin partisi, dan mengekspor data dari partisi. Meskipun gratis, operasi ini tunduk pada kuota dan batas BigQuery.

Secara umum, membuat kueri tentang Ekspor biaya terperinci mungkin lebih mahal daripada membuat kueri tentang Ekspor standar. Untuk mengoptimalkan biaya, sebaiknya gunakan Ekspor standar untuk menganalisis tren biaya Anda, dan gunakan Ekspor detail untuk melacak biaya di tingkat resource, dan mengidentifikasi resource spesifik yang mungkin mendorong biaya Anda.

Untuk mengetahui perkiraan biayanya, lihat Memperkirakan biaya penyimpanan dan kueri.

Untuk mengetahui informasi selengkapnya tentang praktik terbaik dalam mengoptimalkan biaya di BigQuery, lihat Mengontrol biaya di BigQuery.

Untuk mengetahui harga selengkapnya, baca harga BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

  • Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud

    Set data BigQuery dikonfigurasi untuk menggunakan lokasi, baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

    Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

    Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

    Amerika Asia Pasifik Eropa

    Multi-region: AS

    Regions:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regions:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multi-region: EU

    Regions:

    • europe-central2 (Warsawa)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgia)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Belanda)
    • europe-west6 (Zurich)

  • Untuk set data BigQuery yang berisi data biaya penggunaan standar atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasikan di set data memengaruhi waktu saat data penagihan Google Cloud diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), set data tersebut akan menyertakan data penagihan Google Cloud yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, data penagihan Google Cloud ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan standar dan detail data biaya penggunaan hanya mencerminkan data penagihan Google Cloud yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, data penagihan Google Cloud tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan data penagihan Google Cloud yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, data harga Google Cloud tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Saat mengekspor data biaya penggunaan mendetail, ekspor mendetail akan otomatis menyertakan informasi tingkat resource tentang Compute Engine. Untuk melihat perincian biaya cluster Google Kubernetes Engine (GKE) dalam ekspor data mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

  • Enkripsi set data: Kunci enkripsi yang dikelola pelanggan (CMEK) tidak didukung saat mengekspor data penagihan ke BigQuery. Jika Anda mengaktifkan enkripsi CMEK untuk set data data penagihan, jenis enkripsi ini mencegah Penagihan Cloud menulis data penagihan ke tabel yang sesuai dalam set data tersebut. Sebagai gantinya, Anda harus mengaktifkan set data untuk menggunakan kunci milik dan dikelola Google.

  • Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan billing-export-bigquery@system.gserviceaccount.com akun layanan ekspor Penagihan Cloud akses penuh ke tabel menggunakan filter TRUE BigQuery. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Tag tingkat resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag telah ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

    Tag tingkat resource tersedia untuk resource berikut:

    • Instance Compute Engine
    • Instance Spanner
    • Layanan Cloud Run
    • Repositori Artifact Registry

  • Jika Anda menggunakan Kontrol Layanan VPC, ekspor BigQuery Anda mungkin akan diblokir. Untuk mengatasinya, Anda harus mengecualikan VPC secara manual.

Berikutnya
Menyiapkan ekspor data penagihan ke BigQuery