Menyiapkan ekspor data Penagihan Cloud ke BigQuery.

Dokumen ini menjelaskan semua langkah penyiapan yang diperlukan untuk menyiapkan ekspor data Penyagihan Cloud ke BigQuery.

Untuk mengekspor data Penagihan Cloud ke BigQuery, lakukan langkah-langkah berikut:

  • Buat project tempat data Penagihan Cloud akan disimpan, dan aktifkan penagihan pada project (jika Anda belum melakukannya).
  • Konfigurasikan izin pada project dan di akun Penagihan Cloud.
  • Aktifkan BigQuery Data Transfer Service API (diperlukan untuk mengekspor data harga).
  • Buat set data BigQuery untuk menyimpan data.
  • Aktifkan ekspor data biaya dan harga Penagihan Cloud yang akan ditulis ke set data.

Dokumen ini akan memandu Anda melalui detail setiap langkah.

Tentang konsol Google Cloud

Konsol Google Cloud (kunjungi dokumentasi, buka konsol) adalah UI web yang digunakan untuk menyediakan, mengonfigurasi, mengelola, dan memantau sistem yang digunakan produk Google Cloud. Anda dapat menggunakan konsol Google Cloud untuk menyiapkan dan mengelola resource Penagihan Cloud dan Google Cloud.

Izin yang diperlukan untuk langkah ini

Untuk mengaktifkan dan mengonfigurasi ekspor data biaya penggunaan Penagihan Google Cloud ke set data BigQuery, Anda memerlukan izin berikut:

  • Untuk Penagihan Cloud, Anda memerlukan peran Billing Account Costs Manager atau peran Billing Account Administrator di akun Penagihan Cloud target.
  • Untuk BigQuery, Anda memerlukan peran BigQuery User untuk project Google Cloud yang berisi set data BigQuery yang akan digunakan untuk menyimpan data Penagihan Cloud.

Untuk mengaktifkan dan mengonfigurasi ekspor data harga Penagihan Cloud, Anda memerlukan izin berikut:

  • Untuk Penagihan Cloud, Anda memerlukan peran Billing Account Administrator di akun Penagihan Cloud target.
  • Untuk BigQuery, Anda memerlukan peran BigQuery Admin untuk project Google Cloud yang berisi set data BigQuery yang akan digunakan untuk menyimpan data harga Penagihan Cloud.
  • Untuk project Google Cloud yang berisi set data target, Anda memerlukan izin resourcemanager.projects.update. Izin ini disertakan dalam peran roles/editor.

Anda mungkin juga memerlukan izin project lainnya. Jika Anda adalah anggota Organisasi Google Cloud, untuk membuat project baru, Anda memerlukan peran Project Creator di Organisasi atau Folder. Secara khusus, untuk membuat project baru, Anda memerlukan izin berikut:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Untuk mengetahui informasi selengkapnya tentang izin Google Cloud, lihat:

Mengaktifkan ekspor data Penagihan Cloud ke BigQuery

Selesaikan lima langkah di bagian ini untuk mengaktifkan ekspor data Penagihan Cloud Anda ke BigQuery.

Untuk pengenalan singkat tentang cara mengaktifkan ekspor data penagihan dan menjalankan kueri contoh data Penagihan Cloud di BigQuery, ikuti tutorial interaktif untuk ekspor data penagihan ini.

Jika Anda adalah reseller, Anda dapat menyiapkan ekspor khusus reseller data penagihan Layanan Saluran menggunakan Partner Sales Console. Untuk melakukannya, ikuti langkah 1-4 di halaman ini untuk membuat set data project dan BigQuery Anda. Kemudian, untuk langkah 5, lihat Mengekspor data Layanan Saluran ke BigQuery untuk mengaktifkan ekspor.

1. Memilih atau Membuat project

Data Penagihan Cloud yang diekspor ke BigQuery terdapat dalam set data BigQuery. Set data dimuat dalam project Google Cloud yang Anda tentukan.

Sebaiknya buat dan gunakan project Google Cloud terpisah untuk menampung semua kebutuhan FinOps dan administrasi penagihan untuk akun Penagihan Cloud, termasuk data Penagihan Cloud yang diekspor. Pelajari lebih lanjut manfaat menggunakan project yang berfokus pada FinOps untuk kasus penggunaan administrasi penagihan Anda.

Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

Buka pemilih project

Pelajari lebih lanjut tentang membuat dan mengelola project.

2. Memverifikasi bahwa penagihan diaktifkan

Anda harus memastikan bahwa penagihan diaktifkan pada project Google Cloud yang Anda pilih untuk memuat set data, dan bahwa project Google Cloud telah ditautkan ke akun Penagihan Cloud yang sama yang berisi data yang ingin diekspor ke set data BigQuery.

3. Mengaktifkan BigQuery Data Transfer Service API

Jika ingin mengekspor data harga Penagihan Cloud ke BigQuery, Anda harus mengaktifkan BigQuery Data Transfer Service API. Jika tidak berencana mengekspor data harga Penagihan Cloud, Anda dapat langsung ke Langkah 4. Membuat set data BigQuery.

BigQuery Data Transfer Service API harus diaktifkan di project Google Cloud yang sama yang Anda gunakan untuk memuat set data BigQuery. Jika Anda mengikuti rekomendasi di bagian project, berarti ini adalah project Google Cloud FinOps atau administrasi penagihan Anda.

Untuk mengaktifkan BigQuery Data Transfer Service API, lakukan hal berikut:

  1. Login ke konsol Google Cloud dan buka halaman API.

    Buka halaman BigQuery Data Transfer Service API

  2. Di kiri atas halaman, pilih project. Anda harus mengaktifkan BigQuery Data Transfer Service API di project yang sama dengan yang Anda gunakan untuk memuat set data BigQuery. Jika Anda mengikuti rekomendasi di bagian project, berarti ini adalah project Google Cloud FinOps atau administrasi penagihan Anda.

  3. Di halaman BigQuery Data Transfer Service API, klik Aktifkan untuk mengaktifkan API di project yang Anda pilih.

Untuk informasi selengkapnya tentang mengaktifkan API, lihat dokumentasi Service Usage.

4. Membuat set data BigQuery

Sebelum mengaktifkan data Penagihan Cloud untuk diekspor ke BigQuery, Anda harus membuat setidaknya satu set data BigQuery untuk mengelola data yang diekspor. Anda dapat menggunakan set data yang sama untuk memuat data biaya penggunaan standar, data biaya penggunaan mendetail, dan data harga.

Set data dimuat dalam project Google Cloud yang Anda tentukan. Set data adalah penampung tingkat teratas yang digunakan untuk mengatur dan mengontrol akses ke tabel dan tampilan Anda. Tabel atau tampilan harus merupakan bagian dari set data, jadi Anda harus membuat minimal satu set data sebelum memuat data ke BigQuery.

Jika Anda menggunakan set data yang ada, tinjau batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery, seperti tidak dapat mengekspor data ke set data yang dikonfigurasi untuk menggunakan enkripsi kunci yang dikelola pelanggan, atau tidak dapat menggunakan set data yang dikonfigurasi dengan lokasi region yang tidak didukung.

Untuk membuat set data BigQuery, lakukan hal berikut:

  1. Login ke konsol Google Cloud dan buka halaman BigQuery.

    Buka halaman BigQuery

  2. Di menu drop-down project ( Project Saya ) di bagian atas halaman konsol Google Cloud, pilih project yang Anda siapkan untuk menampung set data Anda. Catat project ID, karena Anda akan menggunakannya pada langkah berikutnya.

  3. Di panel Penjelajah, di bagian project yang disematkan, klik ID project Anda untuk memperluas project agar dapat melihat set data yang ada dan kueri tersimpan.

  4. Di samping project ID, klik menu View actions (), lalu klik Create dataset. Panel Buat set data akan terbuka.

    1. Masukkan ID Set Data. Sebaiknya gunakan ID yang mencakup project, seperti all_billing_data, bukan ID khusus project.

    2. Pilih Lokasi data. Lokasi data menentukan multi-region atau region tempat data Anda disimpan. Semua tabel dalam set data ini memiliki lokasi yang sama.

      Sebaiknya pilih lokasi multi-region (Uni Eropa atau Amerika Serikat)**. Untuk ekspor data biaya penggunaan standar dan biaya penggunaan mendetail, lokasi yang Anda pilih dapat memengaruhi apakah data bulan sebelumnya akan ditambahkan ke set data secara retroaktif. Tinjau batasan untuk mengetahui informasi selengkapnya tentang lokasi set data dan ketersediaan data.

      Ekspor Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS). Namun, hanya subkumpulan lokasi set data region yang didukung untuk ekspor Penagihan Cloud ke BigQuery. Tinjau batasan untuk mengetahui informasi selengkapnya tentang lokasi set data.

      Setelah Anda membuat set data, lokasi tidak dapat diubah. Pelajari lokasi lebih lanjut.

    3. Pastikan opsi Aktifkan masa berlaku tabel dihapus.

      Jika Anda mengaktifkan akhir masa berlaku tabel dan memasukkan jumlah hari, setiap tabel baru yang dibuat dalam set data ini akan otomatis dihapus setelah jumlah hari yang ditentukan setelah dibuat.

    4. Di bagian Opsi tingkat lanjut, pastikan setelan Enkripsi yang dipilih adalah kunci enkripsi yang dikelola Google.

      Jangan gunakan opsi Kunci enkripsi yang dikelola pelanggan (CMEK). Enkripsi CMEK tidak didukung untuk mengekspor kumpulan data Penagihan Cloud ke BigQuery.

    5. Untuk menyimpan, klik Buat set data.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Jika Anda adalah reseller*, Anda dapat menggunakan kembali project dan set data yang sama yang baru saja dibuat saat mengaktifkan ekspor data penagihan Layanan Saluran khusus reseller.

5. Mengaktifkan ekspor Penagihan Cloud ke set data BigQuery

Anda mengaktifkan ekspor data Penagihan Cloud di bagian Penagihan Cloud pada konsol Google Cloud. Berikut adalah jenis data yang dapat Anda aktifkan untuk diekspor:

  • Data biaya penggunaan standar - Berisi informasi penggunaan biaya akun Penagihan Cloud standar, seperti ID akun, tanggal invoice, layanan, SKU, project, label, lokasi, biaya, penggunaan, kredit, penyesuaian, dan mata uang.

    Gunakan Ekspor penggunaan standar untuk menganalisis tren yang luas dalam data biaya Anda.

  • Data biaya penggunaan mendetail - Berisi informasi penggunaan biaya akun Penagihan Cloud yang mendetail. Mencakup semua yang ada dalam data biaya penggunaan standar ditambah data biaya tingkat resource, seperti virtual machine atau SSD yang menghasilkan penggunaan layanan.

    Gunakan Ekspor mendetail untuk menganalisis biaya pada tingkat resource, dan mengidentifikasi resource spesifik yang mungkin meningkatkan biaya Anda.

    Ekspor mendetail akan otomatis menyertakan informasi level resource tentang Compute Engine. Untuk melihat perincian biaya cluster Google Kubernetes Engine (GKE) dalam ekspor data mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

  • Data harga - Berisi informasi harga akun Penagihan Cloud, seperti ID akun, layanan, SKU, produk, metadata geografis, unit harga, mata uang, agregasi, dan tingkat.

Agar data biaya penggunaan atau harga Penagihan Cloud dapat diekspor ke BigQuery, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Ekspor penagihan.

    Buka halaman Ekspor penagihan

  2. Ketika diminta, pilih akun Penagihan Cloud yang data penagihannya ingin Anda ekspor. Halaman Ekspor penagihan akan terbuka untuk akun penagihan yang dipilih.

  3. Pada tab BigQuery Export, klik Edit setelan untuk setiap jenis data yang ingin diekspor. Setiap jenis data dikonfigurasi secara terpisah.

  4. Dari daftar Project, pilih project yang Anda siapkan untuk memuat set data BigQuery.

    Project yang Anda pilih digunakan untuk menyimpan data Penagihan Cloud yang diekspor di set data BigQuery.

    Untuk ekspor data biaya penggunaan standar dan mendetail, data Penagihan Cloud mencakup data penggunaan dan biaya untuk semua project Google Cloud yang dibayar oleh akun Penagihan Cloud yang sama.

    Untuk ekspor data harga, data Penagihan Cloud hanya menyertakan data harga khusus untuk akun Penagihan Cloud yang ditautkan ke project set data yang dipilih.

  5. Dari kolom ID Set Data, pilih set data yang Anda siapkan untuk berisi data Penagihan Cloud yang diekspor.

    Untuk semua jenis data Penagihan Cloud yang diekspor ke BigQuery, hal berikut berlaku:

    • BigQuery API diperlukan untuk mengekspor data ke BigQuery. Jika project yang dipilih belum mengaktifkan BigQuery API, Anda akan diminta untuk mengaktifkannya. Klik Aktifkan BigQuery API untuk mengaktifkan API.
    • Jika project yang dipilih tidak berisi set data BigQuery, Anda akan diminta untuk membuatnya. Jika perlu, ikuti langkah-langkah ini untuk membuat set data baru.
    • Jika Anda menggunakan set data yang ada, tinjau batasan yang mungkin memengaruhi ekspor data penagihan Anda ke BigQuery, seperti tidak dapat mengekspor data ke set data yang dikonfigurasi untuk menggunakan CMEK, atau tidak dapat menggunakan set data yang dikonfigurasi dengan lokasi region yang tidak didukung.

    Untuk ekspor data harga, BigQuery Data Transfer Service API diperlukan untuk mengekspor data ke BigQuery. Jika project yang dipilih belum mengaktifkan BigQuery Data Transfer Service API, Anda akan diminta untuk mengaktifkannya. Jika perlu, ikuti langkah-langkah berikut untuk mengaktifkan API.

  6. Klik Simpan.

Mengupdate data Penagihan Cloud yang akan diekspor

Setelah mengaktifkan data Penagihan Cloud untuk diekspor ke BigQuery, Anda dapat mengubah data mana yang diekspor dengan menonaktifkan atau mengaktifkan jenis yang berbeda.

Sebelum menonaktifkan ekspor data apa pun, tinjau batasan dan panduan ketersediaan data untuk mengetahui pengaruhnya terhadap data penagihan yang diekspor ke BigQuery.

Untuk menonaktifkan jenis Penagihan Cloud yang diekspor ke BigQuery, lakukan hal berikut:

  1. Pilih Nonaktifkan Ekspor Standar, Nonaktifkan Ekspor Mendetail, atau Nonaktifkan Ekspor Harga yang sesuai.
  2. Pilih Konfirmasi untuk menyimpan pilihan Anda.

Untuk mengaktifkan jenis Penagihan Cloud yang saat ini dinonaktifkan dan diekspor ke BigQuery, lihat Mengaktifkan data Penagihan Cloud Anda untuk diekspor ke BigQuery.

Tentang izin set data

Ekspor Penagihan Cloud ke BigQuery menggunakan akun layanan untuk mengelola izin set data.

Setelah Anda mengaktifkan ekspor Penagihan Cloud ke BigQuery, Google akan otomatis menambahkan akun layanan sebagai pemilik ke set data yang Anda tentukan. Akun layanan akan terlihat seperti ini:

  • Untuk set data biaya penggunaan Standar dan Mendetail: billing-export-bigquery@
  • Untuk set data Harga: cloud-account-pricing@cloud-account-pricing.

Akun layanan dimiliki dan dikelola oleh Google dan menyediakan izin yang diperlukan agar proses offline kami dapat membuat tabel dan menulis data Penagihan Cloud ke sana.

Lihat batasan yang dapat memengaruhi ekspor data penagihan Anda ke BigQuery.

Tabel data penagihan

Segera setelah mengaktifkan ekspor Penagihan Cloud ke BigQuery, tabel data penagihan akan otomatis dibuat dalam set data BigQuery. Untuk mempelajari lebih lanjut tabel BigQuery dan skema tabel ini, lihat Memahami tabel data yang dibuat secara otomatis di BigQuery.

Frekuensi pemuatan data

  • Saat Anda pertama kali mengaktifkan ekspor biaya penggunaan standar atau mendetail ke BigQuery, mungkin perlu waktu beberapa jam sampai Anda mulai melihat data biaya Google Cloud disebarkan ke set data BigQuery Anda. Data diekspor dalam urutan kronologis. Jika ekspor Anda dikonfigurasi untuk menyertakan data secara retroaktif dari bulan berjalan dan sebelumnya, mungkin perlu waktu hingga lima hari agar data yang diekspor sepenuhnya mengikuti data penggunaan Anda saat ini.
  • Saat pertama kali mengaktifkan ekspor harga ke BigQuery, mungkin perlu waktu hingga 48 jam untuk mulai melihat data harga Google Cloud Anda.

Pelajari lebih lanjut frekuensi pemuatan data ke tabel BigQuery.

Batasan

Pengeksporan data Penagihan Cloud ke BigQuery tunduk pada batasan berikut.

  • Lokasi set data BigQuery yang didukung untuk digunakan dengan data Penagihan Cloud

    Set data BigQuery dikonfigurasi untuk menggunakan lokasi, baik lokasi multi-region (Uni Eropa atau Amerika Serikat), atau lokasi region. Lokasi set data ditetapkan pada waktu pembuatan. Setelah set data dibuat, lokasinya tidak dapat diubah.

    Ekspor data Penagihan Cloud mendukung semua lokasi multi-region (EU atau AS), tetapi hanya sebagian dari lokasi region. Saat mengonfigurasi setelan ekspor Penagihan Cloud, jika Anda membuat atau memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang tidak didukung, saat mencoba menyimpan setelan ekspor, Anda akan melihat error Region set data tidak valid.

    Tabel berikut mencantumkan lokasi multi-region dan lokasi region yang didukung untuk digunakan dengan set data BigQuery yang berisi data Penagihan Cloud.

    Amerika Asia Pasifik Eropa

    Multi-region: AS

    Regions:

    • northamerica-northeast1 (Montréal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regions:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tokyo)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multi-region: EU

    Regions:

    • europe-central2 (Warsawa)
    • europe-north1 (Finlandia)
    • europe-west1 (Belgia)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Belanda)
    • europe-west6 (Zurich)

  • Untuk set data BigQuery yang berisi data biaya penggunaan standar atau data biaya penggunaan mendetail, jenis lokasi yang Anda konfigurasikan di set data memengaruhi waktu saat data penagihan Google Cloud diekspor ke set data:

    • Jika Anda mengonfigurasi set data untuk menggunakan lokasi multi-region (Uni Eropa atau Amerika Serikat), set data tersebut akan menyertakan data penagihan Google Cloud yang timbul dari awal bulan sebelumnya sejak Anda pertama kali mengaktifkan ekspor, kecuali Anda mengaktifkan kembali ekspor. Artinya, data penagihan Google Cloud ditambahkan secara retroaktif untuk bulan berjalan dan sebelumnya. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari agar data Penagihan Cloud retroaktif Anda selesai diekspor sebelum Anda mulai melihat data penggunaan saat ini.

    • Jika set data Anda dikonfigurasi untuk menggunakan lokasi region yang didukung, data biaya penggunaan standar dan detail data biaya penggunaan hanya mencerminkan data penagihan Google Cloud yang dikenakan mulai dari tanggal Anda mengaktifkan ekspor Penagihan Cloud, dan setelahnya. Artinya, data penagihan Google Cloud tidak ditambahkan secara retroaktif untuk lokasi set data non-multi-region, sehingga Anda tidak akan melihat data Penagihan Cloud dari sebelum mengaktifkan ekspor.

    • Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Set data BigQuery Anda yang berisi data harga hanya mengumpulkan data penagihan Google Cloud yang dikenakan dari tanggal Anda menyiapkan ekspor Penagihan Cloud, dan setelahnya. Artinya, data harga Google Cloud tidak ditambahkan secara retroaktif, sehingga Anda tidak akan melihat data harga Penagihan Cloud sebelum mengaktifkan ekspor. Untuk mengetahui detail selengkapnya, lihat Ketersediaan data.

  • Saat mengekspor data biaya penggunaan mendetail, ekspor mendetail akan otomatis menyertakan informasi tingkat resource tentang Compute Engine. Untuk melihat perincian biaya cluster Google Kubernetes Engine (GKE) dalam ekspor data mendetail, Anda juga harus mengaktifkan alokasi biaya untuk GKE.

  • Enkripsi set data: Kunci enkripsi yang dikelola pelanggan (CMEK) tidak didukung saat mengekspor data penagihan ke BigQuery. Jika Anda mengaktifkan enkripsi CMEK untuk set data data penagihan, jenis enkripsi ini mencegah Penagihan Cloud menulis data penagihan ke tabel yang sesuai dalam set data tersebut. Sebagai gantinya, Anda harus mengaktifkan set data untuk menggunakan kunci milik dan dikelola Google.

  • Jika ingin menggunakan keamanan tingkat baris BigQuery pada tabel yang berisi data yang diekspor, Anda harus memberikan billing-export-bigquery@ akun layanan ekspor Penagihan Cloud akses penuh ke tabel menggunakan filter TRUE BigQuery. Perintah berikut memberikan akses ke akun layanan Penagihan Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

  • Tag tingkat resource mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag telah ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

    Tag tingkat resource tersedia untuk resource berikut:

    • Instance Compute Engine
    • Instance Spanner
    • Layanan Cloud Run
    • Repositori Artifact Registry

  • Jika Anda menggunakan Kontrol Layanan VPC, ekspor BigQuery Anda mungkin akan diblokir. Untuk mengatasinya, Anda harus mengecualikan VPC secara manual.

Laporan biaya dan harga tersedia di konsol Google Cloud

Sebelumnya
Ringkasan ekspor data penagihan ke BigQuery
Berikutnya
Memahami tabel data penagihan di BigQuery