Tagihan DCU untuk setiap fitur dihitung sebagai berikut:
- Kualitas data
Pemindaian kualitas data otomatis:
- Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
- Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang telah Anda pindai, konfigurasi aturan kualitas data, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
- Untuk pemindaian deteksi anomali kualitas data, biaya DCU tidak berlaku. Sebagai gantinya, harga BigQuery standar untuk komputasi, penyimpanan, serta pelatihan, pemrosesan, dan deployment model BQML akan berlaku.
- Menggunakan identitas eksekusi kustom akan mengubah cara Anda ditagih untuk pemindaian. Saat Anda menentukan identitas eksekusi kustom, biaya komputasi dan penyimpanan yang terkait dengan pemindaian akan ditagihkan langsung ke project BigQuery Anda, tanpa melalui SKU Dataplex Premium standar.
Ada beberapa opsi untuk mengurangi biaya pemindaian kualitas data otomatis:
Untuk memfilter biaya agregat, gunakan label berikut yang tersedia di ekspor penagihan di BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. Pembuatan profil data
Pemindaian pembuatan profil data:
- Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
- Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang dipindai, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
- Menggunakan identitas eksekusi kustom akan mengubah cara Anda ditagih untuk pemindaian. Saat Anda menentukan identitas eksekusi kustom, biaya komputasi dan penyimpanan yang terkait dengan pemindaian akan ditagihkan langsung ke project BigQuery Anda, tanpa melalui SKU Dataplex Premium standar.
Ada beberapa opsi untuk mengurangi biaya pemindaian profil data:
- Pengambilan sampel
- Pemindaian inkremental
- Pemfilteran kolom
- Pemfilteran baris
- Untuk memisahkan biaya pembuatan profil data dari biaya lain dalam SKU pemrosesan premium Dataplex, di laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_PROFILE
Untuk memfilter biaya agregat, gunakan label berikut yang tersedia di ekspor penagihan di BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. Silsilah data
Anda membayar dua hal: komputasi yang digunakan oleh pelaporan silsilah otomatis dari sistem Google Cloud yang didukung (ditagih melalui SKU pemrosesan premium Dataplex, dalam jam DCU), dan penyimpanan metadata silsilah yang dihasilkan—proses, operasi, peristiwa silsilah, dan link—selama disimpan (secara default, 30 hari; ditagih melalui SKU penyimpanan metadata Knowledge Catalog, per GiB-bulan; lihat Harga penyimpanan metadata). Penagihan muncul di project tempat Anda menjalankan tugas.
Untuk memisahkan biaya silsilah data dari biaya lain dalam SKU penyimpanan metadata dan pemrosesan premium Dataplex, gunakan label goog-dataplex-workload-type dengan nilai LINEAGE pada laporan Penagihan Cloud.
Penggunaan yang dapat ditagih dan tidak dapat ditagih
Aktivitas berikut dikenai biaya:
- Penguraian silsilah otomatis: menggunakan jam Unit Komputasi Data (DCU) berdasarkan kompleksitas pemrosesan. DCU mengukur kapasitas komputasi abstrak yang dialokasikan untuk melakukan penguraian. Konsumsi dihitung berdasarkan jumlah tugas, eksekusi tugas, dan jumlah link silsilah yang dibuat.
- Penyimpanan metadata silsilah: metadata silsilah (proses, operasi, peristiwa silsilah, dan link) disimpan selama periode terbatas (secara default, 30 hari) dan ditagih berdasarkan SKU penyimpanan metadata selama disimpan. Biaya penyimpanan akan berhenti saat metadata habis masa berlakunya di akhir periode retensi atau saat Anda menghapusnya.
Anda akan dikenai biaya DCU jika sourceType Origin Data Lineage API ditetapkan ke nilai selain CUSTOM. Nilai seperti BIGQUERY, DATAPROC, atau COMPOSER menunjukkan bahwa silsilah diekstrak secara otomatis oleh Google Cloud dari log dan metadata layanan. Proses ekstraksi ini memerlukan resource komputasi (DCU), sehingga dikenai biaya. Sebaliknya, CUSTOM menunjukkan bahwa Anda telah melakukan penguraian sendiri, sehingga tidak ada biaya pemrosesan premium (DCU) yang berlaku; hasil yang disimpan tunduk pada harga penyimpanan metadata seperti metadata silsilah lainnya.
Aktivitas berikut ini gratis:
- Pelaporan silsilah kustom: pelaporan silsilah dari sistem pihak ketiga atau integrasi kustom (dengan sourceType adalah CUSTOM) tidak dikenai biaya pemrosesan premium. Harga penyimpanan metadata masih berlaku untuk silsilah yang disimpan. Hal ini mencakup metode berikut:
- Memanggil ProcessOpenLineageRunEvent, yang memungkinkan Anda mengimpor peristiwa yang kompatibel dengan OpenLineage.
- Membuat LineageEvent menggunakan klien kustom untuk melaporkan peristiwa silsilah native secara manual.
- Proses dan operasi pelaporan: pelaporan metadata proses itu sendiri tidak dikenai biaya; biaya hanya berlaku untuk penguraian otomatis LineageEvents.
- Konsumsi silsilah: mengambil silsilah (menggunakan metode Get atau List) dan menghapus silsilah (menggunakan metode Delete) tidak dikenai biaya.
Contoh penghitungan harga
Dalam contoh ini, Anda mengaktifkan silsilah data untuk melacak silsilah BigQuery di project Anda. Project ini berada di lokasi us-central1, dengan biaya satu jam DCU sebesar $0,089.
Melaporkan silsilah ke atau dari satu EntityReference memerlukan biaya sekitar 0,0056 jam DCU. EntityReference secara unik mengidentifikasi resource data dalam Google Cloud, seperti tabel BigQuery atau bucket Cloud Storage.
- Tugas harian: Anda menjalankan tugas BigQuery berikut sekali sehari selama 30 hari:
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
Hasil: Operasi ini menghasilkan link silsilah yang menghubungkan dua tabel sumber ke satu tabel target (3 entitas berbeda).
- Tugas dua hari sekali: Anda menjalankan tugas berikut dua hari sekali (15 kali sebulan):
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
Hasil: Operasi ini menghasilkan link silsilah yang menghubungkan tiga tabel sumber ke satu tabel target (4 entitas berbeda).
Penghitungan biaya
Untuk bulan ini, asumsikan 1 GiB metadata silsilah data telah dibuat. Biaya dihitung sebagai berikut:
- Tugas harian: 30 hari * 3 entity * ~0,0056 jam DCU * $0,089 ~= $0,045
- Tugas dua hari sekali: 15 hari * 4 entity * 0,0056 jam DCU * $0,089 = $0,030
- Penyimpanan: (1 GiB) * $2,00 = $1,998
Total: ~$0,045+$0,030+$1,998 = ~$2,07
Harga silsilah waktu desain (Looker Core)
Silsilah dari Looker adalah silsilah waktu desain: Knowledge Catalog memperolehnya dari definisi model (misalnya, tampilan LookML dan Jelajah serta tabel BigQuery yang dirujuknya), bukan dari eksekusi tugas. Silsilah waktu desain ditagih berdasarkan SKU pemrosesan premium Dataplex yang sama dengan penguraian silsilah otomatis, tetapi konsumsi jam DCU dihitung secara berbeda:
- Biaya berlaku saat link atau proses silsilah pertama kali dilaporkan, dan setiap kali terjadi perubahan (misalnya, saat model Looker diubah dan dipublikasikan ulang). Tidak ada operasi dalam silsilah waktu desain, sehingga tidak ada biaya per peristiwa, mirip dengan pemrosesan silsilah berbasis peristiwa yang dijelaskan di atas.
- Melaporkan silsilah ke atau dari satu node memerlukan biaya sekitar 0,0325 jam DCU (sekitar $0,0029 di us-central1, dengan biaya satu jam DCU sebesar $0,089).
- Pengambilan dan penghapusan silsilah tetap gratis. Metadata silsilah dikenai biaya secara terpisah berdasarkan SKU penyimpanan metadata.
Penagihan untuk pemrosesan silsilah waktu desain Looker Core dimulai pada 1 Maret 2027. Silsilah Looker yang dilaporkan sebelum tanggal tersebut tidak dikenai biaya. Untuk memilih tidak ikut, lihat https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion yang berisi informasi tentang cara mengaktifkan atau menonaktifkan pemrosesan silsilah Looker Core.
