Berikut adalah ringkasan tingkat tinggi tentang cara penagihan setiap kemampuan utama Dataplex Universal Catalog:

Paket gratis Dataplex Universal Catalog untuk Knowledge Catalog

Sebagai bagian dari Paket Gratis Google Cloud, Knowledge Catalog menawarkan beberapa resource gratis hingga batas tertentu. Batas penggunaan gratis ini tersedia selama dan setelah periode uji coba gratis. Jika Anda melampaui batas penggunaan ini dan tidak lagi dalam periode uji coba gratis, Anda akan dikenai biaya sesuai dengan harga yang dijelaskan pada bagian di atas.

Catatan: Paket gratis Knowledge Catalog hanya tersedia untuk SKU Pemrosesan Standar Dataplex Universal Catalog, dan tidak tersedia untuk SKU Pemrosesan Premium Dataplex Universal Catalog.

Tagihan DCU untuk setiap fitur dihitung sebagai berikut:

1. Pemindaian kualitas data otomatis:

• Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
• Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang telah Anda pindai, konfigurasi aturan kualitas data, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
• Untuk pemindaian deteksi anomali kualitas data, biaya DCU tidak berlaku. Sebagai gantinya, harga BigQuery standar untuk komputasi, penyimpanan, serta pelatihan, pemrosesan, dan deployment model BQML akan berlaku.
• Menggunakan identitas eksekusi kustom akan mengubah cara Anda ditagih untuk pemindaian. Saat Anda menentukan identitas eksekusi kustom, biaya komputasi dan penyimpanan yang terkait dengan pemindaian akan ditagih langsung ke project BigQuery Anda, tanpa melalui SKU Dataplex Premium standar.

2. Ada beberapa opsi untuk mengurangi biaya pemindaian kualitas data otomatis:

• Sampling
• Pemindaian inkremental
• Untuk memisahkan biaya kualitas data dari biaya lain di SKU pemrosesan premium Dataplex, pada laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_QUALITY.

3. Untuk memfilter biaya gabungan, gunakan label berikut yang tersedia di ekspor penagihan di BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Pemindaian pembuatan profil data:

• Penggunaan jam-DCU setara dengan pemrosesan yang terlibat dalam pembuatan profil data dan penghitungan metrik kualitas data. Biaya ini ditagih per detik, dengan minimum satu menit.
• Biaya bergantung pada jumlah baris, jumlah kolom, jumlah data yang dipindai, setelan partisi dan pengelompokan pada tabel, serta frekuensi pemindaian.
• Menggunakan identitas eksekusi kustom akan mengubah cara Anda ditagih untuk pemindaian. Saat Anda menentukan identitas eksekusi kustom, biaya komputasi dan penyimpanan yang terkait dengan pemindaian akan ditagih langsung ke project BigQuery Anda, tanpa melalui SKU Dataplex Premium standar.

5. Ada beberapa opsi untuk mengurangi biaya pemindaian profil data:

• Pengambilan sampel
• Pemindaian inkremental
• Pemfilteran kolom
• Pemfilteran baris
• Untuk memisahkan biaya pembuatan profil data dari biaya lain dalam SKU pemrosesan premium Dataplex, di laporan Penagihan Cloud, gunakan label goog-dataplex-workload-type dengan nilai DATA_PROFILE.

6. Untuk memfilter biaya gabungan, gunakan label berikut yang tersedia di ekspor penagihan di BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Aktivitas berikut dikenai biaya:

• Penguraian silsilah otomatis: menggunakan jam Unit Komputasi Data (DCU) berdasarkan kompleksitas pemrosesan. DCU mengukur kapasitas komputasi abstrak yang dialokasikan untuk melakukan penguraian. Konsumsi dihitung berdasarkan jumlah tugas, eksekusi tugas, dan jumlah link silsilah yang dibuat. 

Anda akan dikenai biaya ini jika sourceType Origin Data Lineage API ditetapkan ke nilai selain CUSTOM. Nilai seperti BIGQUERY, DATAPROC, atau COMPOSER menunjukkan bahwa silsilah diekstrak secara otomatis oleh Google Cloud dari log dan metadata layanan. Proses ekstraksi ini memerlukan resource komputasi (DCU), sehingga dapat ditagih. Sebaliknya, CUSTOM menunjukkan bahwa Anda telah melakukan penguraian sendiri dan hanya menyimpan hasilnya, yang tidak dikenai biaya.

Aktivitas berikut ini gratis:

• Pelaporan silsilah kustom: pelaporan silsilah dari sistem pihak ketiga atau integrasi kustom (dengan sourceType adalah CUSTOM) tidak dikenai biaya. Hal ini mencakup metode berikut:
• Memanggil ProcessOpenLineageRunEvent, yang memungkinkan Anda mengimpor peristiwa yang kompatibel dengan OpenLineage.
• Membuat LineageEvent menggunakan klien kustom untuk melaporkan peristiwa silsilah native secara manual.
• Proses dan operasi pelaporan: pelaporan metadata proses itu sendiri tidak dikenai biaya; biaya hanya berlaku untuk penguraian otomatis LineageEvents.
• Konsumsi Silsilah: mengambil silsilah (menggunakan metode Get atau List) dan menghapus silsilah (menggunakan metode Delete) tidak dikenai biaya.

Dalam contoh ini, Anda mengaktifkan silsilah data untuk melacak silsilah BigQuery di project Anda. Project ini berada di lokasi us-central1, dengan biaya satu jam DCU sebesar $0,089.

Pelaporan silsilah ke atau dari satu EntityReference memerlukan biaya sekitar 0,0056 jam DCU. EntityReference secara unik mengidentifikasi resource data dalam Google Cloud, seperti tabel BigQuery atau bucket Cloud Storage.

• Tugas harian: Anda menjalankan tugas BigQuery berikut sekali sehari selama 30 hari:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Hasil: Operasi ini menghasilkan link silsilah yang menghubungkan dua tabel sumber ke satu tabel target (3 entitas berbeda).

• Tugas dua hari sekali: Anda menjalankan tugas berikut dua hari sekali (15 kali sebulan):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Hasil: Operasi ini menghasilkan link silsilah yang menghubungkan tiga tabel sumber ke satu tabel target (4 entitas berbeda).

Penghitungan biaya

Untuk bulan ini, asumsikan 1 GiB metadata silsilah data telah dibuat. Biaya dihitung sebagai berikut:

• Tugas harian: 30 hari * 3 entity * ~0,0056 jam DCU * $0,089 ~= $0,045
• Tugas dua hari sekali: 15 hari * 4 entity * 0,0056 DCU-jam * $0,089 = $0,030
• Penyimpanan: (1 GiB - paket gratis 1 MiB) * $2,00 = $1,998

Total: ~$0,045 + $0,030 + $1,998 = ~$2,07

Silsilah dari Looker adalah silsilah waktu desain: Knowledge Catalog memperolehnya dari definisi model (misalnya, tampilan LookML dan Eksplorasi serta tabel BigQuery yang dirujuknya), bukan dari eksekusi tugas. Silsilah waktu desain ditagih berdasarkan SKU pemrosesan premium Dataplex yang sama dengan penguraian silsilah otomatis, tetapi konsumsi jam DCU dihitung secara berbeda:

• Biaya berlaku saat link atau proses silsilah pertama kali dilaporkan, dan setiap kali terjadi perubahan (misalnya, saat model Looker diubah dan dipublikasikan ulang). Tidak ada operasi dalam silsilah waktu desain, sehingga tidak ada biaya per peristiwa, mirip dengan pemrosesan silsilah berbasis peristiwa yang dijelaskan di atas.
• Pelaporan silsilah ke atau dari satu node memerlukan biaya sekitar 0,0325 jam DCU (sekitar $0,0029 di us-central1, dengan biaya satu jam DCU sebesar $0,089).
• Pengambilan dan penghapusan silsilah tetap gratis. Metadata silsilah dikenai biaya secara terpisah berdasarkan SKU penyimpanan metadata.

Penagihan untuk pemrosesan silsilah waktu desain Looker Core dimulai pada 1 Maret 2027. Silsilah Looker yang dilaporkan sebelum tanggal tersebut tidak dikenai biaya. Untuk memilih tidak ikut, lihat https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion yang berisi informasi tentang cara mengaktifkan atau menonaktifkan pemrosesan silsilah Looker Core.

Saat pengguna berinteraksi dengan Knowledge Catalog, panggilan API tidak dikenai biaya, termasuk:

• Membuat dan mengelola resource Dataplex Universal Catalog
• Membuat dan mengelola resource silsilah
• Penelusuran katalog

Bagian ini memberikan contoh cara menghitung biaya Dataplex Universal Catalog.

Aspek kecil

• Pengguna A membuat dan menerapkan aspek kecil (masing-masing 1.024 byte). Dengan $10 per bulan, pengguna dapat menyimpan 5 GiB metadata, yang setara dengan sekitar 5 juta aspek. Dengan asumsi satu aspek per tabel, jumlah totalnya adalah 5 juta tabel dengan aspek.
• Pengguna B membuat 5 juta aspek yang masing-masing berukuran 1 KB pada tanggal 10, dan menghapus aspek tersebut pada tanggal 20. Biayanya adalah $3,33, yang dihitung sebagai 5 GiB data dibagi sepertiga bulan: