Di seguito è riportata una panoramica generale di come viene fatturata ogni funzionalità chiave di Dataplex Universal Catalog:

Livello senza costi di Dataplex Universal Catalog per Knowledge Catalog

Nell'ambito del livello senza costi di Google Cloud, Knowledge Catalog offre alcune risorse senza costi fino a un limite specifico. Questi limiti di utilizzo senza costi sono disponibili durante e dopo il periodo di prova senza costi. Se superi questi limiti di utilizzo e non sei più nel periodo di prova senza costi, ti verrà addebitato un importo in base ai prezzi descritti nelle sezioni precedenti.

Nota: il livello senza costi di Knowledge Catalog è disponibile solo per lo SKU Dataplex Universal Catalog Standard Processing e non per lo SKU Dataplex Universal Catalog Premium Processing.

I costi DCU per ogni funzionalità vengono calcolati come segue:

1. Scansioni della qualità dei dati automatica:

• Il consumo di ore DCU è proporzionale all'elaborazione necessaria per profilare i dati e calcolare le metriche di qualità dei dati. La fatturazione è al secondo, con un minimo di un minuto.
• L'addebito dipende dal numero di righe, dal numero di colonne, dalla quantità di dati analizzati, dalla configurazione delle regole di qualità dei dati, dalle impostazioni di partizionamento e clustering della tabella e dalla frequenza dell'analisi.
• Per le scansioni di rilevamento di anomalie della qualità dei dati, non si applicano addebiti per DCU. Si applicano invece i prezzi standard di BigQuery per calcolo, archiviazione e addestramento, elaborazione e deployment dei modelli BQML.
• L'utilizzo di un'identità di esecuzione personalizzata modifica il modo in cui ti viene addebitata la scansione. Quando specifichi un'identità di esecuzione personalizzata, i costi di calcolo e archiviazione associati alla scansione vengono fatturati direttamente al tuo progetto BigQuery, bypassando gli SKU Dataplex Premium standard.

2. Esistono diverse opzioni per ridurre il costo delle scansioni automatiche della qualità dei dati:

• Campionamento
• Scansioni incrementali
• Per separare gli addebiti per la qualità dei dati dagli altri addebiti nello SKU di elaborazione premium di Dataplex, nel report di fatturazione Cloud, utilizza l'etichetta goog-dataplex-workload-type con il valore DATA_QUALITY.

3. Per filtrare gli addebiti aggregati, utilizza le seguenti etichette disponibili nell'esportazione della fatturazione in BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Scansioni di profilazione dei dati:

• Il consumo di ore DCU è proporzionale all'elaborazione necessaria per profilare i dati e calcolare le metriche di qualità dei dati. La fatturazione è al secondo, con un minimo di un minuto.
• L'addebito dipende dal numero di righe, dal numero di colonne, dalla quantità di dati analizzati, dalle impostazioni di partizionamento e clustering della tabella e dalla frequenza dell'analisi.
• L'utilizzo di un'identità di esecuzione personalizzata modifica il modo in cui ti viene addebitata la scansione. Quando specifichi un'identità di esecuzione personalizzata, i costi di calcolo e archiviazione associati alla scansione vengono fatturati direttamente al tuo progetto BigQuery, bypassando gli SKU Dataplex Premium standard.

5. Esistono diverse opzioni per ridurre il costo delle scansioni di profilazione dei dati:

• Campionamento
• Scansioni incrementali
• Filtro delle colonne
• Filtro delle righe
• Per separare gli addebiti per la profilazione dei dati dagli altri addebiti nello SKU di elaborazione premium di Dataplex, nel report di fatturazione Cloud, utilizza l'etichetta goog-dataplex-workload-type con valore DATA_PROFILE.

6. Per filtrare gli addebiti aggregati, utilizza le seguenti etichette disponibili nell'esportazione della fatturazione in BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Le seguenti attività comportano addebiti:

• Analisi automatica della derivazione: consuma ore di unità di calcolo dei dati (DCU) in base alla complessità dell'elaborazione. Le DCU misurano la capacità di calcolo astratta allocata per eseguire l'analisi. Il consumo viene calcolato in base al numero di job, alle esecuzioni dei job e al numero di link di derivazione creati. 

Questi costi vengono addebitati quando il sourceType Origin dell'API Data Lineage è impostato su un valore diverso da CUSTOM. Valori come BIGQUERY, DATAPROC o COMPOSER indicano che la derivazione viene estratta automaticamente da Google Cloud dai log e dai metadati del servizio. Questo processo di estrazione richiede risorse di calcolo (DCU), motivo per cui è fatturabile. Al contrario, CUSTOM indica che hai eseguito l'analisi autonomamente e stai solo archiviando il risultato, che è senza costi.

Le seguenti attività sono senza costi:

• Reporting della derivazione personalizzata: il reporting della derivazione da sistemi di terze parti o integrazioni personalizzate (dove sourceType è CUSTOM) è senza costi. Sono inclusi i seguenti metodi:
• Chiamata a ProcessOpenLineageRunEvent, che consente di importare eventi compatibili con OpenLineage.
• Creazione di un LineageEvent utilizzando un client personalizzato per segnalare manualmente gli eventi di derivazione nativi.
• Segnalazione di processi ed esecuzioni: la segnalazione dei metadati del processo è senza costi; gli addebiti si applicano solo all'analisi automatica di LineageEvents.
• Consumo di derivazione: il recupero della derivazione (utilizzando i metodi Get o List) e l'eliminazione della derivazione (utilizzando i metodi Delete) sono senza costi.

In questo esempio, abiliti la derivazione dei dati per monitorare la derivazione per BigQuery nel tuo progetto. Il progetto si trova nella località us-central1, dove un'ora DCU costa 0,089 $.

La generazione di report sulla derivazione da o verso un EntityReference costa circa 0,0056 ore DCU. Un EntityReference identifica in modo univoco una risorsa di dati all'interno di Google Cloud, ad esempio una tabella BigQuery o un bucket Cloud Storage.

• Job giornaliero: esegui il seguente job BigQuery una volta al giorno per 30 giorni:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Risultato: questa operazione genera collegamenti di derivazione che connettono due tabelle di origine a una tabella di destinazione (3 entità distinte).

• Job a giorni alterni: esegui il seguente job a giorni alterni (15 volte al mese):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Risultato: questa operazione genera collegamenti di derivazione che connettono tre tabelle di origine a una tabella di destinazione (4 entità distinte).

Calcolo dei costi

Per questo mese, supponiamo che sia stato generato 1 GiB di metadati di derivazione dei dati. I costi vengono calcolati come segue:

• Job giornaliero: 30 giorni * 3 entità * ~0,0056 ore DCU * 0,089 $ ~= 0,045 $
• Job a giorni alterni: 15 giorni * 4 entità * 0,0056 ore DCU * 0,089 $ = 0,030 $
• Spazio di archiviazione: (1 GiB - 1 MiB di livello senza costi) * 2,00 $ = 1,998 $

Totale: ~0,045$+ 0,030 $+ 1,998 $= ~2,07$

La derivazione da Looker è una derivazione in fase di progettazione: Knowledge Catalog la ricava dalle definizioni del modello (ad esempio, viste LookML ed esplorazioni e le tabelle BigQuery a cui fanno riferimento) anziché dalle esecuzioni dei job. La derivazione in fase di progettazione viene fatturata con lo stesso SKU di elaborazione premium di Dataplex dell'analisi automatica della derivazione, ma il consumo di ore DCU viene calcolato in modo diverso:

• Gli addebiti vengono applicati la prima volta che viene segnalato un link o un processo di derivazione e ogni volta che cambia (ad esempio, quando il modello Looker viene modificato e ripubblicato). Non ci sono esecuzioni nella derivazione in fase di progettazione, quindi non ci sono addebiti per evento, in modo simile all'elaborazione della derivazione basata su eventi descritta sopra.
• La generazione di report sulla derivazione da o verso un nodo costa circa 0,0325 ore DCU (circa 0,0029 $in us-central1, dove un'ora DCU costa 0,089 $).
• Il recupero e l'eliminazione della derivazione rimangono senza costi. I metadati di derivazione vengono addebitati separatamente nell'ambito dello SKU di archiviazione dei metadati.

La fatturazione per l'elaborazione della derivazione in fase di progettazione di Looker Core inizia il 1° marzo 2027. La derivazione di Looker segnalata prima di questa data è senza costi. Per disattivare questa funzionalità, consulta https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion con informazioni sull'attivazione o sulla disattivazione dell'elaborazione della derivazione di Looker Core.

Quando gli utenti interagiscono con Knowledge Catalog, le chiamate API sono senza costi, tra cui:

• Creazione e gestione delle risorse Dataplex Universal Catalog
• Creazione e gestione delle risorse di derivazione
• Ricerca nel catalogo

Questa sezione fornisce esempi di come calcolare il costo di Dataplex Universal Catalog.

Aspetti di piccole dimensioni

• L'utente A crea e applica aspetti di piccole dimensioni (1024 byte ciascuno). Per 10 $al mese, l'utente può archiviare 5 GiB di metadati, che corrispondono a circa 5 milioni di aspetti. Supponendo un aspetto per tabella, si ottiene un totale di 5 milioni di tabelle con aspetti.
• L'utente B crea 5 milioni di aspetti da 1 KB ciascuno il 10 del mese ed elimina gli aspetti il 20. Il costo è di 3,33 $, calcolato come 5 GiB di dati divisi per un terzo di mese: