Affinché un set di dati funzioni come prodotto, in genere deve soddisfare standard di usabilità specifici (spesso derivati dai principi del data mesh). La semplice esistenza di un file in un bucket di archiviazione non è sufficiente. Le caratteristiche principali includono:

• Rilevabile: i consumatori devono essere in grado di trovare facilmente i dati, in genere tramite un catalogo centralizzato o un motore di ricerca.
• Indirizzabile: i dati devono avere un indirizzo univoco e permanente (URI) in modo che gli sviluppatori possano accedervi a livello di programmazione.
• Affidabile: i dati devono essere affidabili. Questo viene spesso applicato tramite accordi sul livello del servizio (SLA) relativi all'aggiornamento dei dati e all'accuratezza.
• Autodescrittivo: i dati devono contenere metadati che spieghino lo schema, l'origine e l'utilizzo previsto, riducendo la necessità per i consumatori di porre domande al proprietario.
• Sicuro: i criteri di accesso devono essere collegati direttamente al prodotto di dati, garantendo che la sicurezza venga applicata automaticamente indipendentemente da chi vi accede.
• Interoperabile: i dati devono rispettare gli standard globali, in modo da poter essere uniti o analizzati insieme ai prodotti di dati di altri domini.

Per comprendere meglio il DaaP, illustriamo come i concetti teorici del DaaP possono essere implementati praticamente utilizzando Knowledge Catalog (in precedenza Dataplex) e BigQuery come substrato tecnologico.

Lo scenario: uno sviluppatore deve creare un sistema di consigli e ha bisogno di un set di dati affidabile sulla cronologia di visualizzazione degli utenti.

In un ambiente DaaP, lo sviluppatore evita le richieste manuali. Utilizzano Knowledge Catalog, che funge da piattaforma centrale per la governance dei dati e dell'AI. Cercando "visualizzazioni di pagina utente" nel catalogo, trova un asset registrato denominato ecommerce-user-activity. In questo modo, il requisito di rilevabilità è soddisfatto.

Prima di scrivere il codice, lo sviluppatore esamina la voce. Vedono:

• Schema: colonne definite (ad esempio, user_id, item_id, timestamp).
• Derivazione: informazioni che mostrano da dove hanno avuto origine i dati.
• Metriche di qualità: un punteggio generato da scansioni automatizzate (ad esempio, Knowledge Catalog AutoDQ) che conferma che il 99,9% delle righe soddisfa le regole di qualità definite. In questo modo si soddisfano i requisiti di affidabilità e auto-descrizione.

Lo sviluppatore richiede l'accesso tramite l'interfaccia del catalogo. Il proprietario dei dati (un team di dominio specifico) approva la richiesta, concedendo il ruolo di "visualizzatore dei dati" per quella risorsa specifica. In questo modo, il requisito di sicurezza è soddisfatto.

Una volta concesso l'accesso, lo sviluppatore esegue una query sul prodotto dati direttamente in BigQuery.

Poiché i dati vengono trattati come un prodotto, lo sviluppatore fa affidamento sulla stabilità dello schema (o sulla notifica delle modifiche alla versione), consentendo all'applicazione di funzionare in modo affidabile.

Per gli sviluppatori che vogliono passare dalla creazione di dati ad hoc alla creazione di prodotti dati gestiti, Knowledge Catalog fornisce un servizio dedicato per il packaging, la governance e la condivisione degli asset. Il seguente flusso di lavoro fornisce una base per il ciclo di vita gestito.

1. Identifica e cura gli asset: seleziona le risorse tecniche, come tabelle BigQuery, viste autorizzate o modelli di AI, che soddisfano una specifica esigenza del consumatore. Queste risorse devono essere registrate in Knowledge Catalog.
2. Crea il prodotto dati: utilizza la console Knowledge Catalog per creare una nuova risorsa Prodotto dati. Funge da contenitore logico che raggruppa gli asset selezionati in un'unica unità per la scoperta e la condivisione.
3. Aggiungi il contesto aziendale (aspetti): arricchisci il tuo prodotto con i metadati aggiungendo gli aspetti. Utilizza il modello di prodotto dati per definire il nome del prodotto, lo scopo aziendale, la proprietà e l'utilizzo previsto, assicurandoti che il prodotto sia auto-descrittivo per i consumatori .
4. Definisci la governance e l'accesso: configura i flussi di lavoro di approvazione e i ruoli richiesti per il prodotto. Ciò ti consente di gestire le richieste di accesso in modo centralizzato, garantendo che solo gli utenti autorizzati possano sottoscrivere ed eseguire query sul prodotto.
5. Pubblica e condividi: una volta pubblicato, il prodotto di dati è rilevabile nel catalogo per l'AI. I consumatori possono cercare il prodotto, esaminarne la documentazione e le metriche di qualità e richiedere l'accesso per iniziare a eseguire query sui dati direttamente in BigQuery.