Para que un conjunto de datos funcione como un producto, generalmente debe cumplir unos estándares de usabilidad específicos (que suelen derivar de los principios de la malla de datos). El simple hecho de que un archivo esté en un segmento de almacenamiento no es suficiente. Estas son las principales características que deben tener:

• Accesibles: los consumidores deben poder encontrar los datos de manera sencilla, normalmente a través de un catálogo centralizado o un buscador.
• Localizables: los datos deben tener una dirección única y permanente (URI) para que los desarrolladores puedan acceder a ellos de forma programática.
• Fiables: los datos deben ser fiables. Esto suele hacerse mediante acuerdos de nivel de servicio relativos a la actualización y la precisión de los datos.
• Autodescriptivos: los datos deben incluir metadatos que expliquen el esquema, el origen y el uso previsto, lo que reduce la necesidad de que los consumidores hagan preguntas al propietario.
• Seguros: las políticas de acceso deben estar vinculadas directamente al producto de datos, lo que garantiza que las medidas de seguridad se apliquen automáticamente independientemente de quién acceda a él.
• Interoperables: los datos deben cumplir los estándares internacionales para que se puedan combinar o analizar junto con productos de datos de otros dominios.

Para entender mejor el concepto de DaaP, vamos a ilustrar cómo se pueden implementar en la práctica los conceptos teóricos de DaaP usando Knowledge Catalog (anteriormente Dataplex) y BigQuery como sustrato tecnológico.

La situación: un desarrollador necesita crear un sistema de recomendaciones y requiere un conjunto de datos fiable sobre el historial de visualización de los usuarios.

En un entorno de DaaP, el desarrollador evita las consultas manuales. Utiliza Knowledge Catalog, que funciona como una plataforma central para el gobierno de datos para la IA. Al buscar "vistas de página de usuario" en el catálogo, encuentra un recurso registrado llamado ecommerce-user-activity. De esta forma, se cumple el requisito de que los datos sean accesibles.

Antes de escribir el código, el desarrollador revisa la entrada. Ve lo siguiente:

• Esquema: columnas definidas (por ejemplo, user_id, item_id o timestamp).
• Linaje: información que muestra de dónde proceden los datos.
• Métricas de calidad: una puntuación generada por análisis automatizados (por ejemplo, Knowledge Catalog AutoDQ) que confirma que el 99,9 % de las filas cumplen las reglas de calidad definidas. De esta forma, se cumple el requisito de que los datos sean fiables y autodescriptivos.

El desarrollador solicita acceso a través de la interfaz del catálogo. El propietario de los datos (un equipo de dominio específico) aprueba la solicitud y concede el rol de "visor de datos" para ese recurso concreto. De esta forma, se cumple el requisito de que los datos sean seguros.

Una vez que se le concede acceso, el desarrollador consulta el producto de datos directamente en BigQuery.

Como los datos se tratan como un producto, el desarrollador confía en que el esquema se mantenga estable (o en que se le notifiquen los cambios de versión), lo que permite que la aplicación se ejecute de forma fiable.

Para los desarrolladores que quieran pasar de crear datos ad hoc a desarrollar productos de datos gestionados, Knowledge Catalog ofrece un servicio específico para agrupar, gobernar y compartir recursos. El siguiente flujo de trabajo proporciona una base de referencia para el ciclo de vida gestionado.

1. Identifica y selecciona recursos: elige los recursos técnicos (como tablas de BigQuery, vistas autorizadas o modelos de IA) que respondan a una necesidad concreta de los consumidores. Estos recursos deben registrarse en Knowledge Catalog.
2. Crea el producto de datos: usa la consola de Knowledge Catalog para crear un recurso de producto de datos. Actúa como un contenedor lógico que agrupa tus recursos seleccionados en una sola unidad para que se puedan descubrir y compartir.
3. Añade contexto empresarial (aspectos): enriquece tu producto con metadatos añadiendo aspectos. Utiliza la plantilla de producto de datos para definir el nombre del producto, el objetivo empresarial, la propiedad y el uso previsto, de forma que el producto se describa por sí mismo para los consumidores.
4. Define la gobernanza y el acceso: configura los flujos de trabajo de aprobación y los roles necesarios para el producto. De esta forma, puedes gestionar las solicitudes de acceso de forma centralizada y asegurarte de que solo los usuarios autorizados puedan suscribirse al producto y hacer consultas.
5. Publica y comparte: una vez publicado, el producto de datos se puede encontrar en el catálogo para IA. Los consumidores pueden buscar el producto, consultar su documentación y sus métricas de calidad, y solicitar acceso para empezar a consultar los datos directamente en BigQuery.