Introducción a la administración de atributos en Vertex AI

En el aprendizaje automático (AA), los atributos son atributos característicos de una instancia o entidad que puedes usar para entrenar modelos o hacer predicciones en línea. Los atributos se generan mediante la transformación de datos sin procesar del AA en atributos medibles y fáciles de compartir mediante técnicas de ingeniería de atributos, que en general se conocen como transformaciones de atributos.

La administración de atributos hace referencia al proceso de crear, mantener, compartir y entregar atributos del AA almacenados en una ubicación o repositorio centralizado. La administración de atributos facilita la reutilización de atributos para entrenar y volver a entrenar modelos, lo que reduce el ciclo de vida de las implementaciones de IA y AA.

Un producto o servicio que incluye servicios de administración de atributos para almacenar, descubrir, compartir y entregar atributos del AA se denomina tienda de funciones. Vertex AI incorpora los siguientes servicios de almacenamiento de atributos:

En esta página, se presentan y comparan los dos servicios de administración de funciones y se proporciona una descripción general de sus capacidades. También se describe cómo migrar una tienda de funciones existente en la Vertex AI Feature Store (heredada) a a nueva Vertex AI Feature Store.

Vertex AI Feature Store

Vertex AI Feature Store ofrece un enfoque nuevo para la administración de atributos, ya que te permite mantener y entregar los datos de tus atributos desde una fuente de datos de BigQuery. En este enfoque, Vertex AI Feature Store actúa como una capa de metadatos que proporciona capacidades de entrega en línea a la fuente de datos de atributos en BigQuery y te permite entregar atributos en línea según esos datos. No es necesario que copies o importes los datos a un almacén sin conexión independiente en Vertex AI.

Vertex AI Feature Store está integrado en Dataplex para realizar un seguimiento de los metadatos de los atributos. También admite incorporaciones y te permite realizar búsquedas de similitud vectorial para vecinos más cercanos.

Vertex AI Feature Store está optimizado para la entrega de latencia ultrabaja y te permite hacer lo siguiente:

  • Almacena y mantén los datos de tus atributos sin conexión en BigQuery y aprovecha las capacidades de administración de datos de BigQuery.

  • Agrega y reutiliza atributos en el registro de atributos

  • Entrega funciones para predicciones en línea con latencias bajas a través de la entrega en línea de Bigtable o con latencias ultrabajas a través de la entrega en línea optimizada.

  • Almacena incorporaciones en los datos de atributos y realiza búsquedas de similitud de vectores.

  • Realiza un seguimiento de los metadatos de atributos en Dataplex.

Para obtener más información sobre Vertex AI Feature Store, consulta la documentación de Vertex AI Feature Store.

Vertex AI Feature Store (heredado)

Vertex AI Feature Store (heredado) proporciona un repositorio centralizado para almacenar, organizar y entregar datos de los atributos de AA. Aprovisiona una jerarquía de recursos que encapsula un almacén en línea y un almacén sin conexión dentro de Vertex AI. En la tienda en línea, se entregan los valores de atributos más recientes para las predicciones en línea. El almacén sin conexión almacena y mantiene los datos de atributos (incluidos los datos históricos) que puedes entregar por lotes para entrenar modelos de AA.

Vertex AI Feature Store (heredado) es un servicio de administración de funciones completamente funcional que te permite hacer lo siguiente:

  • Importar por lotes o transmitir datos de atributos en el almacén sin conexión desde una fuente de datos, como un bucket de Cloud Storage o una fuente de BigQuery.

  • Entregar atributos en línea para realizar predicciones.

  • Entregar o exportar funciones por lotes para el entrenamiento o el análisis de modelos de AA.

  • Establecer las políticas de administración de identidades y accesos (IAM) en los recursos EntityType y Featurestore.

  • Administra recursos de la tienda de funciones desde la consola de Google Cloud.

Vertex AI Feature Store (heredado) no incluye las funciones de administración de incorporaciones ni de recuperación de vectores. Si necesitas administrar las incorporaciones en los datos de atributos o realizar búsquedas de similitud de vectores, considera cambiar a Vertex AI Feature Store. Para obtener información sobre la migración a Vertex AI Feature Store, consulta Migra a Vertex AI Feature Store.

Para obtener más información sobre Vertex AI Feature Store (heredado), consulta la documentación de Vertex AI Feature Store (heredado).

Comparación entre Vertex AI Feature Store y Vertex AI Feature Store (heredada)

En la siguiente tabla, se comparan los diversos aspectos de Vertex AI Feature Store (heredado) y la nueva Vertex AI Feature Store:

Categoría Vertex AI Feature Store Vertex AI Feature Store (heredado)
Modelos de datos
Jerarquía de recursos (tienda en línea y sin conexión) La jerarquía de recursos de la tienda en línea es la siguiente: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore contiene los parámetros de configuración solo para el almacenamiento y la recuperación en línea. Puede contener varios recursos FeatureView.
  • FeatureView es una agrupación lógica de atributos en una solicitud de entrega en línea. Es un solo recurso que reemplaza los tipos de entidades y los atributos. Los datos de una vista de atributos reflejan los valores de atributo más recientes en el almacenamiento de BigQuery.
No hay recursos de almacén sin conexión, ya que los datos residen en BigQuery. 		La jerarquía de recursos es la siguiente: Featurestore -> EntityType -> Feature
  • Featurestore contiene los parámetros de configuración para los almacenes en línea y sin conexión. Puede contener varios recursos EntityType.
  • EntityType es una colección de atributos relacionados de manera semántica. Puede tener varias instancias llamadas entidades, que pueden contener varios recursos Feature.
  • Feature es una propiedad o un atributo de un EntityType.
Jerarquía de recursos (registro de atributos) La jerarquía de recursos del registro de atributos es la siguiente: FeatureGroup -> Feature
  • FeatureGroup registra la ubicación de la fuente de datos de BigQuery. Puede contener varios recursos Feature.
  • Feature corresponde a una columna en la fuente de datos registrada con el grupo de atributos.
 No existe un registro de atributos en Vertex AI Feature Store (heredado).
Administración de funciones
Tiendas en línea y sin conexión Debes crear una instancia de tienda en línea y definir vistas de atributos.
Vertex AI Feature Store no requiere un almacén sin conexión independiente, ya que la fuente de datos de BigQuery constituye el almacén sin conexión. 		Cuando aprovisionas un almacén de atributos, Vertex AI Feature Store (heredado) crea almacenes independientes en línea y sin conexión.
Importación de atributos No es necesario importar datos a almacenes sin conexión, ya que los datos residen en BigQuery y se puede usar directamente para las necesidades sin conexión. Para los casos de uso de entrega en línea, puedes registrar una tabla de BigQuery o ver como una vista de atributo, que copia los datos de atributos en la tienda en línea. Vertex AI Feature Store actualiza los datos en el almacén en línea durante la sincronización de datos. Debes importar datos de atributos a almacenes en línea y sin conexión mediante la importación por lotes o la transmisión desde una fuente externa, como una tabla de BigQuery o una vista de BigQuery.
Transferencia de datos entre tiendas en línea y sin conexión Vertex AI Feature Store usa BigQuery como su almacén sin conexión y copia solo los valores de los atributos más recientes en el almacén en línea. No hay un almacén sin conexión independiente aprovisionado en Vertex AI. Los valores de los atributos se copian en el almacenamiento sin conexión y, luego, en el almacenamiento en línea.
Entrega de atributos
Entrega sin conexión Para interactuar con el almacén sin conexión, debes usar las API de BigQuery. Las capacidades subyacentes son las mismas. Para interactuar con el almacén sin conexión, que administra Vertex AI Feature Store (heredado), debe usar las API de Vertex AI. Algunos ejemplos de estas interacciones son las búsquedas de un momento determinado y las exportaciones de atributos.
Entrega en línea

Vertex AI Feature Store proporciona dos tipos de entrega en línea:

  • La entrega en línea de Bigtable es similar a la entrega en línea en Vertex AI Feature Store (heredada), pero proporciona un almacenamiento en caché mejorado para mitigar la generación de hotspots. Es útil para grandes volúmenes de datos (terabytes de datos).
  • La entrega optimizada en línea es adecuada para necesidades de entrega de latencia ultrabaja.

Cada solicitud de lectura en línea recupera todas las funciones predeterminadas en una vista de funciones sin procesamiento adicional, lo que genera latencias más bajas.

 Vertex AI Feature Store (heredado) proporciona solo un tipo de entrega en línea. Puedes especificar las entidades y los atributos para recuperar los datos de los atributos.
Interfaces y API
Características de la consola de Google Cloud La consola de Google Cloud tiene capacidades limitadas. Por ejemplo, puede ver la lista de tiendas en línea y la información sobre el linaje de atributos, pero no puede crear recursos. Usa Google Cloud Console para realizar la mayoría de las tareas de administración de funciones, incluida la supervisión de la creación de recursos.
API de creación de recursos Incluye API para crear recursos FeatureOnlineStore, FeatureView, FeatureGroup y Feature. Estos recursos te permiten configurar tu registro de atributos y la tienda en línea. Para el almacén sin conexión, se usa BigQuery. Incluye API para crear recursos Featurestore, EntityType y Feature que se usan en las tiendas en línea y sin conexión.
API de importación por lotes (almacén sin conexión) No requiere API para la importación por lotes al almacén sin conexión, ya que no se requiere un paso de importación por lotes separado al almacén sin conexión. Usa las API de Vertex AI para la importación por lotes al almacén sin conexión.
API de importación por lotes (tienda en línea) Copia datos de BigQuery de forma periódica en la tienda en línea durante la sincronización de datos. Usa las API de Vertex AI para la importación por lotes a la tienda en línea.
API de importación por transmisión (tienda sin conexión) No requiere API para la importación de transmisión al almacén sin conexión, ya que no se requiere un paso de importación de transmisión individual en el almacén sin conexión. Usa Vertex AI para la importación de transmisión al almacén sin conexión.
APIs de importación por transmisión (tienda en línea) No se admite la importación de transmisiones. Usa las APIs de Vertex AI para transmitir importaciones a la tienda en línea.
API de entrega por lotes Usa las API de BigQuery para entregar por lotes los datos directamente desde las fuentes de datos de BigQuery definidas en las vistas de funciones. Usa las API de Vertex AI para entregar por lotes los datos de atributos.
API de entrega en línea Usa FetchFeatureValues(FetchFeatureValuesRequest) API. Usa la API de ReadFeatureValues(ReadFeatureValuesRequest) para la entrega en línea.

Migrar a Vertex AI Feature Store

Los recursos y los datos de los atributos de Vertex AI Feature Store no están disponibles en Vertex AI Feature Store. Si ya eres un usuario de Vertex AI Feature Store (heredado) y deseas migrar tu proyecto a Vertex AI Feature Store, sigue estos pasos. Ten en cuenta que, como la jerarquía de recursos en Vertex AI Feature Store es diferente de la jerarquía de recursos en Vertex AI Feature Store (heredada), deberás crear de forma manual los recursos según la migración. datos.

  1. Si tus datos de atributos aún no están disponibles en BigQuery, exporta los datos de atributos a BigQuery y crea tablas y vistas de BigQuery. Sigue los lineamientos de preparación de datos cuando exportes y prepares los datos. Por ejemplo:

    • cada característica corresponde a una columna. Los ID de entidad pueden ser una columna separada, que puedes identificar como la columna ID.

    • Vertex AI Feature Store no tiene los recursos EntityType y Entity. Proporciona los valores de atributos de cada entidad en la fila correspondiente al ID de entidad.

  2. Opcional: para registrar tu fuente de datos de atributos, agrega grupos de funciones y atributos. Para obtener más información, consulta Crea un grupo de atributos y Crea un atributo.

  3. Configurar la entrega en línea mediante la creación de instancias en línea de la tienda y la vista de atributos en función de los datos de los atributos

Próximos pasos