Introducción a la administración de atributos en Vertex AI

En el aprendizaje automático (AA), los atributos son atributos característicos de una instancia o entidad que puedes usar para entrenar modelos o hacer predicciones en línea. Los atributos se generan mediante la transformación de datos sin procesar del AA en atributos medibles y fáciles de compartir mediante técnicas de ingeniería de atributos, que en general se conocen como transformaciones de atributos.

La administración de atributos hace referencia al proceso de crear, mantener, compartir y entregar atributos del AA almacenados en una ubicación o repositorio centralizado. La administración de atributos facilita la reutilización de atributos para entrenar y volver a entrenar modelos, lo que reduce el ciclo de vida de las implementaciones de IA y AA.

Un producto o servicio que incluye servicios de administración de atributos para almacenar, descubrir, compartir y entregar atributos del AA se denomina tienda de funciones. Vertex AI incorpora los siguientes servicios de almacenamiento de atributos:

En esta página, se presentan y comparan los dos servicios de administración de funciones y se proporciona una descripción general de sus capacidades. También se describe cómo migrar una tienda de funciones existente en la Vertex AI Feature Store (heredada) a a nueva Vertex AI Feature Store.

Vertex AI Feature Store

Vertex AI Feature Store ofrece un enfoque nuevo para la administración de atributos, ya que te permite mantener y entregar los datos de tus atributos desde una fuente de datos de BigQuery. En este enfoque, Vertex AI Feature Store actúa como una capa de metadatos que proporciona capacidades de entrega en línea a la fuente de datos de atributos en BigQuery y te permite entregar atributos en línea según esos datos. No es necesario que copies o importes los datos a un almacén sin conexión independiente en Vertex AI.

Vertex AI Feature Store está integrado en Dataplex para realizar un seguimiento de los metadatos de los atributos. También admite incorporaciones y te permite realizar búsquedas de similitud vectorial para vecinos más cercanos.

Vertex AI Feature Store está optimizado para la entrega de latencia ultrabaja y te permite hacer lo siguiente:

  • Almacena y mantén los datos de tus atributos sin conexión en BigQuery y aprovecha las capacidades de administración de datos de BigQuery.

  • Agrega y reutiliza atributos en el registro de atributos

  • Entrega funciones para predicciones en línea con latencias bajas a través de la entrega en línea de Bigtable o con latencias ultrabajas a través de la entrega en línea optimizada.

  • Almacena incorporaciones en tus datos de atributos y realiza búsquedas de similitud de vectores con la entrega en línea optimizada.

  • Realiza un seguimiento de los metadatos de atributos en Dataplex.

Para obtener más información sobre Vertex AI Feature Store, consulta la documentación de Vertex AI Feature Store.

Vertex AI Feature Store (heredado)

Vertex AI Feature Store (heredado) proporciona un repositorio centralizado para almacenar, organizar y entregar datos de los atributos de AA. Aprovisiona una jerarquía de recursos que encapsula un almacén en línea y un almacén sin conexión dentro de Vertex AI. En la tienda en línea, se entregan los valores de atributos más recientes para las predicciones en línea. El almacén sin conexión almacena y mantiene los datos de atributos (incluidos los datos históricos) que puedes entregar por lotes para entrenar modelos de AA.

Vertex AI Feature Store (heredado) es un servicio de administración de funciones completamente funcional que te permite hacer lo siguiente:

  • Importar por lotes o transmitir datos de atributos en el almacén sin conexión desde una fuente de datos, como un bucket de Cloud Storage o una fuente de BigQuery.

  • Entrega funciones en línea para las predicciones.

  • Entregar o exportar funciones por lotes para el entrenamiento o el análisis de modelos de AA.

  • Establecer las políticas de administración de identidades y accesos (IAM) en los recursos EntityType y Featurestore.

  • Administra los recursos del almacén de atributos desde la consola de Google Cloud.

Vertex AI Feature Store (heredado) no incluye las funciones de administración de incorporaciones ni de recuperación de vectores. Si necesitas administrar las incorporaciones en los datos de atributos o realizar búsquedas de similitud de vectores, considera cambiar a Vertex AI Feature Store. Para obtener información sobre la migración a Vertex AI Feature Store, consulta Migra a Vertex AI Feature Store.

Para obtener más información sobre Vertex AI Feature Store (heredado), consulta la documentación de Vertex AI Feature Store (heredado).

Comparación entre Vertex AI Feature Store y Vertex AI Feature Store (heredado)

En la siguiente tabla, se comparan los diversos aspectos de Vertex AI Feature Store (heredado) y la nueva Vertex AI Feature Store:

Categoría Vertex AI Feature Store Vertex AI Feature Store (heredado)
Modelos de datos
Jerarquía de recursos (tienda en línea y sin conexión) La jerarquía de recursos en la tienda en línea es la siguiente: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore contiene solo los parámetros de configuración para el almacenamiento y la recuperación en línea. Puede contener varios recursos FeatureView.
  • FeatureView es una agrupación lógica de atributos en una solicitud de publicación en línea. Es un solo recurso que reemplaza los tipos de entidades y los atributos. Los datos de una vista de atributos reflejan los valores de atributos más recientes en el almacenamiento de BigQuery.
No hay recursos de almacén sin conexión, ya que los datos residen en BigQuery. 		La jerarquía de recursos es la siguiente: Featurestore -> EntityType -> Feature
  • Featurestore contiene los parámetros de configuración de las tiendas en línea y sin conexión. Puede contener varios recursos EntityType.
  • EntityType es una colección de atributos relacionados de manera semántica. Puede tener varias instancias llamadas entidades, que pueden contener varios recursos Feature.
  • Feature es una propiedad o un atributo de un EntityType.
Jerarquía de recursos (registro de atributos) La jerarquía de recursos en el registro de atributos es la siguiente: FeatureGroup -> Feature
  • FeatureGroup registra la ubicación de la fuente de datos de BigQuery. Puede contener varios recursos Feature.
  • Feature corresponde a una columna en la fuente de datos registrada con el grupo de atributos.
 No existe un registro de atributos en Vertex AI Feature Store (heredado).
Administración de funciones
Tiendas en línea y físicas Debes crear una instancia de tienda en línea y definir vistas de atributos.
El almacén de atributos de Vertex AI no requiere un almacén sin conexión independiente, ya que la fuente de datos de BigQuery constituye el almacén sin conexión. 		Cuando aprovisionas un almacén de atributos, Vertex AI Feature Store (heredado) crea tiendas en línea y sin conexión independientes.
Importación de atributos No necesitas importar datos a almacenes sin conexión, ya que los datos residen en BigQuery y puedes usarlos directamente para necesidades sin conexión. En el caso de los casos de uso de publicación en línea, puedes registrar una tabla de BigQuery o verla como una vista de atributos, que copia los datos de atributos en la tienda en línea. Vertex AI Feature Store actualiza los datos del almacén en línea durante la sincronización de datos. Debes importar datos de atributos a los almacenes sin conexión y en línea mediante la importación por lotes o la transmisión desde una fuente externa, como una tabla o vista de BigQuery.
Transferencia de datos entre tiendas en línea y sin conexión Vertex AI Feature Store usa BigQuery como su almacén sin conexión y copia solo los valores de atributos más recientes en el almacén en línea. No hay un almacén sin conexión independiente aprovisionado en Vertex AI. Los valores de los atributos se copian en el almacenamiento sin conexión y, luego, en el almacenamiento en línea.
Entrega de atributos
Publicación sin conexión Para interactuar con la tienda sin conexión, debes usar las APIs de BigQuery. Las capacidades subyacentes son las mismas. Para interactuar con el almacenamiento sin conexión, que administra Vertex AI Feature Store (heredado), debes usar las APIs de Vertex AI. Algunos ejemplos de estas interacciones son las búsquedas de un momento determinado y la exportación de funciones.
Entrega en línea

Vertex AI Feature Store proporciona dos tipos de entrega en línea:

  • La entrega en línea de Bigtable es similar a la entrega en línea en Vertex AI Feature Store (heredada), pero proporciona un almacenamiento en caché mejorado para mitigar la generación de hotspots. Es útil para grandes volúmenes de datos (terabytes de datos).
  • La entrega optimizada en línea es adecuada para necesidades de entrega de latencia ultrabaja.

Cada solicitud de lectura en línea recupera todas las funciones predeterminadas en una vista de funciones sin procesamiento adicional, lo que genera latencias más bajas.

 Vertex AI Feature Store (heredado) solo proporciona un tipo de entrega en línea. Puedes especificar las entidades y los atributos para recuperar los datos de atributos.
Interfaces y APIs
Características de la consola de Google Cloud Usa la consola de Google Cloud para crear y administrar recursos, como instancias de tiendas en línea, instancias de vistas de atributos, grupos de atributos y atributos. También puedes ver la lista de tiendas en línea y la información sobre el linaje de atributos. Usa Google Cloud Console para realizar la mayoría de las tareas de administración de funciones, incluida la supervisión de la creación de recursos.
APIs de creación de recursos Incluye APIs para crear recursos FeatureOnlineStore, FeatureView, FeatureGroup y Feature. Estos recursos te permiten configurar tu registro de atributos y tu tienda en línea. Para el almacén sin conexión, se usa BigQuery. Incluye APIs para crear recursos Featurestore, EntityType y Feature que se usan en las tiendas en línea y sin conexión.
APIs de importación por lotes (tienda sin conexión) No requiere APIs para la importación por lotes al almacén sin conexión, ya que no se requiere un paso de importación por lotes independiente al almacén sin conexión. Usa las APIs de Vertex AI para la importación por lotes a la tienda sin conexión.
APIs de importación por lotes (tienda en línea) Copia datos de BigQuery a la tienda en línea de forma periódica durante la sincronización de datos. Usa las APIs de Vertex AI para la importación por lotes a la tienda en línea.
APIs de importación por transmisión (tienda sin conexión) No requiere APIs para la importación de transmisión a la tienda sin conexión, ya que no se requiere un paso de importación de transmisión independiente a la tienda sin conexión. Usa Vertex AI para transmitir importaciones a la tienda sin conexión.
APIs de importación por transmisión (tienda en línea) No se admite la importación de transmisiones. Usa las APIs de Vertex AI para transmitir importaciones a la tienda en línea.
APIs de publicación por lotes Usa las APIs de BigQuery para publicar datos por lotes directamente desde las fuentes de datos de BigQuery definidas en las vistas de componentes. Usa las APIs de Vertex AI para entregar datos de atributos por lotes.
APIs de publicación en línea Usa FetchFeatureValues(FetchFeatureValuesRequest) API. Usa la API de ReadFeatureValues(ReadFeatureValuesRequest) para la publicación en línea.

Migra a Vertex AI Feature Store

Los recursos y los datos de atributos de Vertex AI Feature Store (heredado) no están disponibles de forma inmediata en Vertex AI Feature Store. Si ya eres usuario de Vertex AI Feature Store (heredado) y deseas migrar tu proyecto a Vertex AI Feature Store, sigue los pasos que se indican a continuación. Ten en cuenta que, como la jerarquía de recursos en Vertex AI Feature Store es diferente de la jerarquía de recursos en Vertex AI Feature Store (heredada), deberás crear de forma manual los recursos según la migración. datos.

  1. Si tus datos de atributos aún no están disponibles en BigQuery, exporta los datos de atributos a BigQuery y crea tablas y vistas de BigQuery. Sigue los lineamientos de preparación de datos cuando exportes y prepares los datos. Por ejemplo:

    • cada característica corresponde a una columna. Los ID de entidad pueden ser una columna separada, que puedes identificar como la columna ID.

    • Vertex AI Feature Store no tiene los recursos EntityType ni Entity. Proporciona los valores de atributos de cada entidad en la fila correspondiente al ID de entidad.

  2. Opcional: para registrar tu fuente de datos de atributos, agrega grupos de funciones y atributos. Para obtener más información, consulta Crea un grupo de atributos y Crea un atributo.

  3. Configurar la entrega en línea mediante la creación de instancias en línea de la tienda y la vista de atributos en función de los datos de los atributos

Próximos pasos