Requisitos de los datos de origen

Para la importación por lotes, Vertex AI Feature Store (heredado) puede importar datos desde tablas en BigQuery o archivos en Cloud Storage.

  • Usa la tabla de BigQuery si necesitas importar todo el conjunto de datos y no necesitas filtros de partición.

  • Usa la vista de BigQuery si necesitas importar un subconjunto específico del conjunto de datos. Esta opción es más eficiente y le permite importar selecciones específicas de todo el conjunto de datos, incluidas las tablas generadas a partir de los datos.

  • Los datos que se encuentran en los archivos importados desde Cloud Storage deben estar en formato AVRO o CSV.

Para la importación de transmisiones, debes proporcionar los valores de los atributos para importar en la solicitud a la API. No se aplican estos requisitos de datos de origen. Para obtener más información, consulta la referencia de la API de writeFeatureValues.

Cada elemento (o fila) debe cumplir con los siguientes requisitos:

  • Debe tener una columna para las ID de la entidad y los valores deben ser del tipo STRING. Esta columna contiene las ID de la entidad a las que corresponden los valores de los atributos.

  • Los tipos de valores de datos de origen deben coincidir con los tipos de valor de la función de destino en el almacén de atributos. Por ejemplo, los valores booleanos se deben importar a un atributo de tipo BOOL.

  • Todas las columnas deben tener un encabezado que sea del tipo STRING. No hay restricciones para el nombre de los encabezados.

    • En las tablas y las vistas de BigQuery, el encabezado de la columna es el nombre de la columna.
    • En Avro, el encabezado de la columna se define mediante el esquema de Avro que está asociado con los datos binarios.
    • En los archivos CSV, el encabezado de la columna es la primera fila.

  • Si brindas una columna con las marcas de tiempo de generación de atributos, usa uno de los siguientes formatos de marcas de tiempo:

    • En las tablas y vistas de BigQuery, las marcas de tiempo deben estar en la columna TIMESTAMP.
    • En Avro, las marcas de tiempo deben ser de tipo largo y de tipo timestamp-micros lógico.
    • En los archivos CSV, las marcas de tiempo deben estar en el formato RFC 3339.

  • Los archivos CSV no pueden incluir tipos de datos de array. En su lugar, usa Avro o BigQuery.

  • Para los tipos de array, no puedes incluir un valor nulo en el array. Sin embargo, puedes incluir un array vacío.

Marcas de tiempo del valor de los atributos

Para la importación por lotes, Vertex AI Feature Store (heredado) requiere marcas de tiempo proporcionadas por el usuario para los valores de atributos importados. Puedes especificar una marca de tiempo específica para cada valor o especificar la misma marca de tiempo para todos los valores:

  • Si las marcas de tiempo de los valores de atributos son diferentes, especifícalas en una columna de tus datos de origen. Cada fila debe tener su propia marca de tiempo que indique cuándo se generó el valor del atributo. En la solicitud de importación, especifica el nombre de la columna para identificar la columna de marca de tiempo.
  • Si la marca de tiempo de todos los valores de atributos es la misma, puedes especificarla como un parámetro en tu solicitud de importación. También puedes especificar la marca de tiempo en una columna en tus datos de origen, en la que cada fila tiene la misma marca de tiempo.

Región de la fuente de datos

Si los datos de origen están en BigQuery o Cloud Storage, el conjunto de datos o el bucket de origen deben estar en la misma región o en la misma ubicación multirregional que el featurestore. Por ejemplo, un featurestore en us-central1 puede importar datos solo desde buckets de Cloud Storage o conjuntos de datos de BigQuery que se encuentran en us-central1 o en la ubicación multirregión de EE.UU. No puedes usar datos de, por ejemplo, us-east1. Además, no se admiten los datos de origen de buckets de región doble.

¿Qué sigue?