Para a importação em lote, o Vertex AI Feature Store (antigo) pode importar dados de tabelas no BigQuery ou ficheiros no Cloud Storage.
Use a tabela do BigQuery se precisar de importar o conjunto de dados completo e não precisar de filtros de partição.
Use a vista do BigQuery se precisar de importar um subconjunto específico do conjunto de dados. Esta opção é mais eficiente em termos de tempo e permite-lhe importar seleções específicas do conjunto de dados completo, incluindo várias tabelas geradas a partir dos dados.
Os dados contidos nos ficheiros importados do Cloud Storage têm de estar no formato AVRO ou CSV.
Para a importação de streaming, fornece os valores das caraterísticas a importar no pedido API. Estes requisitos de dados de origem não se aplicam. Para mais informações, consulte a referência da API writeFeatureValues.
Cada item (ou linha) tem de cumprir os seguintes requisitos:
Tem de ter uma coluna para IDs de entidades e os valores têm de ser do tipo
STRING. Esta coluna contém os IDs das entidades para as quais os valores das caraterísticas são.Os tipos de valores dos dados de origem têm de corresponder aos tipos de valores da funcionalidade de destino no Feature Store. Por exemplo, os valores booleanos têm de ser importados para uma funcionalidade do tipo
BOOL.Todas as colunas têm de ter um cabeçalho do tipo
STRING. Não existem restrições no nome dos cabeçalhos.- Para tabelas e vistas do BigQuery, o cabeçalho da coluna é o nome da coluna.
- Para o AVRO, o cabeçalho da coluna é definido pelo esquema AVRO associado aos dados binários.
- Para ficheiros CSV, o cabeçalho da coluna é a primeira linha.
Se fornecer uma coluna para as datas/horas de geração de funcionalidades, use um dos seguintes formatos de data/hora:
- Para tabelas do BigQuery e vistas do BigQuery, as datas/horas têm de estar na coluna TIMESTAMP.
- Para o formato Avro, as datas/horas têm de ser do tipo long e do tipo lógico timestamp-micros.
- Para ficheiros CSV, os carimbos de data/hora têm de estar no formato RFC 3339.
Os ficheiros CSV não podem incluir tipos de dados de matriz. Em alternativa, use o formato Avro ou o BigQuery.
Para tipos de matriz, não pode incluir um valor nulo na matriz. No entanto, pode incluir uma matriz vazia.
Datas/horas dos valores das funcionalidades
Para a importação em lote, o Vertex AI Feature Store (antigo) requer datas/horas fornecidas pelo utilizador para os valores das caraterísticas importadas. Pode especificar uma data/hora específica para cada valor ou especificar a mesma data/hora para todos os valores:
- Se as datas/horas dos valores das caraterísticas forem diferentes, especifique as datas/horas numa coluna nos dados de origem. Cada linha tem de ter o seu próprio carimbo de data/hora a indicar quando o valor da funcionalidade foi gerado. Na solicitação de importação, especifica o nome da coluna para identificar a coluna de data/hora.
- Se a data/hora de todos os valores de atributos for a mesma, pode especificá-la como um parâmetro no seu pedido de importação. Também pode especificar a data/hora numa coluna nos dados de origem, em que cada linha tem a mesma data/hora.
Região da origem de dados
Se os seus dados de origem estiverem no BigQuery ou no Cloud Storage, o conjunto de dados ou o contentor de origem tem de estar na mesma região ou na mesma localização multirregional que o Feature Store. Por exemplo, um Feature Store em us-central1 só pode importar dados de contentores do Cloud Storage ou conjuntos de dados do BigQuery que estejam em us-central1 ou na localização multirregião dos EUA. Não pode importar dados, por exemplo, do us-east1. Além disso, não é possível obter dados de contentores de duas regiões.
O que se segue?
- Saiba como configurar o seu projeto para usar o Vertex AI Feature Store (antigo).
- Saiba como importar em lote valores de atributos.