Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Pour l'importation par lot, Vertex AI Feature Store (ancien) peut importer des données à partir de tables BigQuery ou de fichiers Cloud Storage.
Utilisez une table BigQuery si vous devez importer l'ensemble de données complet et que vous n'avez pas besoin de filtres de partitionnement.
Utilisez une vue BigQuery si vous devez importer un sous-ensemble spécifique de l'ensemble de données. Cette option est plus rapide et vous permet d'importer des sélections spécifiques de l'ensemble de données complet, y compris plusieurs tables générées à partir des données.
Les données contenues dans les fichiers importées à partir de Cloud Storage doivent être au format AVRO ou CSV.
Pour l'importation en flux continu, vous fournissez les valeurs des caractéristiques à importer dans la requête API.
Ces exigences relatives aux données sources ne s'appliquent pas. Pour en savoir plus, consultez la documentation de référence de l'API writeFeatureValues.
Chaque élément (ou ligne) doit respecter les exigences suivantes :
Vous devez disposer d'une colonne pour les ID d'entité, et les valeurs doivent être de type STRING. Cette colonne contient les ID d'entité pour lesquels les valeurs des caractéristiques sont définies.
Les types de valeurs des données sources doivent correspondre aux types de valeurs de la fonctionnalité de destination dans le featurestore. Par exemple, les valeurs booléennes doivent être importées dans une caractéristique de type BOOL.
Toutes les colonnes doivent comporter un en-tête de type STRING. Il n'existe aucune restriction concernant le nom des en-têtes.
Pour les tables et les vues BigQuery, l'en-tête de colonne correspond au nom de la colonne.
Pour AVRO, l'en-tête de colonne est défini par le schéma AVRO associé aux données binaires.
Pour les fichiers CSV, l'en-tête de colonne correspond à la première ligne.
Si vous fournissez une colonne pour les horodatages de génération de caractéristiques, utilisez l'un des formats d'horodatage suivants :
Pour les tables et les vues BigQuery, les codes temporels doivent figurer dans la colonne TIMESTAMP.
Pour Avro, les codes temporels doivent être de type long et les timestamp-micros de type logique.
Pour les fichiers CSV, les codes temporels doivent être au format RFC 3339.
Les fichiers CSV ne peuvent pas inclure de types de données de tableau. Utilisez Avro ou BigQuery à la place.
Pour les types de tableau, vous ne pouvez pas inclure de valeur nulle dans le tableau. Cependant, vous pouvez inclure un tableau vide.
Horodatages des valeurs de caractéristiques
Pour les importations par lots, Vertex AI Feature Store (ancien) impose les horodatages fournis par l'utilisateur pour les valeurs de caractéristiques importées. Vous pouvez spécifier un horodatage spécifique pour chaque valeur ou spécifier le même horodatage pour toutes les valeurs :
Si les horodatages des valeurs de caractéristiques sont différents, spécifiez les horodatages dans une colonne de vos données sources. Chaque ligne doit avoir son propre horodatage indiquant le moment où la valeur de la caractéristique a été générée. Dans votre requête d'importation, vous spécifiez le nom de la colonne pour identifier la colonne d'horodatage.
Si l'horodatage de toutes les valeurs de caractéristiques est identique, vous pouvez le spécifier en tant que paramètre dans votre requête d'importation. Vous pouvez également spécifier l'horodatage dans une colonne de vos données sources, où chaque ligne a le même horodatage.
Région de la source de données
Si vos données source se trouvent dans BigQuery ou dans Cloud Storage, l'ensemble de données ou le bucket source doit se trouver dans la même région ou dans le même emplacement multirégional que votre featurestore. Par exemple, un featurestore dans us-central1 peut uniquement importer des données à partir de buckets Cloud Storage ou d'ensembles de données BigQuery situés dans la région us-central1 ou situés dans l'emplacement multirégional "US". Vous ne pouvez pas importer de données à partir de us-east1, par exemple. En outre, les données sources des buckets birégionaux ne sont pas compatibles.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[],[],null,["# Source data requirements\n\nFor batch import, Vertex AI Feature Store (Legacy) can import data from tables in\nBigQuery or files in Cloud Storage.\n\n- Use BigQuery table if you need to import the entire dataset and don't require partition filters.\n\n- Use BigQuery view if you need to import a specific subset of the dataset. This option is more time-efficient and lets you import specific selections from the entire dataset, including multiple tables generated from the data.\n\n- Data contained in files imported from Cloud Storage must be in AVRO or CSV format.\n\nFor streaming import, you provide the feature values to import in the API request.\nThese source data requirements don't apply. For more information, see the [writeFeatureValues API\nreference](/vertex-ai/docs/reference/rest/v1beta1/projects.locations.featurestores.entityTypes/writeFeatureValues).\n\nEach item (or row) must adhere to the following requirements:\n\n- You must have a column for entity IDs, and the values must be of type\n `STRING`. This column contains the entity IDs that the feature values are\n for.\n\n- Your source data value types must match the value types of the destination\n feature in the featurestore. For example, boolean values must be import into\n a feature that is of type `BOOL`.\n\n- All columns must have a header that are of type `STRING`. There are no\n restrictions on the name of the headers.\n\n - For BigQuery tables and BigQuery views, the column header is the column name.\n - For AVRO, the column header is defined by the AVRO schema that is associated with the binary data.\n - For CSV files, the column header is the first row.\n- If you provide a column for feature generation timestamps, use one of the\n following timestamp formats:\n\n - For BigQuery tables and BigQuery views, timestamps must be in the TIMESTAMP column.\n - For Avro, timestamps must be of type long and logical type timestamp-micros.\n - For CSV files, timestamps must be in the RFC 3339 format.\n- CSV files cannot include array data types. Use Avro or BigQuery\n instead.\n\n- For array types, you cannot include a null value in the array. Though, you can\n include an empty array.\n\nFeature value timestamps\n------------------------\n\nFor batch import, Vertex AI Feature Store (Legacy) requires user-provided\ntimestamps for the imported feature values. You can specify a particular\ntimestamp for each value or specify the same timestamp for all values:\n\n- If the timestamps for feature values are different, specify the timestamps in a column in your source data. Each row must have its own timestamp indicating when the feature value was generated. In your import request, you specify the column name to identify the timestamp column.\n- If the timestamp for all feature values is the same, you can specify it as a parameter in your import request. You can also specify the timestamp in a column in your source data, where each row has the same timestamp.\n\nData source region\n------------------\n\nIf your source data is in either BigQuery or Cloud Storage, the\nsource dataset or bucket must be in the same region or in the same\nmulti-regional location as your featurestore. For example, a featurestore in\n`us-central1` can import data only from Cloud Storage buckets or\nBigQuery datasets that are in `us-central1` or in the US multi-region\nlocation. You can't import data from, for example, `us-east1`. Also, source\ndata from dual-region buckets is not supported.\n\nWhat's next\n-----------\n\n- Learn about [setting up your project](/vertex-ai/docs/featurestore/setup) to use Vertex AI Feature Store (Legacy).\n- Learn how to [batch import feature values](/vertex-ai/docs/featurestore/ingesting-batch)."]]
