Modifications apportées aux métadonnées BigQuery stockées dans le catalogue Dataplex

Entre le 15 octobre 2024 et le 31 janvier 2025, certaines des métadonnées BigQuery stockées dans le catalogue Dataplex changeront.

Ce changement permet de mettre en cohérence les métadonnées stockées dans le catalogue Dataplex avec les métadonnées BigQuery et les métadonnées d'autres sources Google Cloud .

Si vos charges de travail dépendent des métadonnées BigQuery, vous devez les ajuster pour préserver la continuité.

Pour en savoir plus sur les métadonnées du catalogue Dataplex, consultez la page Présentation du catalogue Dataplex.

Champ d'application des modifications

Les modifications décrites dans cette section s'appliquent à toutes les entrées BigQuery. Les entrées BigQuery appartiennent à un type d'entrée dans le système BigQuery.

Les méthodes d'API suivantes sont concernées par ces modifications:

Les modifications apportées aux valeurs de type de données et de sous-type de table sont également reflétées dans la console Google Cloud , sur la page "Détails de l'entrée".

Valeurs de type de données

Les valeurs de type de données changent pour le type d'aspect SchemaAspect. Le champ dataType est concerné.

Valeur avant la modification Valeur après la modification
INT64 INTEGER
FLOAT64 FLOAT
STRUCT RECORD
BOOL BOOLEAN

Noms de ressources

Le nom de la ressource change pour le champ de saisie de niveau supérieur entrySource.resource. Le champ est modifié pour contenir l'ID de la ressource au lieu du nom complet de la ressource.

Valeur avant la modification Valeur après la modification
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE projects/PROJECT_ID/datasets/DATASET/tables/TABLE

Valeurs du type d'ancêtre

La valeur du type d'ancêtre change pour le champ d'entrée de niveau supérieur entrySource.ancestors.type.

Valeur avant la modification Valeur après la modification
655216118709.global.Dataset dataplex-types.global.bigquery-dataset

Que devez-vous faire ?

La période de déploiement commence le 15 octobre 2024 et se termine le 31 janvier 2025. Les modifications apportées aux métadonnées BigQuery seront appliquées progressivement tout au long de la période de déploiement.

Voici ce que vous devez faire:

  • Avant le 15 octobre 2024: mettez à jour vos charges de travail pour interpréter à la fois l'ancienne version des métadonnées et la version mise à jour.

  • Pendant la période de déploiement: les entrées BigQuery peuvent capturer l'ancienne version des métadonnées ou la version mise à jour des métadonnées. Vos charges de travail doivent pouvoir interpréter les deux versions.

    Pour déterminer si une entrée BigQuery utilise les métadonnées mises à jour, recherchez le type d'aspect approprié dans l'objet aspects de l'entrée. Dans l'objet aspectSource du type d'aspect, le champ data_version indique la version des métadonnées. Par exemple, pour une entrée bigquery-table, reportez-vous au champ Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version.

    Utilise l'ancienne version des métadonnées Utilise la version mise à jour des métadonnées
    "" (chaîne vide) "Ingestion/1.0.0"

  • Après le 31 janvier 2025: si vous le souhaitez, mettez à jour vos charges de travail pour n'interpréter que la nouvelle version des métadonnées.

Assistance

Pour toute question, contactez dataplex-msa-support@google.com.