Änderungen an BigQuery-Metadaten, die in Dataplex Catalog gespeichert sind

Zwischen dem 15. Oktober 2024 und dem 15. November 2024 ändern sich einige der BigQuery-Metadaten, die im Dataplex-Katalog gespeichert sind.

Durch diese Änderung werden die Metadaten, die in Dataplex Catalog in Konsistenz mit BigQuery Metadaten und Metadaten aus anderen Google Cloud-Quellen.

Wenn Sie Arbeitslasten haben, die von BigQuery-Metadaten abhängen, müssen angepasst werden, um die Kontinuität zu wahren.

Weitere Informationen zu Dataplex Catalog-Metadaten finden Sie unter Dataplex-Katalog – Übersicht

Umfang der Änderungen

Die in diesem Abschnitt beschriebenen Änderungen gelten für alle BigQuery-Einträge. BigQuery-Einträge sind Einträge die zu einem Eintragstyp im BigQuery-System gehören.

Die folgenden API-Methoden sind von diesen Änderungen betroffen:

Die Änderungen an den Datentyp- und Tabellenuntertypwerten werden auch in der Google Cloud Console auf der Seite „Eintragsdetails“ berücksichtigt.

Datentypwerte

Die Datentypwerte ändern sich für den Aspekttyp SchemaAspect. Das Feld dataType ist betroffen.

Wert vor der Änderung Wert nach der Änderung
INT64 INTEGER
FLOAT64 FLOAT
STRUCT RECORD
BOOL BOOLEAN

Ressourcennamen

Der Ressourcenname für das übergeordnete Eintragsfeld ändert sich. entrySource.resource Das Feld wurde so geändert, dass es die Ressourcen-ID enthält. statt des vollständigen Ressourcennamens.

Wert vor der Änderung Wert nach der Änderung
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE projects/PROJECT_ID/datasets/DATASET/tables/TABLE

Werte für den übergeordneten Typ

Der Wert für den übergeordneten Typ ändert sich für das Eingabefeld der obersten Ebene entrySource.ancestors.type.

Wert vor der Änderung Wert nach der Änderung
655216118709.global.Dataset dataplex-types.global.bigquery-dataset

So geht es weiter

Der Einführungszeitraum beginnt am 15. Oktober 2024 und endet am 15. November 2024. Die Änderungen an den BigQuery-Metadaten werden schrittweise angewendet. während des gesamten Einführungszeitraums.

Gehen Sie dazu wie folgt vor:

  • Vor dem 15. Oktober 2024: Aktualisieren Sie Ihre Arbeitslasten, damit sowohl die alte als auch die neue Version der Metadaten interpretiert werden.

  • Während der Einführungsphase: BigQuery-Einträge erfassen möglicherweise Legacy-Version der Metadaten oder die aktualisierte Version der Metadaten. Ihre Arbeitslasten sollten beide Versionen verarbeiten können.

    Wenn Sie feststellen möchten, ob ein BigQuery-Eintrag die aktualisierten Metadaten verwendet, suchen Sie im aspects-Objekt des Eintrags nach dem entsprechenden Aspekttyp. Im aspectSource-Objekt des Aspekttyps gibt das Feld data_version die Metadatenversion an. Beziehen Sie sich bei einem bigquery-table-Eintrag beispielsweise auf das Feld Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version.

    Verwendet die Legacy-Metadatenversion Verwendet die aktualisierte Metadatenversion
    "" (leerer String) "Ingestion/1.0.0"

  • Nach dem 15. November 2024: Optional können Sie Ihre Arbeitslasten so aktualisieren, dass nur Daten interpretiert werden. die neue Version der Metadaten.

Support

Bei Fragen wenden Sie sich an dataplex-msa-support@google.com.