Diese Seite wurde von der Cloud Translation API übersetzt.

Datenvorbereitung verwalten

In diesem Dokument wird beschrieben, wie Sie Datenvorbereitungen in BigQuery verwalten, einschließlich der Bereitstellung und Planung von Datenvorbereitungen. Datenvorbereitungen sind BigQuery-Ressourcen, die auf Dataform basieren.

Außerdem wird beschrieben, wie Sie Metadaten zur Datenvorbereitung in Dataplex aufrufen und verwalten.

Hinweise

Achten Sie darauf, dass die Gemini for Google Cloud API aktiviert ist.
Damit Sie Metadaten für die Datenvorbereitung in Dataplex verwalten können, muss die Dataplex API in Ihrem Google Cloud -Projekt aktiviert sein.

Erforderliche Rollen

Damit das Dataform-Dienstkonto die erforderlichen Berechtigungen zum Vorbereiten von Daten in BigQuery hat, lesen Sie den Hilfeartikel Erforderliche Rollen für Dataform-Dienstkonten.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Vorbereiten von Daten in BigQuery benötigen:

BigQuery Data Editor (roles/bigquery.dataEditor)
Service Usage Consumer (roles/serviceusage.serviceUsageConsumer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie Metadaten zur Datenvorbereitung in Dataplex verwalten möchten, benötigen Sie die erforderlichen Dataplex-Rollen und die Berechtigung dataform.repository.get.

Vorhandene Datenvorbereitungen ansehen

So rufen Sie eine Liste der vorhandenen Datenvorbereitungen auf:

Rufen Sie auf der Seite BigQuery Studio den Bereich Explorer auf.
Erweitern Sie Ihr Projekt.
Maximieren Sie die Liste Datenvorbereitung.

Datenvorbereitungen planen

Sie können Zeitpläne im Editor für die Datenvorbereitung erstellen und auf der BigQuery-Seite Orchestrierung verwalten.

Zeitplan erstellen

Wenn Sie einen Zeitplan erstellen möchten, mit dem die Schritte zur Datenvorbereitung ausgeführt und die vorbereiteten Daten in die Zieltabelle geladen werden, planen Sie einen einmaligen oder wiederkehrenden Lauf zur Datenvorbereitung:

Klicken Sie in der Symbolleiste für die Datenvorbereitung auf Zeitplan.
Geben Sie einen Namen für den Zeitplan ein.
Geben Sie den Namen des Dienstkontos ein, das mit der Ausführung verknüpft ist.
Legen Sie eine Häufigkeit fest.
Klicken Sie auf Zeitplan erstellen.

Terminübersichten ansehen

So rufen Sie alle Zeitpläne für die Datenvorbereitung in Ihrem Projekt auf:

Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

Zu „Orchestrierung“
Optional: Klicken Sie auf den Namen des Zeitplans, um Details zu einem ausgewählten Zeitplan und seinen bisherigen Ausführungen aufzurufen.

Zeitplan löschen

So löschen Sie einen Zeitplan für eine ausgewählte Datenvorbereitung endgültig:

Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

Zu „Orchestrierung“
Klicken Sie in der Zeile mit dem Zeitplan auf Aktionen > Löschen.

Datenvorbereitung durch inkrementelle Datenverarbeitung optimieren

So konfigurieren Sie, wie die vorbereiteten Daten in eine Zieltabelle geschrieben werden:

Rufen Sie in der Google Cloud -Konsole die Seite BigQuery Studio auf.

BigQuery aufrufen
Wählen Sie im Bereich Aktivität die Datenvorbereitung aus.
Wählen Sie in der Symbolleiste der Datenvorbereitung Dreipunkt-Menü > Schreibmodus aus.
Wählen Sie eine der Optionen aus. Weitere Informationen finden Sie unter Schreibmodus.
Klicken Sie auf Speichern.

Vorschläge zur Verbesserung der Vorschläge

Sie können zur Verbesserung von Gemini-Vorschlägen beitragen, indem Sie die Prompt-Daten, die Sie für Funktionen in der Vorabversion einreichen, mit Google teilen. So geben Sie Ihre Prompt-Daten frei:

Öffnen Sie den Editor für die Datenvorbereitung in BigQuery.
Klicken Sie in der Symbolleiste für die Datenvorbereitung auf Einstellungen Dreipunkt-Menü.
Wählen Sie Daten weitergeben, um Gemini in BigQuery zu verbessern aus.

Datenfreigabeeinstellungen gelten für das gesamte Projekt und können nur von einem Projektadministrator mit den IAM-Berechtigungen serviceusage.services.enable und serviceusage.services.list festgelegt werden. Weitere Informationen zur Datennutzung im Trusted Tester-Programm finden Sie unter Gemini für Google Cloud Trusted Tester-Programm.

Versionen der Datenvorbereitung

Bei der BigQuery-Datenvorbereitung können Versionen der Datenvorbereitung nicht angezeigt, verglichen oder wiederhergestellt werden.

So rufen Sie eine Liste der Versionen der Datenvorbereitung in chronologischer Reihenfolge auf:

Rufen Sie auf der Seite BigQuery Studio den Bereich Explorer auf.
Wählen Sie die Datenvorbereitung aus. Versionen werden im Bereich Explorer auf dem Tab Aktivität aufgeführt.

Datenvorbereitung herunterladen

So laden Sie eine Datenvorbereitung in einer YAML-Datei herunter:

Rufen Sie in der Google Cloud -Konsole die Seite BigQuery Studio auf.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt und den Ordner Datenvorbereitung. Klicken Sie auf den Namen der Datenvorbereitung, die Sie herunterladen möchten.
Klicken Sie auf Herunterladen. Die Datenvorbereitung wird im YAML-Dateiformat gespeichert, z. B. NAME data preparation.dp.yaml.

Datenvorbereitung hochladen

So laden Sie eine Datenvorbereitung aus einer YAML-Datei hoch:

Rufen Sie in der Google Cloud -Konsole die Seite BigQuery Studio auf.

BigQuery aufrufen
Maximieren Sie im Bereich Explorer Ihr Projekt.
Gehen Sie zum Ordner Datenvorbereitungen und klicken Sie auf das more_vert > In die Datenvorbereitung hochladen.
Wählen Sie im Dialogfeld Datenvorbereitung hochladen eine Datei zum Hochladen aus oder geben Sie die URL der Datenvorbereitung ein.
Geben Sie einen Namen für die Datenvorbereitung ein.
Wählen Sie einen Speicherort für die Datenvorbereitung aus, an dem Ressourcen verwaltet und gespeichert werden.
Klicken Sie auf Hochladen.

Metadaten in Dataplex verwalten

Mit Dataplex können Sie Metadaten für die Datenvorbereitung speichern und verwalten. Datenvorbereitungen sind in Dataplex standardmäßig ohne zusätzliche Konfiguration verfügbar.

Mit Dataplex können Sie die Datenvorbereitung an allen BigQuery-Standorten verwalten. Die Verwaltung der Datenvorbereitung in Dataplex unterliegt den Kontingenten und Limits für Dataplex und den Dataplex-Preisen.

Dataplex ruft automatisch die folgenden Metadaten aus der Datenvorbereitung ab:

Name des Daten-Assets
Übergeordnetes Daten-Asset
Speicherort des Daten-Assets
Daten-Asset-Typ
Entsprechendes Google Cloud -Projekt

In Dataplex werden Datenvorbereitungen als Einträge mit den folgenden Eintragswerten protokolliert:

Systemeintragsgruppe: Die Systemeingabegruppe für die Datenvorbereitung lautet @dataform. Wenn Sie Details zu Einträgen zur Datenvorbereitung in Dataplex aufrufen möchten, müssen Sie die Systemeintragsgruppe dataform aufrufen. Eine Anleitung zum Aufrufen einer Liste aller Einträge in einer Eintragsgruppe finden Sie in der Dataplex-Dokumentation unter Details einer Eintragsgruppe aufrufen.
Systemeintragstyp: Der Systemeintragstyp für die Datenvorbereitung ist dataform-code-asset. Wenn Sie Details zur Datenvorbereitung sehen möchten, müssen Sie den Systemeintragstyp dataform-code-asset aufrufen, die Ergebnisse mit einem aspektbasierten Filter filtern und das Feld type im Aspekt dataform-code-asset auf DATA_PREPARATION festlegen. Wählen Sie dann einen Eintrag der ausgewählten Datenvorbereitung aus. Eine Anleitung zum Aufrufen von Details zu einem ausgewählten Eintragstyp finden Sie in der Dataplex-Dokumentation unter Details zu einem Eintragstyp aufrufen. Eine Anleitung zum Aufrufen der Details eines ausgewählten Eintrags finden Sie in der Dataplex-Dokumentation unter Details eines Eintrags aufrufen.
Systemaspekttyp: Der Systemaspekttyp für die Datenvorbereitung ist dataform-code-asset. Wenn Sie Datenvorbereitungen in Dataplex durch Anmerkungen von Datenvorbereitungseinträgen mit Aspekten zusätzlichen Kontext geben möchten, rufen Sie den Aspekttyp dataform-code-asset auf, filtern Sie die Ergebnisse mit einem aspektbasierten Filter und setzen Sie das Feld type im Aspekt dataform-code-asset auf DATA_PREPARATION. Eine Anleitung zum Anhängen von Aspekten an Einträge finden Sie in der Dataplex-Dokumentation unter Aspekte verwalten und Metadaten anreichern.
Typ: Der Typ für Datenkanäle ist DATA_PREPARATION. Mit diesem Typ können Sie Datenvorbereitungen vom Typ dataform-code-asset-Systemeintragstyp und dataform-code-asset-Aspekttyp filtern, indem Sie die Abfrage aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION in einem aspektbasierten Filter verwenden.

Eine Anleitung zum Suchen nach Assets in Dataplex finden Sie in der Dataplex-Dokumentation unter Nach Datenassets in Dataplex suchen.