Einbindung von Data Lineage aktivieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Datenreihenintegration

Data Lineage ist ein Dataplex eine Funktion, mit der Sie verfolgen können, wie sich Daten durch Ihre Systeme bewegen und woher sie kommen. wo sie übergeben wird und welche Transformationen darauf angewendet werden. Die Datenherkunft ist für Folgendes verfügbar:

Sobald die Funktion in Ihrer Cloud Composer-Umgebung aktiviert ist, meldet Cloud Composer beim Ausführen von DAGs, die einen der unterstützten Operatoren verwenden, Informationen zur Datenabfolge an die Data Lineage API.

Sie können dann auf diese Informationen zugreifen:

Unterstützte Operatoren

Die folgenden Operatoren unterstützen automatische Lineage-Berichte in Cloud Composer:

  • airflow.providers.google.cloud.operators.bigquery.BigQueryExecuteQueryOperator
  • airflow.providers.google.cloud.operators.bigquery.BigQueryInsertJobOperator
  • airflow.providers.google.cloud.transfers.bigquery_to_bigquery.BigQueryToBigQueryOperator
  • airflow.contrib.operators.bigquery_to_gcs.BigQueryToCloudStorageOperator
  • airflow.providers.google.cloud.transfers.bigquery_to_gcs.BigQueryToGCSOperator
  • airflow.providers.google.cloud.transfers.gcs_to_bigquery.GCSToBigQueryOperator
  • airflow.contrib.operators.gcs_to_bq.GoogleCloudStorageToBigQueryOperator
  • airflow.providers.google.cloud.operators.dataproc.DataprocSubmitJobOperator

Führen Sie beispielsweise die folgende Aufgabe aus:

task = BigQueryInsertJobOperator(
    task_id='snapshot_task',
    dag=dag,
    location='<dataset-location>',
    configuration={
        'query': {
            'query': 'SELECT * FROM dataset.tableA',
            'useLegacySql': False,
            'destinationTable': {
                'project_id': GCP_PROJECT,
                'dataset_id': 'dataset',
                'table_id': 'tableB',
            },
        }
    },
)

Zum Erstellen des folgenden Lineage-Diagramms in der Dataplex-UI:

Beispiel für ein Herkunftsdiagramm in der Dataplex-UI.
Abbildung 1. Beispiel für ein Herkunftsdiagramm für eine BigQuery-Tabelle in Dataplex-UI.

Überlegungen zu Cloud Composer-Features

Bei jeder Ausführung einer Airflow-Aufgabe, die die Data Lineage meldet, wird Folgendes ausgeführt:

  • Eine RPC-Anfrage zum Erstellen oder Aktualisieren für einen Herkunftsprozess
  • Eine RPC-Anfrage zum Erstellen oder Aktualisieren für eine Herkunftsausführung
  • Mindestens eine RPC-Anfrage zum Erstellen von Herkunftsereignissen (meist 0 oder 1)

Weitere Informationen zu diesen Entitäten finden Sie unter Lineage-Informationsmodell und Lineage API-Referenz in Dataplex Dokumentation.

Für den ausgegebenen Lineage-Traffic gelten Kontingente in der Data Lineage API. Cloud Composer verbraucht das Schreibkontingent.

Die Preise für die Verarbeitung von Lineage-Daten unterliegen den Lineage-Preisen. Siehe Überlegungen zur Data Lineage.

Auswirkungen auf die Leistung

Die Datenherkunft wird am Ende der Airflow-Taskausführung gemeldet. Im Durchschnitt dauert das Erstellen von Data-Lineage-Berichten etwa 1–2 Sekunden.

Dies hat keinen Einfluss auf die Leistung der Aufgabe selbst: Airflow-Aufgaben haben keinen schlägt fehl, wenn die Herkunft nicht erfolgreich an die Lineage API gemeldet wird. Dies hat keine Auswirkungen auf die Logik des Hauptoperators, aber die gesamte Aufgabeninstanz. um die Herkunftsdaten in der Berichterstellung zu berücksichtigen.

Bei einer Umgebung, in der die Datenherkunft erfasst wird, steigen die damit verbundenen Kosten geringfügig, da für die Erfassung der Datenherkunft zusätzliche Zeit erforderlich ist.

Compliance

Die Datenableitung bietet unterschiedliche Supportebenen für Funktionen wie VPC Service Controls. Überprüfen Überlegungen zur Data Lineage um sicherzustellen, dass die Supportstufen Ihren Umgebungsanforderungen entsprechen.

Mit Data Lineage-Integration arbeiten

Die Einbindung der Datenabfolge für Cloud Composer wird pro Umgebung verwaltet. Das bedeutet, dass für die Aktivierung der Funktion zwei Schritte erforderlich sind:

  1. Aktivieren Sie die Data Lineage API in Ihrem Projekt.
  2. Data Lineage-Einbindung in einen bestimmten Cloud Composer aktivieren zu verbessern.

Hinweise

Wenn Sie eine Umgebung erstellen, ist die Einbindung von Data Lineage automatisch aktiviert, wenn die folgenden Bedingungen erfüllt sind:

  • Die Data Lineage API ist in Ihrem Projekt aktiviert. Weitere Informationen finden Sie unter Data Lineage API aktivieren in Dataplex-Dokumentation.

  • Ein benutzerdefiniertes Abstammungs-Back-End ist in Airflow nicht konfiguriert.

Für eine vorhandene Umgebung können Sie Aktivieren oder Data Lineage-Integration jederzeit deaktivieren.

Erforderliche Rollen

Für die Einbindung in Data Lineage müssen die folgenden Berechtigungen für Ihre Dienstkonto der Cloud Composer-Umgebung:

  • Für die Standarddienstkonten sind keine Änderungen erforderlich. Standarddienstkonten die erforderlichen Berechtigungen enthalten.
  • Gewähren Sie für nutzerverwaltete Dienstkonten den Composer-Worker. (roles/composer.worker) zu Ihrem Dienstkonto. Diese Rolle umfasst alle erforderlichen Data Lineage-Berechtigungen.

Weitere Informationen finden Sie in der Dataplex-Dokumentation unter Lineage-Rollen und ‐Berechtigungen.

Data Lineage in Cloud Composer aktivieren

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wählen Sie den Tab Umgebungskonfiguration aus.

  4. Klicken Sie im Abschnitt Dataplex Data Lineage integration (Integration von Dataplex Data Lineage) auf Edit (Bearbeiten).

  5. Wählen Sie im Bereich Integration von Dataplex Data Lineage die Option Integration mit Dataplex Data Lineage aktivieren aus und klicken Sie auf Speichern.

gcloud

Verwenden Sie das Argument --enable-cloud-data-lineage-integration.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-cloud-data-lineage-integration

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.

    Der Name muss mit einem Kleinbuchstaben beginnen, gefolgt von bis zu 62 Kleinbuchstaben, Ziffern oder Bindestrichen. Das letzte Zeichen darf kein Bindestrich sein. Anhand des Umgebungsnamens werden Unterkomponenten für die Umgebung erstellt. Daher müssen Sie einen Namen angeben, der auch als Cloud Storage-Bucket-Name gültig ist. Eine Liste der Einschränkungen finden Sie in den Benennungsrichtlinien für Buckets.

  • LOCATION durch die Region für die Umgebung.

    Ein Standort ist die Region, in der sich der GKE-Cluster der Umgebung befindet befindet.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --enable-cloud-data-lineage-integration

Benutzerdefinierte Herkunftsereignisse senden

Sie können benutzerdefinierte Abfolgeereignisse senden, wenn Sie die Abfolge für einen Betreiber erfassen möchten, der für automatisierte Abfolgeberichte nicht unterstützt wird.

Beispielsweise können Sie benutzerdefinierte Ereignisse mit folgenden Methoden senden:

  • BashOperator, ändern Sie den Parameter inlets oder outlets in der Aufgabe Definition.
  • PythonOperator, ändern Sie den Parameter task.inlets oder task.outlets in der Aufgabendefinition. Durch die Verwendung von AUTO für den Parameter inlets wird seine Wert, der dem outlets der vorgelagerten Aufgabe entspricht.

Führen Sie beispielsweise diese Aufgabe aus:


from airflow.composer.data_lineage.entities import BigQueryTable
from airflow.lineage import AUTO



bash_task = BashOperator(
   task_id='bash_task',
   dag=dag,
   bash_command='sleep 0',
   inlets=[BigQueryTable(
       project_id=GCP_PROJECT,
       dataset_id='dataset',
       table_id='table1',
   )],
   outlets=[BigQueryTable(
       project_id=GCP_PROJECT,
       dataset_id='dataset',
       table_id='table2',
   )]
)


def _python_task(task):
   task.inlets.append(BigQueryTable(
       project_id=GCP_PROJECT,
       dataset_id='dataset',
       table_id='table3',
   ))

   task.outlets.append(BigQueryTable(
       project_id=GCP_PROJECT,
       dataset_id='dataset',
       table_id='table4',
   ))


python_task = PythonOperator(
   task_id='python_task',
   dag=dag,
   python_callable=_python_task,
   inlets=[AUTO],
)

bash_task >> python_task

Das führt dazu, dass in der Dataplex-Benutzeroberfläche das folgende Herkunftsdiagramm erstellt wird:

Beispiel für die Herkunftsgrafik für benutzerdefinierte Ereignisse in der Dataplex-UI.
Abbildung 2. Beispiel für ein Herkunftsdiagramm für mehrere BigQuery-Daten Tabellen in der Dataplex-UI.

Data Lineage in Cloud Composer deaktivieren

Das Deaktivieren der Lineage-Einbindung in einer Cloud Composer-Umgebung Data Lineage API deaktivieren. Wenn Sie Lineage-Berichte für Ihr Projekt vollständig deaktivieren möchten, deaktivieren Sie auch die Data Lineage API. Weitere Informationen finden Sie unter Dienste deaktivieren.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Wählen Sie den Tab Umgebungskonfiguration aus.

  4. Klicken Sie im Abschnitt Dataplex Data Lineage integration (Integration von Dataplex Data Lineage) auf Edit (Bearbeiten).

  5. Wählen Sie im Bereich Integration von Dataplex Data Lineage die Option Integration von Dataplex Data Lineage deaktivieren aus und klicken Sie auf Speichern.

gcloud

Verwenden Sie das Argument --disable-cloud-data-lineage-integration.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-cloud-data-lineage-integration

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.

    Der Name muss mit einem Kleinbuchstaben beginnen, gefolgt von bis zu 62 Kleinbuchstaben, Ziffern oder Bindestrichen. Das letzte Zeichen darf kein Bindestrich sein. Anhand des Umgebungsnamens werden Unterkomponenten für die Umgebung erstellt. Daher müssen Sie einen Namen angeben, der auch als Cloud Storage-Bucket-Name gültig ist. Eine Liste der Einschränkungen finden Sie in den Benennungsrichtlinien für Buckets.

  • LOCATION durch die Region für die Umgebung.

    Ein Standort ist die Region, in der sich der GKE-Cluster der Umgebung befindet befindet.

Beispiel:

gcloud composer environments update example-environment \
    --location us-central1 \
    --disable-cloud-data-lineage-integration

Herkunftslogs in Cloud Composer ansehen

Sie können Logs zur Datenableitung über den Link auf der Seite Umgebungskonfiguration im Abschnitt Dataplex-Integration für die Datenableitung prüfen.

Fehlerbehebung

Wenn die Herkunftsdaten nicht an die Lineage API gemeldet werden oder Sie sie in Führen Sie in Dataplex die folgenden Schritte zur Fehlerbehebung aus:

  • Achten Sie darauf, dass die Data Lineage API im Projekt Ihres Cloud Composer-Umgebung.
  • Prüfen, ob die Einbindung von Data Lineage in Cloud Composer aktiviert ist zu verbessern.
  • Prüfen, ob der von Ihnen verwendete Bediener in der automatisierten Herkunft enthalten ist Berichterstellung unterstützt. Siehe Unterstützte Airflow-Operatoren.
  • Prüfen Sie die Lineage-Logs in Cloud Composer auf mögliche Probleme.