Mit Übertragungen arbeiten

Nach dem Erstellen einer Übertragung mit BigQuery Data Transfer Service können Sie folgende Aufgaben ausführen:

  • Informationen zu einer Übertragungskonfiguration abrufen
  • Übertragungskonfigurationen auflisten
  • Ausführungsverlauf einer Übertragung aufrufen
  • Details zur Übertragungsausführung anzeigen, z. B. Protokollmeldungen
  • Übertragung aktualisieren
  • Backfill einrichten
  • Anmeldedaten aktualisieren
  • Übertragung deaktivieren
  • Übertragung löschen

Informationen zu Übertragungen abrufen

Nachdem Sie eine Übertragung erstellt haben, können Sie Informationen zu der Übertragungskonfiguration abrufen. Die Konfiguration enthält die Werte, die Sie bei der Erstellung der Übertragung angegeben haben.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.get, um Informationen zu einer Übertragung abrufen zu können. Die folgenden vordefinierten Cloud IAM-Rollen beinhalten Berechtigungen des Typs bigquery.transfers.get:

  • bigquery.admin
  • bigquery.user

Ein Nutzer mit der Berechtigung bigquery.transfers.get kann Informationen zu allen Übertragungen in einem Projekt abrufen.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Informationen zu einer Übertragung abrufen

So rufen Sie Informationen zu einer Übertragungskonfiguration ab:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Klicken Sie für die ausgewählte Übertragung auf KONFIGURATION.

  5. Die Übertragungskonfiguration und die Details zur Datenquelle werden angezeigt. Das folgende Beispiel zeigt die Konfigurationsattribute für eine Teradata-Migration.

    Übertragungskonfiguration in der Console

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf der Seite Transfers auf die entsprechende Übertragung in der Liste.

  4. Die Übertragungskonfiguration wird auf der Attributseite über der Run History angezeigt. Im folgenden Beispiel werden die Konfigurationsattribute einer Google Ads-Übertragung dargestellt:

    Übertragungskonfiguration

bq

Geben Sie den Befehl bq show ein und fügen Sie den Ressourcennamen der Übertragungskonfiguration hinzu. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

bq show \
--format=prettyjson \
--transfer_config resource_name

Dabei gilt:

  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Geben Sie beispielsweise den folgenden Befehl ein, um die Übertragungskonfiguration projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 anzeigen zu lassen:

bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.locations.transferConfigs.get und geben Sie die Übertragungskonfiguration mithilfe des Parameters name an.

Übertragungskonfigurationen auflisten

Erforderliche Berechtigung

Sie benötigen die Berechtigung bigquery.transfers.get, um alle Übertragungen oder Übertragungskonfigurationen in einem Projekt aufzulisten. Diese vordefinierten Cloud IAM-Rollen enthalten die Berechtigung bigquery.transfers.get:

  • bigquery.admin
  • bigquery.user

Ein Nutzer mit der Berechtigung bigquery.transfers.get kann alle Übertragungen in einem Projekt auflisten lassen.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Übertragungen auflisten

So listen Sie Übertragungskonfigurationen in einem Projekt auf:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Wenn das Projekt Übertragungskonfigurationen enthält, wird auf der Seite Übertragungen eine Liste der Übertragungskonfigurationen angezeigt.

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Transfers. Die Übertragungskonfigurationen werden auf der Seite Transfers nach Standort gruppiert.

bq

Geben Sie den Befehl bq ls ein und fügen Sie die Flags --transfer_location und --transfer_config hinzu, um alle Übertragungskonfigurationen für ein Projekt nach dem Standort anzeigen zu lassen. Sie können auch das Flag --project_id bereitstellen, um ein bestimmtes Projekt anzugeben. Wenn --project_id nicht angegeben ist, wird das Standardprojekt verwendet. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

Geben Sie das Flag --filter an, um Übertragungskonfigurationen für bestimmte Datenquellen aufzulisten.

Wenn eine bestimmte Anzahl von Übertragungskonfigurationen auf einer Seite angezeigt werden soll, geben Sie das Flag --max_results an, um die Anzahl von Übertragungen festzulegen. Durch diesen Befehl wird ein Seitentoken zurückgegeben, das Sie mit dem Flag --page_token angeben, um die nächsten n Konfigurationen aufzurufen.

bq ls \
--transfer_config \
--transfer_location=location \
--project_id=project_id \
--max_results=integer \
--filter=dataSourceIds:data_sources

Dabei gilt:

  • location ist der Speicherort der Übertragungskonfigurationen. Der Standort wird beim Erstellen einer Übertragung angegeben.
  • project_id ist die Projekt-ID.
  • integer ist die Anzahl der Ergebnisse, die pro Seite angezeigt werden sollen.
  • data_sources ist eine der folgenden: <<../_shared/_cli-transfer-types.md>>

Beispiele:

Geben Sie den folgenden Befehl ein, um für Ihr Standardprojekt alle Übertragungskonfigurationen in den USA aufzurufen. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us

Geben Sie den folgenden Befehl ein, um für die Projekt-ID myproject alle Übertragungskonfigurationen in den USA aufzurufen.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject

Geben Sie den folgenden Befehl ein, um die letzten drei Übertragungskonfigurationen aufzulisten.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3

Durch diesen Befehl wird ein Token für die nächste Seite zurückgegeben. Kopieren Sie das Seitentoken und geben Sie es im Befehl bq ls an, um die nächsten drei Ergebnisse anzeigen zu lassen.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL

Geben Sie den folgenden Befehl ein, um die Übertragungskonfigurationen für Google Ads und Campaign Manager für die Projekt-ID myproject aufzulisten.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,adwords

API

Verwenden Sie die Methode projects.locations.transferConfigs.list und geben Sie die Projekt-ID mithilfe des Parameters parent an.

Ausführungsverlauf ansehen

Beim Ausführen der geplanten Übertragungen wird für alle Übertragungskonfigurationen ein Ausführungsverlauf erstellt, der u. a. die erfolgreichen Übertragungen und fehlgeschlagenen Übertragungen enthält. Übertragungen, die älter als 90 Tage sind, werden automatisch aus dem Ausführungsverlauf gelöscht.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.get, um den Ausführungsverlauf für eine Übertragungskonfiguration anzeigen zu lassen. Die vordefinierte Cloud IAM-Rolle bigquery.user enthält Berechtigungen vom Typ bigquery.transfers.get.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Ausführungsverlauf aufrufen

So zeigen Sie den Ausführungsverlauf für eine Übertragungskonfiguration an:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Sie befinden sich auf der Seite Verlauf ausführen für die ausgewählte Übertragung.

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf der Seite Transfers auf die entsprechende Übertragung in der Liste.

  4. Auf der Attributseite wird unter den Übertragungsattributen der Ausführungsverlauf angezeigt.

    Ausführungsverlauf

  5. (Optional) Entfernen Sie das Häkchen bei Show only latest run per day, um alle Übertragungsausführungen aufzulisten.

Der Status der Übertragungsausführung wird grafisch dargestellt und in der Spalte State detailliert aufgeführt:

Symbol Bundesstaat
Symbol für erfolgreiche Ausführung Die Übertragung war erfolgreich.
Symbol für fehlgeschlagene Ausführung Die Übertragung war nicht erfolgreich.
Symbol für Ausführung mit Warnung Die Übertragung war erfolgreich, es wurden jedoch Warnungen ausgegeben. Die Ausführung wird nur dann als problematisch erachtet, wenn die resultierenden Tabellen nicht korrekt angezeigt werden.

bq

Geben Sie den Befehl bq ls mit dem Flag --transfer_run ein, um Übertragungsausführungen für eine bestimmte Übertragungskonfiguration aufzulisten. Sie können auch das Flag --project_id bereitstellen, um ein bestimmtes Projekt anzugeben. Wenn resource_name keine Projektinformationen enthält, wird der Wert --project_id verwendet. Wenn --project_id nicht angegeben ist, wird das Standardprojekt verwendet. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

Geben Sie das Flag --max_results an, um eine bestimmte Anzahl von Übertragungsaufführungen anzeigen zu lassen. Durch diesen Befehl wird ein Seitentoken zurückgegeben, das Sie mit dem Flag --page_token angeben, um die nächsten n Konfigurationen aufzurufen.

Geben Sie das Flag --filter an, um Übertragungsausführungen basierend auf dem Ausführungsstatus aufzulisten.

bq ls \
--transfer_run \
--max_results=integer \
--transfer_location=location \
--project_id=project_id \
--filter=states:state, ... \
resource_name

Dabei gilt:

  • integer ist die Anzahl der zurückzugebenden Ergebnisse.
  • location ist der Speicherort der Übertragungskonfigurationen. Der Standort wird beim Erstellen einer Übertragung angegeben.
  • project_id ist die Projekt-ID.
  • state, ... hat einen der folgenden Werte oder eine durch Kommas getrennte Liste:
    • SUCCEEDED
    • FAILED
    • PENDING
    • RUNNING
    • CANCELLED
  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Beispiele:

Geben Sie den folgenden Befehl ein, um die letzten drei Ausführungen für die Übertragungskonfiguration projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 aufzurufen. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

Durch diesen Befehl wird ein Token für die nächste Seite zurückgegeben. Kopieren Sie das Seitentoken und geben Sie es im Befehl bq ls an, um die nächsten drei Ergebnisse anzeigen zu lassen.

bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

Geben Sie den folgenden Befehl ein, um alle fehlgeschlagenen Ausführungen für die Übertragungskonfiguration projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 aufzurufen.

bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.locations.transferConfigs.list und geben Sie die Projekt-ID mithilfe des Parameters parent an.

Details zur Übertragungsausführung und Logmeldungen aufrufen

Ist eine Übertragungsausführung im Verlauf aufgeführt, können Sie die Übertragungsdetails anzeigen lassen, einschließlich Logmeldungen, Warnungen und Fehlern, Ausführungsname sowie Start- und Endzeit.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.get, um die Details von Übertragungsausführungen anzeigen zu lassen. Die vordefinierte Cloud IAM-Rolle bigquery.user enthält Berechtigungen vom Typ bigquery.transfers.get.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Details für eine Übertragungsausführung aufrufen

So zeigen Sie die Details von Übertragungsausführungen an:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Sie befinden sich auf der Seite AUSFÜHRUNGSVERLAUF für die ausgewählte Übertragung.

  5. Klicken Sie auf eine einzelne Übertragung, um das Feld c für die Ausführung der Übertragung zu öffnen.

  6. Sehen Sie sich unter Übertragungsdetails alle Fehlermeldungen an. Sie benötigen diese Informationen, wenn Sie sich an den Google Cloud-Support wenden. Die Übertragungsdetails enthalten auch Logmeldungen und Warnungen.

    Ausführungsdetails in der Console

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf der Seite Transfers auf die entsprechende Übertragung in der Liste.

  4. Auf der Attributseite wird unter den Übertragungsattributen der Ausführungsverlauf angezeigt. Klicken Sie auf eine Übertragung, um die Details zu untersuchen.

  5. Notieren Sie in den Übertragungsdetails den Run Name und etwaige Fehlermeldungen. Sie benötigen diese Informationen, wenn Sie sich an den Google Cloud-Support wenden. Die Übertragungsdetails enthalten auch Logmeldungen und Warnungen.

    Ausführungsdetails

bq

Geben Sie den Befehl bq show ein und fügen Sie mit dem Flag --transfer_run den Namen der Übertragungsausführung hinzu, um die Details von Übertragungsausführungen anzeigen zu lassen. Mit dem Flag --format können Sie das Ausgabeformat festlegen.

bq show \
--format=prettyjson \
--transfer_run run_name

Dabei gilt:

  • run_name ist der Name der Übertragungsausführung. Sie können den Ausführungsnamen mit dem Befehl bq ls abrufen.

Beispiel:

Geben Sie den folgenden Befehl ein, um Details für die Übertragungsausführung projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g aufzurufen.

bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Geben Sie den Befehl bq ls mit dem Flag --transfer_log ein, um Übertragungslogmeldungen für eine Übertragungsausführung anzeigen zu lassen. Mit dem Flag --message_type können Sie Logmeldungen nach Typ filtern.

Geben Sie das Flag --max_results an, um eine bestimmte Anzahl von Logmeldungen anzeigen zu lassen. Bei diesem Befehl wird ein Seitentoken zurückgegeben, das Sie mit dem Flag --page_token angeben, um die nächsten n Meldungen aufzurufen.

bq ls \
--transfer_log \
--max_results=integer \
--message_type=messageTypes:message_type \
run_name

Dabei gilt:

  • integer ist die Anzahl der zurückzugebenden Logmeldungen.
  • message_type ist der Typ der Logmeldungen, die angezeigt werden sollen (ein einzelner Wert oder eine durch Kommas getrennte Liste):
    • INFO
    • WARNING
    • ERROR
  • run_name ist der Name der Übertragungsausführung. Sie können den Ausführungsnamen mit dem Befehl bq ls abrufen.

Beispiele:

Geben Sie den folgenden Befehl ein, um die ersten zwei Logmeldungen für die Übertragungsausführung projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g aufzurufen.

bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Durch diesen Befehl wird ein Token für die nächste Seite zurückgegeben. Kopieren Sie das Seitentoken und geben Sie es im Befehl bq ls an, um die nächsten zwei Ergebnisse anzeigen zu lassen.

bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Geben Sie den folgenden Befehl ein, um nur Fehlermeldungen für die Übertragungsausführung projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g anzeigen zu lassen.

bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

API

Verwenden Sie die Methode projects.transferConfigs.runs.transferLogs.list und geben Sie den Ausführungsnamen der Übertragungsausführung mithilfe des Parameters parent an.

Übertragung aktualisieren

Nachdem die Übertragung hinzugefügt wurde, können Sie sie bearbeiten. Mit Ausnahme des Feldes Quelle können Sie alle Felder, die bei der Erstellung der Übertragung ausgefüllt wurden, bearbeiten:

  • Ziel-Dataset
  • Anzeigename
  • Alle Parameter, die für den spezifischen Übertragungstyp angegeben wurden
  • Benachrichtigungseinstellungen ausführen

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.update, um eine Übertragung zu aktualisieren. Die vordefinierte Cloud IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Übertragung aktualisieren

So aktualisieren Sie eine Übertragung:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Klicken Sie auf Bearbeiten, um die Übertragungskonfiguration zu aktualisieren.

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf der Seite Transfers auf die entsprechende Übertragung in der Liste.

  4. Klicken Sie auf Edit, um die Übertragungskonfiguration zu aktualisieren.

  5. Wenn Sie alle Änderungen vorgenommen haben, klicken Sie auf Save.

bq

Geben Sie den Befehl bq update ein, fügen Sie den Ressourcennamen der Übertragungskonfiguration mit dem Flag --transfer_config hinzu und geben Sie das Flag --display_name, --target_dataset, --refresh_window_days oder --params an.

bq update \
--display_name='name' \
--target_dataset=dataset \
--params='parameters' \
--refresh_window_days=integer \
--transfer_config \
resource_name

Dabei gilt:

  • name ist der Anzeigename für die Übertragungskonfiguration.
  • dataset ist das Ziel-Dataset für die Übertragungskonfiguration.
  • parameters enthält die Parameter für die Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}' Die folgenden Parameter können bearbeitet werden:
    • Google Ads: customer_id
    • Campaign Manager: bucket und network_id
    • Google Ad Manager: bucket und network_code
    • Google Merchant Center: merchant_id
    • Google Play: bucket und table_suffix
    • Search Ads 360: agency_id, advertiser_id, include_removed_entities, table_filter und custom_floodlight_variables
    • YouTube-Kanal: table_suffix
    • YouTube-Rechteinhaber: content_owner_id und table_suffix
  • integer ist ein Wert zwischen 0 und 30. Informationen zum Festlegen des Aktualisierungsfensters finden Sie in der Dokumentation für den jeweiligen Übertragungstyp.
  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Beispiele:

Geben Sie den folgenden Befehl ein, um den Anzeigenamen, das Ziel-Dataset, das Aktualisierungsfenster und die Parameter für die Google Ads-Übertragung projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 zu aktualisieren.

bq update \
--display_name='My changed transfer' \
--target_dataset=mydataset2 \
--params='{"customer_id":"123-123-5678"}' \
--refresh_window_days=3 \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.transferConfigs.patch und geben Sie den Ressourcennamen der Übertragung mithilfe des Parameters transferConfig.name an. Wenn Sie den Ressourcennamen der Übertragung nicht kennen, geben Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten, oder rufen Sie die Methode projects.locations.transferConfigs.list auf und geben Sie die Projekt-ID mithilfe des Parameters parent an.

Backfill- und Aktualisierungsausführungen einrichten

Aktualisieren

Für diese Übertragungstypen sind keine Backfills verfügbar. Sie können jedoch eine Aktualisierungsausführung einrichten.

Backfilling

Daten-Backfills können Sie jederzeit manuell initiieren. Außer den Quell-Limits ist zu beachten, dass BigQuery Data Transfer Service eine Backfill-Anfrage für maximal 180 Tage unterstützt. Gleichzeitige Backfill-Anfragen werden nicht unterstützt.

Informationen darüber, wie viele Daten für Backfills verfügbar sind, finden Sie in der Dokumentation zu Ihrer Datenquelle:

  • Campaign Manager
  • Google Ad Manager
  • Google Ads
    • Wenn Sie einen Backfill für Google Ads einrichten, werden einmal täglich Snapshots von Match-Tables erstellt und in der Partition für das letzte Ausführungsdatum gespeichert. Bei der Planung eines Backfills werden die Match-Table-Snapshots für die folgenden Tabellen NICHT aktualisiert:
      • Ad
      • AdGroup
      • Altersbereich
      • Zielgruppe
      • BidGoal
      • Budget
      • Kampagne
      • Kriterien
      • Kunde
      • Geschlecht
      • Keyword
      • LocationBasedCampaignCriterion
      • Elternstatus
      • Placement
      • Video
  • Google Merchant Center (Beta)
  • Google Play
  • Search Ads 360
    • Wenn Sie einen Backfill für Search Ads 360 einrichten, werden einmal täglich Snapshots von Match-Tables erstellt und in der Partition für das letzte Ausführungsdatum gespeichert. Bei der Planung eines Backfills werden die Match-Table-Snapshots für die folgenden Tabellen NICHT aktualisiert:
      • Account
      • Ad
      • Advertiser
      • AdGroup
      • AdGroupTarget
      • BidStrategy
      • Campaign
      • CampaignTarget
      • FeedItem
      • FloodlightActivity
      • Keyword
      • NegativeAdGroupKeyword
      • NegativeAdGroupTarget
      • NegativeCampaignKeyword
      • NegativeCampaignTarget
      • ProductAdvertising
      • ProductGroup
      • ProductLeadAndC CrossSellFloodlightStats
      • Video
      • Placement
      • Video
  • YouTube – Kanalberichte
  • YouTube – Rechteinhaberberichte

Beachten Sie, dass Backfills für Cloud Storage-Übertragungen nicht verfügbar sind.. Sie können jedoch eine Aktualisierungsausführung einer Cloud Storage-Übertragung einrichten.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.update, um einen Backfill zu planen. Die vordefinierte Cloud IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Backfill planen

So planen Sie ein Backfill:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Klicken Sie auf das Dreipunkt-Menü und wählen Sie Backfill planen aus.

  5. Wählen Sie im Dialogfeld Backfill planen das Startdatum und das Enddatum aus. Sie können die klassische BigQuery-Web-UI verwenden, um genauere Zeitangaben zu machen.

    Aktualisierungstermine festlegen

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI. BigQuery-Web-UI
  2. Klicken Sie auf Transfers.
  3. Klicken Sie auf der Seite Transfer auf die entsprechende Übertragung.
  4. Klicken Sie auf Schedule Backfill.

    Backfill planen

  5. Gehen Sie im Dialogfeld Schedule Run so vor:

    • Geben Sie unter Data Start Date das Startdatum im Format MM/TT/JJJJ ein oder wählen Sie das entsprechende Datum aus.
    • Geben Sie unter Data End Date das Enddatum im Format MM/TT/JJJJ ein oder wählen Sie das entsprechende Datum aus.
    • Klicken Sie auf OK.

    Backfill planen

bq

Geben Sie den Befehl bq mk mit dem Flag --transfer_run ein und legen Sie --start_time und --end_time fest.

bq mk \
--transfer_run \
--start_time='start_time' \
--end_time='end_time' \
resource_name

Dabei gilt:

  • start_time und end_time sind Zeitstempel, die in Z enden oder einen gültigen Zeitzonen-Offset enthalten. Beispiel:

    • 2017-08-19T12:11:35.00Z
    • 2017-05-25T00:00:00+00:00
  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Beispiele:

Geben Sie den folgenden Befehl ein, um einen Backfill für die Übertragungskonfiguration projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 zu planen.

bq mk \
--transfer_run \
--start_time 2017-05-25T00:00:00Z \
--end_time 2017-05-25T00:00:00Z \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.locations.transferConfigs.scheduleRuns und geben Sie die Übertragungskonfigurationsressource mithilfe des Parameters parent an.

Anmeldedaten aktualisieren

Bei einer Übertragung werden die Anmeldedaten des Nutzers, der sie erstellt hat, verwendet. Wenn Sie den einer Übertragung zugeordneten Nutzer ändern müssen, können Sie die Anmeldedaten der Übertragung aktualisieren. Dies ist hilfreich, wenn der Nutzer, der die Übertragung erstellt hat, der Organisation nicht mehr angehört.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.update, um Anmeldedaten zu aktualisieren. Die vordefinierte Cloud IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Anmeldedaten einer Übertragung aktualisieren

So aktualisieren Sie die Anmeldedaten für eine Übertragung:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf eine geeignete Übertragung in der Liste.

  4. Klicken Sie auf das Menü Dreipunkt-Menü und wählen Sie Anmeldedaten aktualisieren aus.

  5. Melden Sie sich in Ihrem Google-Konto an und klicken Sie auf Zulassen, um BigQuery Data Transfer Service die Berechtigung zum Anzeigen Ihrer Berichtsdaten und zum Aufrufen und Verwalten der Daten in BigQuery zu erteilen. Sie müssen Pop-ups von bigquery.cloud.google.com zulassen, damit das Berechtigungsfenster angezeigt wird.

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI. BigQuery-Web-UI
  2. Klicken Sie auf Transfers.
  3. Klicken Sie auf der Seite Transfer auf die entsprechende Übertragung.
  4. Klicken Sie auf Update credentials.
  5. Klicken Sie auf OK, wenn Sie dazu aufgefordert werden.
  6. Melden Sie sich in Ihrem Google-Konto an und klicken Sie auf Allow, um BigQuery Transfer Service die Berechtigung zum Anzeigen Ihrer Berichtsdaten und zum Aufrufen und Verwalten der Daten in BigQuery zu erteilen. Sie müssen Pop-ups von bigquery.cloud.google.com zulassen, damit das Berechtigungsfenster angezeigt wird.

bq

Geben Sie den Befehl bq update ein, fügen Sie den Ressourcennamen der Übertragungskonfiguration mit dem Flag --transfer_config hinzu und geben Sie das Flag --update_credentials an.

bq update \
--update_credentials=boolean \
--transfer_config \
resource_name

Dabei gilt:

  • boolean ist ein boolescher Wert, der angibt, ob die Anmeldedaten für die Übertragungskonfiguration aktualisiert werden sollen.
  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Beispiele:

Geben Sie den folgenden Befehl ein, um die Anmeldedaten für die Google Ads-Übertragung projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 zu aktualisieren.

bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.transferConfigs.patch und geben Sie die Parameter authorizationCode und updateMask an.

Übertragung deaktivieren

Wenn Sie eine Übertragung deaktivieren, wird dem Übertragungsnamen disabled hinzugefügt. Sobald die Übertragung deaktiviert ist, werden keine neuen Übertragungsausführungen geplant und keine neuen Backfills zugelassen. Alle laufenden Übertragungen werden abgeschlossen.

Bei der Deaktivierung einer Übertragung werden Daten, die bereits in BigQuery übertragen wurden, nicht entfernt. Für zuvor übertragene Daten werden die standardmäßigen Speicherkosten für BigQuery berechnet, bis Sie das Dataset löschen oder die Tabellen löschen.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.update, um eine Übertragung zu deaktivieren. Die vordefinierte Cloud IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Übertragung deaktivieren

So deaktivieren Sie eine Übertragung:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen in der Liste, die Sie deaktivieren möchten, auf die Übertragung.

  4. Klicken Sie auf DEAKTIVIEREN. Klicken Sie auf AKTIVIEREN, um die Übertragung wieder zu aktivieren.

Klassische UI

  1. Rufen Sie die klassische BigQuery-Web-UI auf.

    Zur klassischen BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf die Übertragung, die Sie deaktivieren möchten.

  4. Klicken Sie auf der Seite "Transfer properties" auf Disabled.

    Übertragung deaktivieren

  5. Klicken Sie nach dem Deaktivieren der Übertragung auf Save.

bq

Das Deaktivieren einer Übertragung wird von der CLI nicht unterstützt.

API

Verwenden Sie die Methode projects.locations.transferConfigs.patch und setzen Sie in der Ressource projects.locations.transferConfig die Option disabled auf true.

Übertragung löschen

Wenn eine Übertragung gelöscht wird, werden keine neuen Übertragungsausführungen geplant. Laufende Übertragungen werden beendet.

Beim Löschen einer Übertragung werden Daten, die bereits in BigQuery übertragen wurden, nicht entfernt. Für zuvor übertragene Daten werden die standardmäßigen Speicherkosten für BigQuery berechnet, bis Sie das Dataset löschen oder die Tabellen löschen.

Erforderliche Berechtigung

Sie benötigen Berechtigungen des Typs bigquery.transfers.update, um eine Übertragung zu löschen. Die vordefinierte Cloud IAM-Rolle bigquery.admin enthält Berechtigungen vom Typ bigquery.transfers.update.

Weitere Informationen zu Cloud IAM-Rollen in BigQuery Data Transfer Service finden Sie unter Referenz zur Zugriffssteuerung.

Übertragung löschen

So löschen Sie Ihre Übertragung:

Console

  1. Wechseln Sie in der Google Cloud Console zur BigQuery-Web-UI.

    Zur BigQuery-Web-UI

  2. Klicken Sie auf Übertragungen.

  3. Klicken Sie auf der Seite Übertragungen auf die Übertragung in der Liste, die Sie löschen möchten.

  4. Klicken Sie auf LÖSCHEN. Aus Sicherheitsgründen müssen Sie das Wort "Löschen" in ein Feld eingeben, um Ihre Absicht zu bestätigen.

Klassische UI

  1. Öffnen Sie die BigQuery-Web-UI.

    Zur klassischen BigQuery-Web-UI

  2. Klicken Sie auf Transfers.

  3. Klicken Sie auf die Übertragung, die Sie bearbeiten möchten.

  4. Klicken Sie auf der Seite "Transfer properties" auf Delete.

  5. Wenn Sie dazu aufgefordert werden, klicken Sie auf OK, um die Übertragung zu entfernen.

bq

Geben Sie den Befehl bq rm ein und fügen Sie den Ressourcennamen der Übertragungskonfiguration hinzu. Mit dem Flag -f können Sie eine Übertragungskonfiguration ohne Bestätigung löschen.

bq rm \
-f \
--transfer_config \
resource_name

Dabei gilt:

  • resource_name ist der Ressourcenname der Übertragung (auch als Übertragungskonfiguration bezeichnet). Wenn Sie den Ressourcennamen der Übertragung nicht kennen, führen Sie den Befehl bq ls --transfer_config --transfer_location=location aus, um alle Übertragungen aufzulisten.

Geben Sie beispielsweise den folgenden Befehl ein, um die Übertragungskonfiguration projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7 zu löschen.

bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Verwenden Sie die Methode projects.locations.transferConfigs.delete und geben Sie die zu löschende Ressource mithilfe des Parameters name an.