Drittanbieter-Übertragungen verwenden

Mit Drittanbieter-Übertragungen an BigQuery Data Transfer Service können Sie wiederkehrende Ladeaufträge für externe Datenquellen wie Salesforce CRM, Adobe Analytics und Facebook Ads automatisch planen und verwalten.

Hinweis

Vor der Datenübertragung durch einen Drittanbieter sind folgende Schritte erforderlich:

• Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.
• Erstellen Sie ein BigQuery-Dataset zum Speichern der Daten.

• Sorgen Sie dafür, dass die Person, die die Übertragung erstellt, die folgenden Berechtigungen in BigQuery hat:

  • bigquery.transfers.update Berechtigungen zum Erstellen der Übertragung
  • Die Berechtigungen bigquery.datasets.get und bigquery.datasets.update für das Ziel-Dataset

  Die vordefinierte IAM-Rolle bigquery.admin enthält die Berechtigungen bigquery.transfers.update, bigquery.datasets.update und bigquery.datasets.get. Weitere Informationen zu IAM-Rollen in BigQuery Data Transfer Service finden Sie in der Zugriffssteuerung.

• Lesen Sie die Dokumentation zur Datenquelle Ihres Drittanbieters, um sicherzustellen, dass Sie alle erforderlichen Berechtigungen zum Aktivieren der Übertragung konfiguriert haben.

• Wenn Sie Benachrichtigungen über die Übertragungsausführung für Pub/Sub einrichten möchten, benötigen Sie die Berechtigungen pubsub.topics.setIamPolicy. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.

Beschränkungen

Drittanbieter-Übertragungen unterliegen den folgenden Beschränkungen:

• Zum Erstellen oder Aktualisieren der Übertragung eines Drittanbieters verwenden Sie die Google Cloud Console.
• Derzeit können Sie mit dem bq-Befehlszeilentool keine Drittanbieter-Übertragungen konfigurieren oder aktualisieren.

Drittanbieter-Datenübertragung einrichten

So erstellen Sie eine Drittanbieter-Datenübertragung mithilfe der Google Cloud Console:

1. Rufen Sie Google Cloud Marketplace auf.

   Google Cloud Marketplace aufrufen

2. Klicken Sie auf den entsprechenden Drittanbieter.

3. Klicken Sie auf der Dokumentationsseite für den Drittanbieter auf Enroll (Anmelden). Die Anmeldung kann einen Augenblick dauern.

4. Wenn die Anmeldung abgeschlossen ist, klicken Sie auf Configure Transfer (Übertragung konfigurieren).

5. Gehen Sie auf der Seite Create Transfer (Übertragung erstellen) so vor:

   • Wählen Sie als Source (Quelle) die passende Drittanbieter-Datenquelle aus. Sie können auf Explore Data Sources (Datenquellen erkunden) klicken, um die Liste der Drittanbieter im Google Cloud Marketplace aufzurufen.

     

   • Geben Sie als Display name (Anzeigename) einen Namen wie My Transfer für die Übertragung ein. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung einfach identifizieren können, wenn Sie sie später ändern müssen.

     

   • Übernehmen Sie für Schedule (Zeitplan) den Standardwert (Start now) (Jetzt starten) oder klicken Sie auf Start at a set time (Zu einer festgelegten Zeit starten).

     • Wählen Sie für Repeats (Wiederholungen) eine Option aus, wie oft die Übertragung ausgeführt werden soll. Es gibt folgende Optionen:

       • Daily (Täglich (Standardeinstellung))
       • Wöchentlich
       • Monatlich
       • Benutzerdefiniert
       • On demand

       Wenn Sie eine andere Option als "Daily" ("Täglich") auswählen, sind zusätzliche Optionen verfügbar. Wenn Sie beispielsweise "Weekly" ("Wöchentlich") auswählen, wird eine Option zur Auswahl des Wochentags angezeigt.

     • Geben Sie für Start date and run time (Startdatum und Laufzeit) das Datum und die Uhrzeit für den Start der Übertragung ein. Wenn Sie Start now (Jetzt starten) auswählen, ist diese Option deaktiviert.

       

   • Wählen Sie für Destination dataset (Ziel-Dataset) das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.

     

   • Optional: Im Abschnitt Notification options (Benachrichtigungsoptionen):

     • Klicken Sie auf den Umschalter, um E-Mail-Benachrichtigungen zu aktivieren. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
     • Wählen Sie für Select a Pub/Sub topic den Namen Ihres Themas aus oder klicken Sie auf Create a topic, um eines zu erstellen. Mit dieser Option werden Pub/Sub-Ausführungsbenachrichtigungen für Ihre Übertragung konfiguriert.

6. Klicken Sie auf Mit Quelle verbinden.

   Hinweis: Wenn Sie kein Ziel-Dataset ausgewählt haben und auf Quelle verbinden klicken, wird der folgende Fehler ausgegeben: A selected destination dataset is required before connecting to the source.

7. Klicken Sie auf Accept (Akzeptieren), wenn Sie dazu aufgefordert werden, um BigQuery Data Transfer Service die Berechtigung zu erteilen, eine Verbindung zur Datenquelle herzustellen und Ihre Daten in BigQuery zu verwalten.

8. Folgen Sie der Anleitung auf den folgenden Seiten, um die Verbindung zu Ihrer externen Datenquelle zu konfigurieren.

9. Nachdem Sie die Konfigurationsschritte abgeschlossen haben, klicken Sie auf Save (Speichern).

Fehlerbehebung bei der Einrichtung von Drittanbieter-Übertragungen

Wenn Sie Probleme beim Einrichten Ihrer Übertragung haben, wenden Sie sich an den entsprechenden Drittanbieter. Kontaktdaten finden Sie auf der Dokumentationsseite der Übertragung im Google Cloud Marketplace.

Daten abfragen

Bei der Übertragung Ihrer Daten in BigQuery werden die Daten in zeitpartitionierte Tabellen geschrieben. Weitere Informationen finden Sie unter Einführung in partitionierte Tabellen.

Wenn Sie die Tabellen direkt abfragen, anstatt die automatisch generierten Ansichten zu verwenden, müssen Sie in der Abfrage die Pseudospalte _PARTITIONTIME verwenden. Weitere Informationen finden Sie unter Partitionierte Tabellen abfragen.

Weitere Informationen

• Eine Übersicht über BigQuery Data Transfer Service finden Sie unter Einführung in BigQuery Data Transfer Service.
• Informationen zum Verwenden von Übertragungen, einschließlich des Abrufs von Informationen zu einer Übertragungskonfiguration, des Auflistens von Übertragungskonfigurationen und des Aufrufs des Ausführungsverlaufs der Übertragung finden Sie unter Mit Übertragungen arbeiten.