Diese Seite wurde von der Cloud Translation API übersetzt.

YouTube-Kanalübertragungen

Mit dem BigQuery Data Transfer Service für den YouTube-Connector können Sie wiederkehrende Ladejobs für Berichte zu YouTube-Kanälen planen und verwalten.

Unterstützte Berichte

Kanalberichte (automatisch in BigQuery geladen)

BigQuery Data Transfer Service für YouTube-Kanalberichte unterstützt die folgenden Berichtsoptionen:

Berichtsoption	Support
Unterstützte API-Version	18. Juni 2018
Wiederholungshäufigkeit	Täglich, ca. 14:10 UTC Sie können die Tageszeit konfigurieren.
Aktualisierungsfenster	Letzter Tag Nicht konfigurierbar
Maximale Backfill-Dauer	30 Tage Ab Juli 2018 sind YouTube-Berichte, die Verlaufsdaten enthalten, ab dem Zeitpunkt ihrer Erstellung 30 Tage lang verfügbar. (Berichte, die keine Verlaufsdaten enthalten, sind 60 Tage lang verfügbar.) Weitere Informationen finden Sie in der Dokumentation zur YouTube Reporting API unter Verlaufsdaten.

Informationen zur Umwandlung von YouTube-Kanalberichten in BigQuery-Tabellen und -Ansichten finden Sie unter Bericht zu YouTube-Kanälen umwandeln.

Datenaufnahme aus YouTube-Kanalübertragungen

Wenn Sie Daten von einem YouTube-Kanal in BigQuery übertragen, werden die Daten in BigQuery-Tabellen geladen, die nach Datum partitioniert sind. Die Tabellenpartition, in die die Daten geladen werden, entspricht dem Datum aus der Datenquelle. Wenn Sie mehrere Übertragungen für dasselbe Datum planen, überschreibt BigQuery Data Transfer Service die Partition für dieses Datum mit den neuesten Daten. Mehrere Übertragungen am selben Tag oder laufende Backfills führen nicht zu doppelten Daten; Partitionen für andere Daten sind nicht betroffen.

Fenster aktualisieren

Ein Aktualisierungsfenster ist die Anzahl der Tage, an denen eine Datenübertragung Daten zu einer Datenübertragung abruft. Wenn das Aktualisierungsfenster beispielsweise drei Tage beträgt und eine tägliche Übertragung erfolgt, ruft der BigQuery Data Transfer Service alle Daten aus Ihrer Quelltabelle der letzten drei Tage ab. In diesem Beispiel erstellt der BigQuery Data Transfer Service bei einer täglichen Übertragung eine neue BigQuery-Zieltabellenpartition mit einer Kopie der Daten der Quelltabelle vom aktuellen Tag und löst dann automatisch Backfill-Ausführungen aus, um die BigQuery-Zieltabellenpartitionen mit den Daten der Quelltabelle aus den letzten zwei Tagen zu aktualisieren. Die automatisch ausgelösten Backfill-Ausführungen überschreiben oder aktualisieren Ihre BigQuery-Zieltabelle entweder schrittweise oder aktualisieren sie, je nachdem, ob inkrementelle Aktualisierungen im BigQuery Data Transfer Service-Connector unterstützt werden oder nicht.

Wenn Sie eine Datenübertragung zum ersten Mal ausführen, werden alle Quelldaten abgerufen, die innerhalb des Aktualisierungszeitraums verfügbar sind. Wenn das Aktualisierungsfenster beispielsweise drei Tage beträgt und Sie die Datenübertragung zum ersten Mal ausführen, ruft der BigQuery Data Transfer Service alle Quelldaten innerhalb von drei Tagen ab.

Aktualisierungsfenster sind dem API-Feld TransferConfig.data_refresh_window_days zugeordnet.

Wenn Sie Daten außerhalb des Aktualisierungszeitraums abrufen möchten, z. B. Verlaufsdaten, oder Daten nach Übertragungsausfällen oder -lücken wiederherstellen möchten, können Sie einen Backfill-Vorgang initiieren oder planen.

Beschränkungen

Die maximal unterstützte Dateigröße für jeden Bericht beträgt 1.710 GB.
Die Mindesthäufigkeit, für die Sie eine Datenübertragung planen können, beträgt einmal alle 24 Stunden. Standardmäßig beginnt eine Datenübertragung zu dem Zeitpunkt, an dem Sie die Übertragung erstellen. Sie können die Startzeit der Datenübertragung jedoch beim Einrichten der Übertragung konfigurieren.
Der BigQuery Data Transfer Service unterstützt keine inkrementellen Datenübertragungen während der Übertragung eines YouTube-Rechteinhabers. Wenn Sie ein Datum für eine Datenübertragung angeben, werden alle Daten übertragen, die für dieses Datum verfügbar sind.
Sie können keine Datenübertragung für einen YouTube-Kanal erstellen, wenn Sie mit einer föderierten Identität angemeldet sind. Du kannst eine YouTube-Kanalübertragung nur erstellen, wenn du mit einem Google-Konto angemeldet bist.

Hinweise

Bevor du eine Datenübertragung für einen YouTube-Kanal erstellst, sind folgende Schritte erforderlich:

Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.
Erstellen Sie ein BigQuery-Dataset zum Speichern der YouTube-Daten.

Erforderliche Berechtigungen

Für das Erstellen einer Datenübertragung für YouTube-Kanäle ist Folgendes erforderlich:

YouTube: Eigentumsrechte des YouTube-Kanals
BigQuery: Die folgenden IAM-Berechtigungen (Identity and Access Management) in BigQuery:
- bigquery.transfers.update zum Erstellen der Übertragung.
- bigquery.datasets.get und bigquery.datasets.update für das Ziel-Dataset.
- Wenn Sie Benachrichtigungen über die Übertragungsausführung für Pub/Sub einrichten möchten, benötigen Sie die Berechtigungen pubsub.topics.setIamPolicy. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.

Die vordefinierte IAM-Rolle bigquery.admin enthält alle BigQuery-Berechtigungen, die du zum Erstellen einer Datenübertragung für einen YouTube-Kanal benötigst. Weitere Informationen zu IAM-Rollen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

YouTube-Kanalübertragung einrichten

Für die Einrichtung einer Datenübertragung für YouTube-Kanäle ist Folgendes erforderlich:

Tabellensuffix: Ein benutzerfreundlicher Name für den Kanal, den Sie beim Einrichten der Datenübertragung angegeben haben. Das Suffix wird an die Job-ID angefügt, um den Tabellennamen zu bilden, beispielsweise reportTypeId_suffix. Mit dem Suffix wird verhindert, dass bei unterschiedlichen Übertragungen in dieselbe Tabelle geschrieben wird. Das Tabellensuffix darf bei allen Übertragungen, bei denen Daten in dasselbe Dataset geladen werden, nur einmal vorkommen. Außerdem muss das Suffix kurz sein, damit der Tabellenname nicht zu lang wird.

Wenn Sie die YouTube Reporting API verwenden und Berichterstellungsjobs vorhanden sind, werden die Berichtsdaten von BigQuery Data Transfer Service geladen. Wenn keine Berichterstellungsjobs vorhanden sind, werden YouTube-Berichterstellungsjobs automatisch beim Einrichten der Übertragung aktiviert.

So erstellst du eine Datenübertragung für YouTube-Kanäle:

Console

Rufen Sie in der Google Cloud Console die Seite Datenübertragungen auf.

Zu „Datenübertragungen”
Klicken Sie auf Übertragung erstellen.
Auf der Seite Übertragung erstellen:
- Wählen Sie im Abschnitt Source type (Quelltyp) für Source (Quelle) die Option YouTube-Kanal aus.
- Geben Sie im Abschnitt Transfer config name (Konfigurationsname für Übertragung) für Display name (Anzeigename) einen Namen wie My Transfer für die Datenübertragung ein. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
- Im Abschnitt Zeitplanoptionen:
  - Wählen Sie für Wiederholungshäufigkeit aus, wie oft die Übertragung ausgeführt werden soll. Wenn Sie Tage auswählen, geben Sie eine gültige Zeit in UTC an.
    - Stunden
    - Tage
    - On demand
  - Wählen Sie gegebenenfalls Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.
- Wählen Sie im Abschnitt Destination settings (Zieleinstellungen) für Destination dataset (Ziel-Dataset) das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.
- Im Abschnitt Data source details (Details zur Datenquelle):
  - Geben Sie für Table suffix (Tabellensuffix) ein Suffix ein, beispielsweise MT.
  - Klicken Sie das Kästchen Jobs konfigurieren an, damit BigQuery-YouTube-Berichterstellungsjobs verwalten können. Wenn YouTube-Berichte vorhanden sind, die noch nicht für Ihr Konto zur Verfügung stehen, werden neue Berichterstellungsjobs erstellt, um sie zu aktivieren.
- Optional: Im Abschnitt Notification options (Benachrichtigungsoptionen):
  - Klicken Sie auf die Umschaltfläche, um E-Mail-Benachrichtigungen zu aktivieren. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E-Mail-Benachrichtigung, wenn ein Übertragungsvorgang fehlschlägt.
  - Wählen Sie unter Pub/Sub-Thema auswählen Ihr Thema aus oder klicken Sie auf Thema erstellen. Mit dieser Option werden Pub/Sub-Ausführungsbenachrichtigungen für Ihre Datenübertragung konfiguriert.
Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an. Die folgenden Flags sind ebenfalls erforderlich:

--data_source
--target_dataset
--display_name
--params

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dabei gilt:

project_id ist die Projekt-ID.
dataset ist das Ziel-Dataset für die Übertragungskonfiguration.
name ist der Anzeigename für die Übertragungskonfiguration. Der Datenübertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
parameters enthält die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Für Datenübertragungen von YouTube-Kanälen müssen Sie den Parameter table_suffix angeben. Optional können Sie den Parameter configure_jobs auf true setzen, damit BigQuery Data Transfer Service für Sie YouTube-Berichterstellungsjobs verwalten kann. Wenn YouTube-Berichte vorhanden sind, die zurzeit nicht für Ihren Kanal zur Verfügung stehen, werden neue Berichterstellungsjobs erstellt, um sie zu aktivieren.
data_source ist die Datenquelle: youtube_channel.

Sie können auch das Flag --project_id bereitstellen, um ein bestimmtes Projekt anzugeben. Wenn --project_id nicht angegeben ist, wird das Standardprojekt verwendet.

Mit dem folgenden Befehl wird beispielsweise eine Datenübertragung für YouTube-Kanäle mit dem Namen My Transfer und dem Tabellensuffix MT sowie dem Ziel-Dataset mydataset erstellt. Die Datenübertragung wird im Standardprojekt erstellt:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

API

Verwenden Sie die Methode projects.locations.transferConfigs.create und geben Sie eine Instanz der Ressource TransferConfig an.

Java

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Daten abfragen

Bei der Übertragung Ihrer Daten in BigQuery werden die Daten in zeitpartitionierte Tabellen geschrieben. Weitere Informationen finden Sie unter Einführung in partitionierte Tabellen.

Wenn Sie die Tabellen direkt abfragen, anstatt die automatisch generierten Ansichten zu verwenden, müssen Sie in der Abfrage die Pseudospalte _PARTITIONTIME verwenden. Weitere Informationen finden Sie unter Partitionierte Tabellen abfragen.

Fehler beim Einrichten der YouTube-Kanalübertragung beheben

Bei Problemen beim Einrichten von Datenübertragungen finden Sie weitere Informationen unter Fehlerbehebung bei Übertragungskonfigurationen im Abschnitt Übertragungsprobleme mit YouTube.