Paket „google.cloud.bigquery.datatransfer.v1“

Index

DataSourceService

Mit der Google BigQuery Data Transfer API können BigQuery-Nutzer die Übertragung ihrer Daten aus anderen Google-Produkten zu BigQuery konfigurieren. Dieser Dienst stellt Methoden zur Verfügung, die vom Datenquellen-Back-End zu verwenden sind.

CreateDataSourceDefinition

rpc CreateDataSourceDefinition(CreateDataSourceDefinitionRequest) returns (DataSourceDefinition)

Erstellt eine Datenquellendefinition. Wenn Sie diese Methode aufrufen, werden automatisch Ihre Anmeldedaten zum Erstellen der folgenden Google Cloud-Ressourcen in IHREM Google Cloud-Projekt verwendet: 1. OAuth-Client 2. Pub/Sub-Themen und -Abos in "supported_location_ids projects/{project_id}/{topics|subscriptions}/bigquerydatatransfer.{data_source_id}.{location_id}.run". Das Feld "data_source.client_id" sollte in der Eingabeaufforderung leer bleiben, da die API im Namen des Aufrufers einen neuen OAuth-Client erstellt. Auf der anderen Seite muss "data_source.scopes" normalerweise festgelegt werden, wenn OAuth-Bereiche vorhanden sind, die von Endnutzern erteilt werden müssen.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

DeleteDataSourceDefinition

rpc DeleteDataSourceDefinition(DeleteDataSourceDefinitionRequest) returns (Empty)

Löscht die Definition einer Datenquelle. Dafür müssen zuvor alle mit dieser Datenquellendefinition zusammenhängenden Übertragungskonfigurationen (falls vorhanden) in ALLEN REGIONEN vom Nutzer gelöscht werden. Erst dann kann die Datenquellendefinition entfernt werden. Diese Methode ist primär zum Löschen von Datenquellen gedacht, die während der Testphase erstellt wurden. Wenn auf die Datenquelle durch Übertragungskonfigurationen in der Region, die in der Anfrage-URL festgelegt ist, Bezug genommen wird, schlägt die Methode umgehend fehl. Wenn die Datenquelle in der aktuellen Region (z. B. USA) von keiner Übertragungskonfiguration verwendet, jedoch in einer anderen Region (z. B. EU) genutzt wird, ist die Methode zwar in der US-Region erfolgreich, schlägt aber beim Löschen des Vorgangs in der EU-Region fehl. Außerdem wird möglicherweise die Datenquellendefinition von der EU in die USA vom System zurückrepliziert, um alle Regionen einheitlich zu gestalten. Das hat dann zur Folge, dass die Datenquelle in der Region USA „wiederhergestellt“ wird.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

FinishRun

rpc FinishRun(FinishRunRequest) returns (Empty)

Teilt Data Transfer Service mit, dass die Datenquelle die Ausführung verarbeitet hat. Es werden keine Statusaktualisierungen oder Requests zum Starten/Überwachen von Jobs mehr akzeptiert. Die Ausführung wird vom Data Transfer Service abgeschlossen, wenn alle überwachten Jobs verarbeitet wurden. Muss nicht aufgerufen werden, wenn die Ausführung als fehlgeschlagen markiert ist.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

GetDataSourceDefinition

rpc GetDataSourceDefinition(GetDataSourceDefinitionRequest) returns (DataSourceDefinition)

Ruft eine vorhandene Datenquellendefinition ab.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ListDataSourceDefinitions

rpc ListDataSourceDefinitions(ListDataSourceDefinitionsRequest) returns (ListDataSourceDefinitionsResponse)

Listet unterstützte Datenquellendefinitionen auf.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

LogTransferRunMessages

rpc LogTransferRunMessages(LogTransferRunMessagesRequest) returns (Empty)

Protokolliert Nachrichten für eine Übertragungsausführung. Bei Erfolg (mindestens 1 Nachricht) wird der Timer "data_source.update_deadline_seconds" zurückgesetzt.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

StartBigQueryJobs

rpc StartBigQueryJobs(StartBigQueryJobsRequest) returns (Empty)

Teilt Data Transfer Service mit, dass die Daten geladen werden können. Der Data Transfer Service startet und überwacht mehrere BigQuery-Ladejobs für eine Übertragungsausführung. Überwachte Jobs werden automatisch wiederholt und beim Starten und Beenden eines Jobs werden Log-Nachrichten generiert. Kann für eine Übertragungsausführung mehrfach aufgerufen werden.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

UpdateDataSourceDefinition

rpc UpdateDataSourceDefinition(UpdateDataSourceDefinitionRequest) returns (DataSourceDefinition)

Aktualisiert eine vorhandene Datenquellendefinition. Wenn "supported_location_ids" geändert wird, hat dies denselben Effekt, wie unter "Datenquellendefinition erstellen" angegeben.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

UpdateTransferRun

rpc UpdateTransferRun(UpdateTransferRunRequest) returns (TransferRun)

Aktualisiert eine Übertragungsausführung. Bei Erfolg wird der Timer "data_source.update_deadline_seconds" zurückgesetzt.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

DataTransferService

Mit der Google BigQuery Data Transfer Service API können BigQuery-Nutzer die Übertragung ihrer Daten aus anderen Google-Produkten zu BigQuery konfigurieren. Dieser Dienst enthält Methoden, die für den Endnutzer verfügbar sind. Er sichert das Front-End.

CheckValidCreds

rpc CheckValidCreds(CheckValidCredsRequest) returns (CheckValidCredsResponse)

Gibt „true“ zurück, wenn gültige Anmeldedaten für die angegebene Datenquelle und den Nutzer, der die Anfrage stellt, vorhanden sind. Einige Datenquellen unterstützen kein Dienstkonto, sodass im Namen des Endnutzers mit ihnen kommuniziert werden muss. Diese API prüft lediglich, ob ein OAuth-Token für den jeweiligen Nutzer vorhanden ist. Diese Voraussetzung muss erfüllt sein, damit der Nutzer eine Übertragungskonfiguration erstellen kann.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

CreateTransferConfig

rpc CreateTransferConfig(CreateTransferConfigRequest) returns (TransferConfig)

Erstellt eine neue Konfiguration einer Datenübertragung.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

DeleteTransferConfig

rpc DeleteTransferConfig(DeleteTransferConfigRequest) returns (Empty)

Löscht die Konfiguration einer Datenübertragung, einschließlich zugehöriger Übertragungsausführungen und Logs.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

DeleteTransferRun

rpc DeleteTransferRun(DeleteTransferRunRequest) returns (Empty)

Löscht die angegebene Übertragungsausführung.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

EnableDataTransferService

rpc EnableDataTransferService(EnableDataTransferServiceRequest) returns (Empty)

Aktiviert Data Transfer Service für ein angegebenes Projekt. Diese Methode erfordert den zusätzlichen Bereich "https://www.googleapis.com/auth/cloudplatformprojects" zum Verwalten der Berechtigungen des Cloudprojekts.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

GetDataSource

rpc GetDataSource(GetDataSourceRequest) returns (DataSource)

Ruft eine unterstützte Datenquelle ab und gibt deren Einstellungen zurück. Diese können für das UI-Rendering verwendet werden.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

GetTransferConfig

rpc GetTransferConfig(GetTransferConfigRequest) returns (TransferConfig)

Gibt Informationen zur Konfiguration einer Datenübertragung zurück.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

GetTransferRun

rpc GetTransferRun(GetTransferRunRequest) returns (TransferRun)

Gibt Informationen zur jeweiligen Übertragungsausführung zurück.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

IsDataTransferServiceEnabled

rpc IsDataTransferServiceEnabled(IsDataTransferServiceEnabledRequest) returns (IsDataTransferServiceEnabledResponse)

Gibt „true“ zurück, wenn die Datenübertragung für ein Projekt aktiviert ist.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ListDataSources

rpc ListDataSources(ListDataSourcesRequest) returns (ListDataSourcesResponse)

Listet unterstützte Datenquellen auf und gibt deren Einstellungen zurück. Diese können für das UI-Rendering verwendet werden.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ListTransferConfigs

rpc ListTransferConfigs(ListTransferConfigsRequest) returns (ListTransferConfigsResponse)

Gibt Informationen zu allen Datenübertragungen im Projekt zurück.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ListTransferLogs

rpc ListTransferLogs(ListTransferLogsRequest) returns (ListTransferLogsResponse)

Gibt Lognachrichten an den Nutzer für die Ausführung der Datenübertragung zurück.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ListTransferRuns

rpc ListTransferRuns(ListTransferRunsRequest) returns (ListTransferRunsResponse)

Gibt Informationen zu laufenden und abgeschlossenen Jobs zurück.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

ScheduleTransferRuns

rpc ScheduleTransferRuns(ScheduleTransferRunsRequest) returns (ScheduleTransferRunsResponse)

Erstellt Übertragungsausführungen für einen bestimmten Zeitraum [start_time, end_time]. Für jedes Datum bzw. jede von der Datenquelle unterstützte Granularität im Zeitraum wird genau eine Übertragungsausführung erstellt. Ausführungen werden gemäß UTC-Zeit im Zeitraum erstellt.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

UpdateTransferConfig

rpc UpdateTransferConfig(UpdateTransferConfigRequest) returns (TransferConfig)

Aktualisiert die Konfiguration einer Datenübertragung. Alle Felder müssen festgelegt werden, auch wenn sie nicht aktualisiert werden.

Autorisierungsbereiche

Erfordert den folgenden OAuth-Bereich:

  • https://www.googleapis.com/auth/cloud-platform

Weitere Informationen finden Sie in der Authentifizierungsübersicht.

CheckValidCredsRequest

Ein Request, mit dem ermittelt wird, ob für den Nutzer gültige Anmeldedaten vorliegen. Mit dieser Methode wird die Anzahl der OAuth-Pop-ups in der Benutzeroberfläche begrenzt. Die Nutzer-ID wird aus dem Kontext des API-Aufrufs abgeleitet. Wenn die Datenquelle den Berechtigungstyp "Google+" hat, gibt diese Methode "false" zurück, da allein anhand der Nutzer-ID nicht festgestellt werden kann, ob die Anmeldedaten bereits gültig sind.

Felder
name

string

Die Datenquelle im Format projects/{project_id}/dataSources/{data_source_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.get

CheckValidCredsResponse

Eine Antwort, die angibt, ob die Anmeldedaten vorhanden und gültig sind.

Felder
has_valid_creds

bool

Wenn dafür true festgelegt ist, sind die Anmeldedaten vorhanden und gültig.

CreateDataSourceDefinitionRequest

Stellt den Request der Methode "CreateDataSourceDefinition" dar.

Felder
parent

string

Die BigQuery-Projekt-ID, der die Datenquellendefinition zugeordnet ist. Muss in folgendem Format vorliegen: projects/{project_id}/locations/{location_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.datasources.update

data_source_definition

DataSourceDefinition

Die Definition der Datenquelle.

CreateTransferConfigRequest

Ein Request zum Erstellen einer Datenübertragungskonfiguration. Wenn für diese Übertragungskonfiguration neue Anmeldedaten benötigt werden, muss ein Autorisierungscode angegeben werden. Bei Angabe eines Autorisierungscodes wird die Übertragungskonfiguration der Nutzer-ID zugeordnet, die dem Autorisierungscode entspricht. Andernfalls wird die Übertragungskonfiguration dem aufrufenden Nutzer zugeordnet.

Felder
parent

string

Die BigQuery-Projekt-ID, in der die Übertragungskonfiguration erstellt werden soll. Muss im folgenden Format vorliegen: „/projects/{project_id}/locations/{location_id}“. Wenn der angegebene Standort und der Standort des BigQuery-Ziel-Datasets nicht übereinstimmen, schlägt die Anfrage fehl.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.update

transfer_config

TransferConfig

Die Konfiguration der Datenübertragung, die erstellt werden soll.

authorization_code

string

Ein optionaler OAuth2-Autorisierungscode, der mit dieser Übertragungskonfiguration verwendet werden soll. Dieser ist erforderlich, wenn neue Anmeldedaten benötigt werden, wie von CheckValidCreds angegeben. Zum Abrufen eines Autorisierungscodes senden Sie eine Anfrage an https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=&scope=&redirect_uri=.

  • Dabei muss „client_id“ die OAuth-Client-ID der BigQuery DTS API für die angegebene Datenquelle sein, die von der Methode „ListDataSources“ zurückgegeben wird.
  • "data_source_scopes" sind die Bereiche, die von der Methode "ListDataSources" zurückgegeben werden.
  • "redirect_uri" ist ein optionaler Parameter. Wenn er nicht angegeben ist, wird der Autorisierungscode an den Öffner des Autorisierungsfensters gesendet. Andernfalls wird er an den Weiterleitungs-URI gesendet. Der spezielle Wert „urn:ietf:wg:oauth:2.0:oob“ bedeutet, dass der Autorisierungscode in die Titelleiste des Browsers zurückgegeben werden soll. Dabei wird der Nutzer durch den Seitentext aufgefordert, den Code zu kopieren und in die Anwendung einzufügen.

DataSource

Stellt die Metadaten einer Datenquelle dar. Metadaten reichen aus, um die UI zu rendern und korrekte OAuth-Tokens anzufordern.

Felder
name

string

Nur Ausgabe. Name der Datenquellenressource.

data_source_id

string

Die ID der Datenquelle.

display_name

string

Der nutzerfreundliche Name der Datenquelle.

description

string

Der String mit der nutzerfreundlichen Beschreibung der Datenquelle.

client_id

string

Die Client-ID der Datenquelle, die zum Empfangen des Aktualisierungstokens verwendet werden soll.

scopes[]

string

Die API-Auth-Bereiche, für die Aktualisierungstokens abgerufen werden müssen. Dies sind Bereiche wie https://www.googleapis.com/auth/bigquery, die von einer Datenquelle zur Vorbereitung von Daten und deren Aufnahme in BigQuery benötigt werden.

transfer_type
(deprecated)

TransferType

Verworfen. Dieses Feld hat keine Auswirkung.

supports_multiple_transfers
(deprecated)

bool

Verworfen. Dieses Feld hat keine Auswirkung.

update_deadline_seconds

int32

Die Anzahl der Sekunden, die auf eine Aktualisierung von der Datenquelle zu warten ist, bevor der Data Transfer Service die Übertragung als fehlgeschlagen markiert.

default_schedule

string

Der Standardzeitplan für die Datenübertragung. Beispiele für gültige Zeitpläne sind 1st,3rd monday of month 15:30, every wed,fri of jan,jun 13:15 und first sunday of quarter 00:00.

supports_custom_schedule

bool

Gibt an, ob die Datenquelle einen benutzerdefinierten Zeitplan unterstützt oder einen Standardzeitplan nutzt. Wenn true festgelegt wird, kann der Nutzer den Standardzeitplan überschreiben.

parameters[]

DataSourceParameter

Die Parameter der Datenquelle.

help_url

string

Die URL des Hilfedokuments für diese Datenquelle.

authorization_type

AuthorizationType

Zeigt den Autorisierungstyp an.

data_refresh_type

DataRefreshType

Gibt an, ob die Datenquelle die automatische Datenaktualisierung für die letzten Tage unterstützt und wie diese unterstützt wird. Bei einigen Datenquellen sind die Daten möglicherweise erst einige Tage später vollständig. Daher ist zu empfehlen, die Daten automatisch zu aktualisieren.

default_data_refresh_window_days

int32

Das Standardzeitfenster für die Datenaktualisierung in Tagen. Dieser Wert ist nur sinnvoll, wenn data_refresh_type = SLIDING_WINDOW gilt.

manual_runs_disabled

bool

Deaktiviert den Backfill und die manuelle Ausführungsplanung für die Datenquelle.

minimum_schedule_interval

Duration

Das Mindestintervall, das der Planer zur Planung von Ausführungen verwenden kann.

redirect_url

string

Die Weiterleitungs-URL für den Abschluss der Einrichtung der Übertragungskonfiguration für externe Datenquellen.

AuthorizationType

Der Autorisierungstyp, der für diese Datenquelle erforderlich ist.

Enums
AUTHORIZATION_TYPE_UNSPECIFIED Der Typ ist nicht angegeben.
AUTHORIZATION_CODE Verwendet OAuth 2-Autorisierungscodes, die im Back-End gegen ein Aktualisierungstoken ausgetauscht werden können.
GOOGLE_PLUS_AUTHORIZATION_CODE Gibt einen Autorisierungscode für eine bestimmte Google+ Seite zurück, der anschließend im Back-End gegen ein Aktualisierungstoken ausgetauscht werden kann.

DataRefreshType

Stellt dar, wie die Datenquelle die automatische Datenaktualisierung unterstützt.

Enums
DATA_REFRESH_TYPE_UNSPECIFIED Die Datenquelle unterstützt die automatische Datenaktualisierung nicht. Dies ist der Standardwert.
SLIDING_WINDOW Die Datenquelle unterstützt die automatische Datenaktualisierung und es werden Ausführungen für die letzten Tage geplant. Es können keine benutzerdefinierten Werte für die einzelnen Übertragungskonfigurationen festgelegt werden.
CUSTOM_SLIDING_WINDOW Die Datenquelle unterstützt die automatische Datenaktualisierung und es werden Ausführungen für die letzten Tage geplant. Benutzerdefinierte Werte können für die einzelnen Übertragungskonfigurationen festgelegt werden.

DataSourceDefinition

Stellt die Datenquellendefinition dar.

Felder
name

string

Der Ressourcenname der Datenquellendefinition. Namen von Datenquellendefinitionen haben das Format projects/{project_id}/locations/{location}/dataSourceDefinitions/{data_source_id}.

data_source

DataSource

Datenquellenmetadaten

transfer_run_pubsub_topic

string

Das Pub/Sub-Thema, das beim Erstellen einer Übertragungsausführung für das Senden einer Nachricht verwendet werden soll. Sie können für dieses Thema und für „transfer_config_pubsub_topic“ ein benutzerdefiniertes Thema festlegen. Standardmäßig werden beide Themen automatisch generiert, wenn beim Erstellen der Definition kein Thema ausgewählt wurde. Wird jedoch ein Thema manuell festgelegt, muss das andere Thema auch manuell festgelegt werden. Der einzige Unterschied besteht darin, dass „transfer_run_pubsub_topic“ ein nicht leeres Pub/Sub-Thema sein muss, während für „transfer_config_pubsub_topic“ ein leerer Wert festgelegt werden kann. Die Kommentare zu „{location}“ für „transfer_config_pubsub_topic“ gelten auch hier.

run_time_offset

Duration

Die Dauer, die „schedule_time“ hinzugefügt werden muss, um den Wert für „run_time“ beim Planen des Jobs zu berechnen. Gilt nur für automatisch geplante Übertragungsausführungen. Wird verwendet, um für eine Datenquelle eine vorzeitige Ausführung zu starten, die eine kontinuierliche Datenaktualisierung unterstützt, um unbekannte Zeitzonenverschiebungen auszugleichen. Verwenden Sie eine negative Zahl, um eine späte Ausführung für Datenquellen zu starten, die keine kontinuierliche Datenaktualisierung unterstützen.

support_email

string

Die Support-E-Mail-Adresse der Marke des OAuth-Clients, die die Daten des Zustimmungsbildschirms enthält.

service_account

string

Wenn ein Dienstkonto angegeben ist, gibt BigQuery das erstellte Dataset für das angegebene Dienstkonto frei. Außerdem ist dieses Dienstkonto berechtigt, Statusaktualisierungen und Message-Logging für Datenübertragungen für die entsprechende ID von „data_source_id“ auszuführen.

disabled

bool

Gibt an, ob die Datenquelle deaktiviert ist. Bei Einstellung auf "true" ist "data_source" nicht sichtbar. Von der API werden außerdem keine Datenübertragungskonfigurationen und/oder -ausführungen mehr zurückgeben, die der Datenquelle zugeordnet sind. Diese Einstellung hat Vorrang vor „whitelisted_project_ids“.

transfer_config_pubsub_topic

string

Das Pub/Sub-Thema, das für die Übertragungskonfiguration zum Senden einer Nachricht verwendet werden soll. Wenn das Feld leer ist, wird keine Nachricht gesendet. Sowohl dieses Thema als auch „transfer_run_pubsub_topic“ wird automatisch generiert, wenn beim Erstellen der Definition keines dieser Themen angegeben wurde. Wir empfehlen die Festlegung von „transfer_config_pubsub_topic“, wenn vom Nutzer ein Thema für „transfer_run_pubsub_topic“ festgelegt wurde. Andernfalls wird für das Feld kein Wert verwendet. Wenn „{location}“ im Wert enthalten ist, bedeutet das, dass die Datenquelle Nachrichten für Datasets in verschiedenen Regionen separat verarbeiten soll. „{location}“ wird durch den tatsächlichen Dataset-Standort als tatsächlicher Themenname ersetzt. So wird dann beispielsweise „projects/connector/topics/scheduler-{location}“ zu „projects/connector/topics/scheduler-us“. Wenn „{location}“ nicht enthalten ist, wird der Eingabewert als Themenname verwendet.

supported_location_ids[]

string

Unterstützte „location_ids“, die festlegen, an welchen Standorten Pub/Sub-Themen erstellt werden müssen. Wenn benutzerdefinierte Pub/Sub-Themen verwendet werden und darin „{location}“ enthalten ist, werden IDs von „location_ids“ für die Validierung der Themen verwendet. Dabei wird „{location}“ durch den jeweiligen Standort aus der Liste ersetzt. Gültige Werte sind im Feld „location_id“ der Antwort von GET https://bigquerydatatransfer.googleapis.com/v1/{name=projects/*}/locations enthalten. Wenn die Datenquelle alle verfügbaren Regionen unterstützen soll, kann für „supported_location_ids“ außerdem der Wert „global“ (ein einzelnes Stringelement) festgelegt werden. Ist „global“ angegeben, ist Folgendes zu beachten: 1) Die Datenquellenimplementierung muss die Daten in der richtigen Region des Ziel-Datasets bereitstellen. 2) Entwickler von Datenquellen müssen sich der Auswirkungen der globalen Unterstützung bewusst sein (z. B. in Bezug auf die Netzwerklatenzlatenz oder auf potenzielle Kosten für regionsübergreifenden Traffic).

DataSourceParameter

Stellt einen Datenquellenparameter mit Validierungsregeln bereit, damit Parameter in der UI gerendert werden können. Diese Parameter werden von unterstützten Datenquellen bereitgestellt und enthalten alle erforderlichen Informationen für das Rendering und die Validierung. So kann jede Person, die diese API verwendet, selbst entscheiden, ob eine allgemeine UI oder ob eine benutzerdefinierte, datenquellenspezifische Variante generiert werden soll.

Felder
param_id

string

Die Kennzeichnung des Parameters.

display_name

string

Der Anzeigename des Parameters in der Benutzeroberfläche.

description

string

Die Beschreibung des Parameters.

type

Type

Der Typ des Parameters.

required

bool

Ob der Parameter erforderlich ist.

repeated

bool

Verworfen. Dieses Feld hat keine Auswirkung.

validation_regex

string

Ein regulärer Ausdruck, der zur Parametervalidierung verwendet werden kann.

allowed_values[]

string

Alle zulässigen Werte für den Parameter.

min_value

DoubleValue

Gibt für ganzzahlige Werte und Werte mit doppelter Genauigkeit den zulässigen Mindestwert an.

max_value

DoubleValue

Gibt für ganzzahlige Werte und Double-Werte den zulässigen Höchstwert an.

fields[]

DataSourceParameter

Verworfen. Dieses Feld hat keine Auswirkung.

validation_description

string

Die Beschreibung der Anforderungen für dieses Feld, falls die Eingabe des Nutzers dem Muster des regulären Ausdrucks oder den Mindest-/Höchstwerten nicht entspricht.

validation_help_url

string

Die URL zu einem Hilfedokument, in dem die Benennungsanforderungen näher erläutert werden.

immutable

bool

Kann nach dem anfänglichen Erstellvorgang nicht geändert werden.

recurse

bool

Verworfen. Dieses Feld hat keine Auswirkung.

Typ

Der Typ des Parameters.

Enums
TYPE_UNSPECIFIED Der Typ ist nicht angegeben.
STRING Ein Stringparameter.
INTEGER Ein Ganzzahlparameter (64 Bit). Wird als String in JSON serialisiert.
DOUBLE Ein Gleitkommaparameter mit doppelter Genauigkeit.
BOOLEAN Ein boolescher Parameter.
RECORD Verworfen. Dieses Feld hat keine Auswirkung.
PLUS_PAGE Die Seiten-ID für eine Google+ Seite.

DeleteDataSourceDefinitionRequest

Stellt die Anfrage der Methode "DeleteDataSourceDefinition" dar. Alle Übertragungskonfigurationen, die der Datenquelle zugeordnet sind, müssen zuerst gelöscht werden, bevor die Datenquelle gelöscht werden kann.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/locations/{location_id}/dataSourceDefinitions/{data_source_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.update

DeleteTransferConfigRequest

Ein Request zum Löschen von Datenübertragungsinformationen. Alle zugehörigen Übertragungsausführungen und Protokollnachrichten werden ebenfalls gelöscht.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/transferConfigs/{config_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.update

DeleteTransferRunRequest

Ein Request zum Löschen von Informationen zu Datenübertragungsausführungen.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.update

EnableDataTransferServiceRequest

Ein Request zum Aktivieren des Data Transfer Service für ein Projekt.

Felder
name

string

Der Name der Projektressource im Format projects/{project_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • resourcemanager.projects.update

FinishRunRequest

Ein Request zum Beenden einer Ausführung.

Felder
name

string

Der Name der Ressource im Format „projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}“.

GetDataSourceDefinitionRequest

Stellt den Request der Methode "GetDataSourceDefinition" dar.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.datasources.get

GetDataSourceRequest

Ein Request zum Abrufen von Informationen zu Datenquellen.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/dataSources/{data_source_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.get

GetTransferConfigRequest

Ein Request zum Abrufen von Informationen zu Datenübertragungen.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/transferConfigs/{config_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.get

GetTransferRunRequest

Ein Request zum Abrufen von Informationen zu Datenübertragungsausführungen.

Felder
name

string

Das Feld enthält den Namen der angeforderten Ressource, beispielsweise projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • bigquery.transfers.get

ImportedDataInfo

Beschreibt Daten, die importiert werden sollen.

Felder
sql

string

Die SQL-Abfrage, die auszuführen ist. Wenn das Feld leer ist, prüft die API, ob nur eine "table_def" angegeben ist, und lädt die entsprechende Tabelle. Es werden nur Standard-SQL-Abfragen angenommen. Legacy-SQL ist nicht zulässig.

destination_table_id

string

Tabelle, in die die Ergebnisse geschrieben werden sollen.

destination_table_description

string

Die Beschreibung einer Zieltabelle. Dies können mehrere Sätze oder Absätze sein, die den Inhalt der Tabelle ausführlich beschreiben.

table_defs[]

TableDefinition

Beschreibt OHNE den Parameter "sql" das Schema der Zieltabelle. Bei Verwendung MIT dem Parameter "sql" werden Tabellen mit Daten beschrieben, die außerhalb von BigQuery gespeichert sind.

user_defined_functions[]

string

Der Inline-Code für benutzerdefinierte Funktionsressourcen. Wird ignoriert, wenn der Parameter „sql“ leer ist.

write_disposition

WriteDisposition

Gibt die Aktion an, wenn die Zieltabelle bereits vorhanden ist.

Codierung

Die Codierung von Eingabedaten im CSV-/JSON-Format.

Enums
ENCODING_UNSPECIFIED Die Standardcodierung (UTF8).
ISO_8859_1 Die ISO_8859_1-Codierung.
UTF8 Die UTF8-Codierung.

FieldSchema

Definiert das Schema eines Feldes in den importierten Daten.

Felder
field_name

string

Der Name des Feldes. Entspricht [A-Za-z_][A-Za-z_0-9]{0,127}.

type

Type

Der Typ des Feldes.

is_repeated

bool

Ob das Feld wiederholt wird.

description

string

Die Beschreibung für dieses Feld.

schema

RecordSchema

Ist vorhanden, wenn "type" = RECORD.

Typ

Feldtyp LINT.IfChange.

Enums
TYPE_UNSPECIFIED Ungültiger Wert.
STRING 64 KB, UTF8.
INTEGER 64-Bit-signiert.
FLOAT 64-Bit-IEEE-Gleitkomma.
RECORD Aggregationstyp.
BYTES 64 KB, binär.
BOOLEAN Zweiwertig.
TIMESTAMP 64-Bit-signierte Mikrosekunde seit der UTC-Epoche.
DATE Ziviles Datum – Jahr, Monat, Tag.
TIME Zivile Uhrzeit – Stunde, Minute, Sekunde, Mikrosekunden.
DATETIME Kombination aus zivilem Datum und ziviler Uhrzeit.
NUMERIC Numerischer Typ mit einer Genauigkeit von 38 Dezimalstellen und einer Skalierung von 9 Dezimalstellen.
GEOGRAPHY Geografieobjekt (go/googlesql_geography).

Format

Das Datenformat.

Enums
FORMAT_UNSPECIFIED Nicht spezifiziertes Format. In diesem Fall muss das Format aus der Datenquelle abgeleitet werden.
CSV CSV-Format.
JSON Durch Zeilenumbruch getrenntes JSON.
AVRO Avro-Format. Siehe http://avro.apache.org.
RECORDIO RecordIO.
COLUMNIO ColumnIO.
CAPACITOR Capacitor.
PARQUET Parquet-Format. Siehe https://parquet.apache.org.
ORC ORC-Format. Siehe https://orc.apache.org.

RecordSchema

Beschreibt das Schema der Daten, die aufzunehmen sind.

Felder
fields[]

FieldSchema

Ein Feld pro Spalte im Datensatz.

TableDefinition

Die externe Tabellendefinition. Auf diese Tabellen kann in der Abfrage mit "name" verwiesen werden. Die Tabellen können wie jede andere Tabelle gelesen werden.

Felder
table_id

string

Die BigQuery-table_id (erforderlich). Mit diesem Feld wird in der Abfrage auf diese Tabelle verwiesen.

source_uris[]

string

Die URIs für die zu importierenden Daten. Alle URIs müssen aus demselben Speichersystem stammen.

format

Format

Beschreibt das Format der Daten in "source_uri".

max_bad_records

int32

Gibt die maximale Anzahl fehlerhafter Datensätze an, die ignoriert werden können. Wenn fehlerhafte Datensätze diesen Schwellenwert überschreiten, wird die Abfrage abgebrochen.

encoding

Encoding

Gegebenenfalls die Zeichencodierung der Eingabe (CSV, JSON). Ist standardmäßig auf UTF8 eingestellt.

csv_options

CsvOptions

CSV-spezifische Optionen.

schema

RecordSchema

Ein optionales Schema für die Daten. Wenn das Schema für JSON- und CSV-Formate nicht angegeben ist, wird versucht, es automatisch zu ermitteln.

ignore_unknown_values

BoolValue

Gibt an, ob zusätzliche Werte, die nicht im Tabellenschema enthalten sind, zulässig sind.

CsvOptions

CSV-spezifische Optionen.

Felder
field_delimiter

StringValue

Das Trennzeichen. Dies ist derzeit auf U+0001 bis U+00FF beschränkt. Während der Validierung werden zusätzliche Beschränkungen angewendet.

allow_quoted_newlines

BoolValue

Ob in CSV-Dateien Abschnitte in Anführungszeichen mit Zeilenumbrüchen zulässig sind. Wenn Abschnitte in Anführungszeichen mit Zeilenumbrüchen zulässig sind, können CSV-Dateien nicht geteilt werden.

quote_char

StringValue

Das Anführungszeichen. Dies ist derzeit auf U+0000 bis U+00FF beschränkt. Während der Validierung werden zusätzliche Beschränkungen angewendet. Legen Sie dieses Feld auf '\0' fest, um anzugeben, dass kein Anführungszeichen verwendet wird.

skip_leading_rows

Int64Value

Die Anzahl der führenden Zeilen, die übersprungen werden sollen.

allow_jagged_rows

BoolValue

Erlaubt Zeilen, in denen nachgestellte optionale Spalten fehlen.

IsDataTransferServiceEnabledRequest

Eine Request, mit dem ermittelt wird, ob die Datenübertragung für das Projekt aktiviert ist.

Felder
name

string

Der Name der Projektressource im Format projects/{project_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource name erforderlich:

  • resourcemanager.projects.get

IsDataTransferServiceEnabledResponse

Eine Antwort, die angibt, ob der Data Transfer Service für das Projekt aktiviert ist.

Felder
enabled

bool

Gibt an, ob Data Transfer Service für das Projekt aktiviert ist.

reason

string

Ein String mit zusätzlichen Informationen darüber, warum der Dienst als nicht aktiviert behandelt wird. Dieses Feld ist nur verfügbar, wenn für enable „false“ gilt.

ListDataSourceDefinitionsRequest

Stellt den Request der Methode "ListDataSourceDefinitions" dar.

Felder
parent

string

Die BigQuery-Projekt-ID, für die Datenquellen zurückgegeben werden sollen. Muss in folgendem Format vorliegen: projects/{project_id}/locations/{location_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.datasources.get

page_token

string

Das Paginierungstoken, mit dem eine bestimmte Seite der ListDataSourceDefinitionsRequest-Ergebnisliste angefordert werden kann. Bei mehrseitigen Ergebnissen gibt ListDataSourceDefinitionsResponse ein next_page-Token aus, das als page_token-Wert verwendet werden kann, um die nächste Seite der Ergebnisliste anzufordern.

page_size

int32

Die Seitengröße. Die Standardseitengröße ist der Höchstwert von 1.000 Ergebnissen.

ListDataSourceDefinitionsResponse

Gibt eine Liste der unterstützten Datenquellendefinitionen zurück.

Felder
data_source_definitions[]

DataSourceDefinition

Die Liste der unterstützten Datenquellendefinitionen.

next_page_token

string

Nur Ausgabe. Das Paginierungstoken für Folgeseiten. Bei mehrseitigen Ergebnislisten kann mit diesem Token in Form von ListDataSourceDefinitionsRequest.page_token die nächste Seite der Ergebnisliste angefordert werden.

ListDataSourcesRequest

Der Request zum Auflisten unterstützter Datenquellen und ihrer Datenübertragungseinstellungen.

Felder
parent

string

Die BigQuery-Projekt-ID, für die Datenquellen zurückgegeben werden sollen. Muss in folgendem Format vorliegen: projects/{project_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.get

page_token

string

Das Paginierungstoken, mit dem eine bestimmte Seite der ListDataSourcesRequest-Ergebnisliste angefordert werden kann. Bei mehrseitigen Ergebnissen gibt ListDataSourcesResponse ein next_page-Token aus, das als page_token-Wert verwendet werden kann, um die nächste Seite der Ergebnisliste anzufordern.

page_size

int32

Die Seitengröße. Die Standardseitengröße ist der Höchstwert von 1.000 Ergebnissen.

ListDataSourcesResponse

Gibt eine Liste der unterstützten Datenquellen und ihrer Metadaten zurück.

Felder
data_sources[]

DataSource

Die Liste der unterstützten Datenquellen und ihrer Übertragungseinstellungen.

next_page_token

string

Nur Ausgabe. Das Paginierungstoken für Folgeseiten. Bei mehrseitigen Ergebnislisten kann dieses Token in Form von ListDataSourcesRequest.page_token verwendet werden, um die nächste Seite der Ergebnisliste anzufordern.

ListTransferConfigsRequest

Ein Request zum Auflisten von Datenübertragungen, die für ein BigQuery-Projekt konfiguriert sind.

Felder
parent

string

Die BigQuery-Projekt-ID, für die Datenquellen zurückgegeben werden sollen: projects/{project_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.get

data_source_ids[]

string

Wenn angegeben, werden nur Konfigurationen angeforderter Datenquellen zurückgegeben.

page_token

string

Das Paginierungstoken, mit dem eine bestimmte Seite der ListTransfersRequest-Ergebnisliste angefordert werden kann. Bei mehrseitigen Ergebnissen gibt ListTransfersResponse ein next_page-Token aus, das als page_token-Wert verwendet werden kann, um die nächste Seite der Ergebnisliste anzufordern.

page_size

int32

Die Seitengröße. Die Standardseitengröße ist der Höchstwert von 1.000 Ergebnissen.

ListTransferConfigsResponse

Die zurückgegebene Liste der Pipelines im Projekt.

Felder
transfer_configs[]

TransferConfig

Nur Ausgabe. Die gespeicherten Pipeline-Übertragungskonfigurationen.

next_page_token

string

Nur Ausgabe. Das Paginierungstoken für Folgeseiten. Bei mehrseitigen Ergebnislisten kann dieses Token in Form von ListTransferConfigsRequest.page_token verwendet werden, um die nächste Seite der Ergebnisliste anzufordern.

ListTransferLogsRequest

Ein Request zum Abrufen von an den Nutzer gerichteten Protokollnachrichten in Zusammenhang mit der Datenübertragungsausführung.

Felder
parent

string

Der Name der Übertragungsausführung im Format projects/{project_id}/transferConfigs/{config_Id}/runs/{run_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.get

page_token

string

Das Paginierungstoken, mit dem eine bestimmte Seite der ListTransferLogsRequest-Ergebnisliste angefordert werden kann. Bei mehrseitigen Ergebnissen gibt ListTransferLogsResponse ein next_page-Token aus, das als page_token-Wert verwendet werden kann, um die nächste Seite der Ergebnisliste anzufordern.

page_size

int32

Die Seitengröße. Die Standardseitengröße ist der Höchstwert von 1.000 Ergebnissen.

message_types[]

MessageSeverity

Die Nachrichtentypen, die zurückgegeben werden sollen. Wenn dieses Feld nicht ausgefüllt ist, werden Nachrichten vom Typ INFO, WARNING und ERROR zurückgegeben.

ListTransferLogsResponse

Die zurückgegebene Liste der Nachrichten zur Übertragungsausführung.

Felder
transfer_messages[]

TransferMessage

Nur Ausgabe. Die gespeicherten Pipeline-Übertragungsnachrichten.

next_page_token

string

Nur Ausgabe. Das Paginierungstoken für Folgeseiten. Bei mehrseitigen Ergebnislisten kann dieses Token in Form von GetTransferRunLogRequest.page_token verwendet werden, um die nächste Seite der Ergebnisliste anzufordern.

ListTransferRunsRequest

Ein Request zum Auflisten der Datenübertragungsausführungen. Die UI kann mit dieser Methode bestimmte Datenübertragungsausführungen anzeigen lassen bzw. filtern. Die Datenquelle kann mit dieser Methode alle geplanten Übertragungsausführungen anfordern.

Felder
parent

string

Der Name der Übertragungskonfiguration, für die Übertragungsausführungen abgerufen werden sollen. Der Name der Ressource für die Übertragungskonfiguration hat das Format projects/{project_id}/transferConfigs/{config_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.get

states[]

TransferState

Wenn angegeben, werden nur Übertragungsausführungen mit angeforderten Statuswerten zurückgegeben.

page_token

string

Das Paginierungstoken, mit dem eine bestimmte Seite der ListTransferRunsRequest-Ergebnisliste angefordert werden kann. Bei mehrseitigen Ergebnissen gibt ListTransferRunsResponse ein next_page-Token aus, das als page_token-Wert verwendet werden kann, um die nächste Seite der Ergebnisliste anzufordern.

page_size

int32

Die Seitengröße. Die Standardseitengröße ist der Höchstwert von 1.000 Ergebnissen.

run_attempt

RunAttempt

Gibt an, wie Ausführungsversuche abgerufen werden sollen.

RunAttempt

Stellt dar, welche Ausführungen abgerufen werden sollen.

Enums
RUN_ATTEMPT_UNSPECIFIED Alle Ausführungen sollen zurückgegeben werden.
LATEST Nur die letzte Ausführung pro Tag soll zurückgegeben werden.

ListTransferRunsResponse

Die zurückgegebene Liste der Pipelines im Projekt.

Felder
transfer_runs[]

TransferRun

Nur Ausgabe. Die gespeicherten Pipeline-Übertragungsausführungen.

next_page_token

string

Nur Ausgabe. Das Paginierungstoken für Folgeseiten. Bei mehrseitigen Ergebnislisten kann dieses Token in Form von ListTransferRunsRequest.page_token verwendet werden, um die nächste Seite der Ergebnisliste anzufordern.

LogTransferRunMessagesRequest

Ein Request zum Hinzufügen von Übertragungsstatusnachrichten zur Ausführung.

Felder
name

string

Der Name der Ressource im Format „projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}“.

transfer_messages[]

TransferMessage

Die anzufügenden Nachrichten.

ScheduleTransferRunsRequest

Ein Request zum Planen von Übertragungsausführungen für einen Zeitraum.

Felder
parent

string

Der Name der Übertragungskonfiguration im Format projects/{project_id}/transferConfigs/{config_id}.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource parent erforderlich:

  • bigquery.transfers.update

labels

map<string, string>

Die Nutzerlabels, die den geplanten Ausführungen hinzugefügt werden sollen.

start_time

Timestamp

Die Startzeit des Zeitraums für Übertragungsausführungen, z. B. "2017-05-25T00:00:00+00:00".

end_time

Timestamp

Die Endzeit des Zeitraums für Übertragungsausführungen, z. B. "2017-05-30T00:00:00+00:00".

ScheduleTransferRunsResponse

Eine Antwort auf die Planung von Übertragungsausführungen für einen Zeitraum.

Felder
runs[]

TransferRun

Die geplanten Übertragungsausführungen.

StartBigQueryJobsRequest

Ein Request zum Starten und Überwachen eines BigQuery-Ladejobs.

Felder
name

string

Der Name der Ressource im Format „projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}“.

imported_data[]

ImportedDataInfo

Importiert Jobs, die gestartet und überwacht werden sollen.

user_credentials

bytes

Nutzeranmeldedaten, die zum Starten/Überwachen von BigQuery-Jobs verwendet werden sollen. Falls nicht angegeben, werden Jobs mit den Anmeldedaten des Datenquellen-Dienstkontos gestartet. Dies kann ein OAuth- oder JWT-Token sein.

TransferConfig

Stellt eine Datenübertragungskonfiguration dar. Eine Übertragungskonfiguration enthält alle Metadaten, die für eine Datenübertragung benötigt werden. Beispielsweise gibt destination_dataset_id an, wo Daten gespeichert werden sollen. Beim Erstellen einer neuen Übertragungskonfiguration wird die angegebene destination_dataset_id bei Bedarf angelegt und für das entsprechende Dienstkonto der Datenquelle freigegeben.

Felder
name

string

Der Ressourcenname der Übertragungskonfiguration. Die Namen von Übertragungskonfigurationen haben folgendes Format: projects/{project_id}/locations/{region}/transferConfigs/{config_id}. Der Name wird automatisch anhand der in „CreateTransferConfigRequest“ für „config_id“ angegebenen ID zusammen mit der ID für „project_id“ und der Region generiert. Ist „config_id“ nicht angegeben, wird normalerweise eine UUID für „config_id“ generiert. Dies ist aber weder garantiert noch immer erforderlich.

destination_dataset_id

string

Die ID des BigQuery-Ziel-Datasets.

display_name

string

Der benutzerdefinierte Anzeigename für die Datenübertragung.

data_source_id

string

Die ID der Datenquelle; Kann nicht geändert werden, nachdem die Datenübertragung erstellt wurde.

params

Struct

Datenübertragungsspezifische Parameter.

schedule

string

Der Zeitplan für die Datenübertragung; wenn die Datenquelle keinen benutzerdefinierten Zeitplan unterstützt, sollte dieses Feld leer sein. Wenn das Feld leer ist, wird der Standardwert für die Datenquelle verwendet. Die angegebenen Zeitpunkte werden in UTC angegeben. Beispiele für ein gültiges Format sind 1st,3rd monday of month 15:30, every wed,fri of jan,jun 13:15 und first sunday of quarter 00:00. Weitere Informationen zum Format finden Sie unter https://cloud.google.com/appengine/docs/flexible/python/scheduling-jobs-with-cron-yaml#the_schedule_format. HINWEIS: Die Granularität sollte mindestens acht Stunden betragen.

data_refresh_window_days

int32

Die Anzahl der Tage, die bei der automatischen Aktualisierung der Daten berücksichtigt werden soll. Wenn data_refresh_window_days = 10, dann übernimmt BigQuery beispielsweise jeden Tag Daten im Zeitraum [heute-10, heute-1] und nicht nur für [heute-1]. Nur gültig, wenn die Datenquelle die Funktion unterstützt. Legen Sie den Wert auf 0 fest, um den Standardwert zu verwenden.

disabled

bool

Ob diese Konfiguration deaktiviert ist; Wenn dieser Wert auf "true" gesetzt ist, werden für eine angegebene Übertragung keine Ausführungen geplant.

update_time

Timestamp

Nur Ausgabe. enthält den Änderungszeitpunkt der Datenübertragung. Wird vom Server bei der Eingabe ignoriert.

next_run_time

Timestamp

Nur Ausgabe. Der nächste Ausführungszeitpunkt der Datenübertragung.

state

TransferState

Nur Ausgabe. Enthält den Status der zuletzt aktualisierten Übertragungsausführung.

user_id

int64

Verworfen. Enthält die eindeutige ID des Nutzers, in dessen Namen die Daten übertragen werden.

dataset_region

string

Nur Ausgabe. Enthält die Region, in der sich das BigQuery-Dataset befindet.

partner_token

string

Eindeutige Kennung zur Ermittlung einer Übertragungseinrichtung, die bei einem externen Partner gespeichert wird. Das Token ist für DTS intransparent und kann nur vom Partner interpretiert werden. Die Datenquelle des Partners sollte eine Zuordnung zwischen der Konfigurations-ID und dem Token erstellen, um zu prüfen, ob die Übertragungskonfiguration/-ausführung zulässig ist.

partner_connection_info

Struct

Übertragungseinstellungen, die von Partnerdatenquellen verwaltet werden. Das Feld wird als Schlüssel/Wert-Paar gespeichert und nur für die Anzeige der DTS-UI verwendet. Dieses Feld soll aus zwei Gründen nicht zusammen mit dem Feld „params“ gespeichert werden: – Die Verbindungsinformationen werden vom Partner bereitgestellt und können anders als beim unveränderlichen Parameter nicht in der DTS-UI bearbeitet werden. Das Hinzufügen eines weiteren booleschen Parameters zu DataSourceParameter, um sie voneinander zu unterscheiden, würde zu Verwirrung führen. – Die Verbindungsinformationen können beliebige Schlüssel/Wert-Paare sein. Wenn sie zu „params“-Feldern hinzugefügt werden, muss der Partner sie in der Definition der Datenquelle festlegen. Es ist für Partner hilfreich, wenn dies vermieden werden kann.

TransferMessage

Stellt eine an den Nutzer gerichtete Nachricht für eine bestimmte Datenübertragungsausführung dar.

Felder
message_time

Timestamp

Der Zeitpunkt, zu dem die Nachricht protokolliert wurde.

severity

MessageSeverity

Die Wichtigkeitsstufe der Nachricht.

message_text

string

Der Text der Nachricht.

MessageSeverity

Stellt den Wichtigkeitsgrad der an den Nutzer gerichteten Nachricht zur Datenübertragung dar.

Enums
MESSAGE_SEVERITY_UNSPECIFIED Es ist kein Wichtigkeitsgrad angegeben.
INFO Eine Nachricht zur Information.
WARNING Eine Nachricht zur Warnung.
ERROR Eine Nachricht zu einem Fehler.
DEBUG Eine Nachricht zur Fehlerbehebung.

TransferRun

Stellt eine Datenübertragungsausführung dar.

Felder
name

string

Der Ressourcenname der Übertragungsausführung. Namen von Übertragungsausführungen haben das Format projects/{project_id}/locations/{location}/transferConfigs/{config_id}/runs/{run_id}. Der Name wird beim Erstellen einer Übertragungsausführung ignoriert.

labels

map<string, string>

Die Nutzerlabels.

schedule_time

Timestamp

Die Mindestzeit, nach der eine Übertragungsausführung gestartet werden kann.

run_time

Timestamp

Gibt bei Batchübertragungsausführungen das Datum und die Uhrzeit an, zu denen Daten aufgenommen werden sollen.

error_status

Status

Der Status der Übertragungsausführung.

start_time

Timestamp

Nur Ausgabe. enthält den Zeitpunkt, an dem die Übertragungsausführung gestartet wurde. Der Parameter wird vom Server bei Eingabe-Requests ignoriert.

end_time

Timestamp

Nur Ausgabe. enthält den Zeitpunkt, an dem die Übertragungsausführung beendet wurde. Der Parameter wird vom Server bei Eingabe-Requests ignoriert.

update_time

Timestamp

Nur Ausgabe. Der letzte Zeitpunkt, an dem der Status der Datenübertragungsausführung aktualisiert wurde.

params

Struct

Nur Ausgabe. enthält datenübertragungsspezifische Parameter.

destination_dataset_id

string

Nur Ausgabe. enthält die ID des BigQuery-Ziel-Datasets.

data_source_id

string

Nur Ausgabe. Die ID der Datenquelle.

state

TransferState

Der Status der Datenübertragungsausführung. Wird bei Eingabeanforderungen ignoriert.

user_id

int64

Verworfen. Enthält die eindeutige ID des Nutzers, in dessen Namen die Daten übertragen werden.

schedule

string

Nur Ausgabe. beschreibt den Zeitplan dieser Übertragungsausführung, wenn sie im Rahmen eines regulären Zeitplans erstellt wurde. Bei manuell geplanten Übertragungsausführungen im Batchmodus ist dieses Feld leer. HINWEIS: Es kann vorkommen, dass die Ausführung vom System je nach aktueller Arbeitslast gegenüber dem Zeitplan verzögert erfolgt. schedule_time wird deshalb nicht immer eingehalten.

partner_token

string

Nur Ausgabe. Dies ist das Token, das von TransferConfig initialisiert wurde. Das Partnertoken ist eine eindeutige Kennung, mit der eine Übertragungseinrichtung ermittelt wird, die auf einer externen Partnerseite gespeichert ist. Das Token ist für DTS intransparent und kann nur vom Partner interpretiert werden. Die Datenquelle des Partners sollte eine Zuordnung zwischen der Konfigurations-ID und dem Token erstellen, um zu prüfen, ob die Übertragungskonfiguration/-ausführung zulässig ist.

TransferState

Stellt den Status der Datenübertragungsausführung dar.

Enums
TRANSFER_STATE_UNSPECIFIED Der Platzhalter für den Status.
PENDING Die Datenübertragung ist geplant und wartet darauf, vom Datenübertragungs-Back-End abgerufen zu werden.
RUNNING Die Datenübertragung wird aktuell ausgeführt.
SUCCEEDED Die Datenübertragung wurde erfolgreich abgeschlossen.
FAILED Die Datenübertragung ist fehlgeschlagen.
CANCELLED Die Datenübertragung wurde abgebrochen.

TransferType

VERWORFEN. Stellt den Datenübertragungstyp dar.

Enums
TRANSFER_TYPE_UNSPECIFIED Ein ungültiger oder unbekannter Platzhalter für den Übertragungstyp.
BATCH Eine Batchdatenübertragung.
STREAMING Eine Streamingdatenübertragung. Mehrere Übertragungskonfigurationen pro Projekt werden von der Streamingdatenquelle derzeit nicht unterstützt.

UpdateDataSourceDefinitionRequest

Stellt den Request der Methode "UpdateDataSourceDefinition" dar.

Felder
data_source_definition

DataSourceDefinition

Die Definition der Datenquelle.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource dataSourceDefinition erforderlich:

  • bigquery.datasources.update

update_mask

FieldMask

Aktualisiert die Feldmaske.

UpdateTransferConfigRequest

Ein Request zum Aktualisieren einer Übertragungskonfiguration. Zum Aktualisieren der Nutzer-ID der Übertragungskonfiguration muss ein Autorisierungscode angegeben werden.

Felder
transfer_config

TransferConfig

Die Konfiguration der Datenübertragung, die erstellt werden soll.

Zur Autorisierung ist die folgende Google IAM-Berechtigung für die angegebene Ressource transferConfig erforderlich:

  • bigquery.transfers.update

authorization_code

string

Ein optionaler OAuth2-Autorisierungscode, der mit dieser Übertragungskonfiguration verwendet werden soll. Wenn angegeben, wird die Übertragungskonfiguration dem autorisierenden Nutzer zugeordnet. Zum Abrufen eines Autorisierungscodes senden Sie eine Anfrage an https://www.gstatic.com/bigquerydatatransfer/oauthz/auth?client_id=&scope=&redirect_uri=.

  • Dabei muss „client_id“ die OAuth-Client-ID der BigQuery DTS API für die angegebene Datenquelle sein, die von der Methode „ListDataSources“ zurückgegeben wird.
  • "data_source_scopes" sind die Bereiche, die von der Methode "ListDataSources" zurückgegeben werden.
  • "redirect_uri" ist ein optionaler Parameter. Wenn er nicht angegeben ist, wird der Autorisierungscode an den Öffner des Autorisierungsfensters gesendet. Andernfalls wird er an den Weiterleitungs-URI gesendet. Der spezielle Wert „urn:ietf:wg:oauth:2.0:oob“ bedeutet, dass der Autorisierungscode in die Titelleiste des Browsers zurückgegeben werden soll. Dabei wird der Nutzer durch den Seitentext aufgefordert, den Code zu kopieren und in die Anwendung einzufügen.

update_mask

FieldMask

Erforderliche Liste der Felder, die in dieser Anfrage aktualisiert werden sollen.

UpdateTransferRunRequest

Ein Request zum Aktualisieren einer Übertragungsausführung.

Felder
transfer_run

TransferRun

Der Ausführungsname muss festgelegt werden und einer bereits vorhandenen Ausführung entsprechen. Es werden nur die Felder "state", "error_status" und "data_version" aktualisiert. Alle anderen Felder werden ignoriert.

update_mask

FieldMask

Erforderliche Liste der Felder, die in dieser Anfrage aktualisiert werden sollen.

WriteDisposition

Optionen zum Schreiben in die Tabelle. Die Option WRITE_EMPTY ist bewusst aus der Aufzählung (Enum) ausgeschlossen und wird von Data Transfer Service nicht unterstützt.

Enums
WRITE_DISPOSITION_UNSPECIFIED Die standardmäßige writeDispostion.
WRITE_TRUNCATE Überschreibt die Tabellendaten.
WRITE_APPEND Die Daten werden an die Tabelle angehängt. Beachten Sie, dass bei Verwendung dieses Modus Duplikate auftreten können.