BigQuery

Mit dem BigQuery-Connector können Sie Vorgänge zum Einfügen, Löschen, Aktualisieren und Lesen in Google BigQuery-Daten ausführen.

Hinweise

Führen Sie vor der Verwendung des BigQuery-Connectors die folgenden Aufgaben aus:

• In Ihrem Google Cloud-Projekt:
  • Prüfen Sie, ob eine Netzwerkverbindung eingerichtet ist. Informationen zu Netzwerkmustern finden Sie unter Netzwerkkonnektivität.
  • Weisen Sie dem Nutzer, der den Connector konfiguriert, die IAM-Rolle roles/connectors.admin zu.
  • Weisen Sie dem Dienstkonto, das Sie für den Connector verwenden möchten, die folgenden IAM-Rollen zu:
    • roles/bigquery.dataEditor

    Ein Dienstkonto ist eine spezielle Art von Google-Konto, das einen nicht menschlichen Nutzer repräsentiert. Es muss authentifiziert und autorisiert werden, um Zugriff auf Daten in Google APIs zu erhalten. Wenn Sie kein Dienstkonto haben, müssen Sie eins erstellen. Weitere Informationen finden Sie unter Dienstkonto erstellen.

  • Aktivieren Sie die folgenden Dienste:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Informationen zum Aktivieren von Diensten finden Sie unter Dienste aktivieren.

  Wenn diese Dienste oder Berechtigungen für Ihr Projekt zuvor nicht aktiviert wurden, werden Sie aufgefordert, sie beim Konfigurieren des Connectors zu aktivieren.

Connector konfigurieren

Für die Konfiguration des Connectors müssen Sie eine Verbindung zu Ihrer Datenquelle (Backend-System) erstellen. Eine Verbindung ist für eine Datenquelle spezifisch. Wenn Sie also viele Datenquellen haben, müssen Sie für jede Datenquelle eine separate Verbindung erstellen. So erstellen Sie eine Verbindung:

1. Rufen Sie in der Cloud Console die Seite Integration Connectors > Verbindungen auf und wählen Sie ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Seite „Verbindungen“

2. Klicken Sie auf + NEU ERSTELLEN, um die Seite Verbindung erstellen zu öffnen.
3. Wählen Sie im Abschnitt Standort den Standort für die Verbindung aus.
   1. Region: Wählen Sie einen Standort aus der Drop-down-Liste aus.

      Eine Liste aller unterstützten Regionen finden Sie unter Standorte.

   2. Tippen Sie auf Weiter.
4. Führen Sie im Abschnitt Verbindungsdetails folgende Schritte aus:
   1. Connector: Wählen Sie BigQuery aus der Drop-down-Liste der verfügbaren Connectors aus.
   2. Connector-Version: Wählen Sie die Connector-Version aus der Drop-down-Liste der verfügbaren Versionen aus.
   3. Geben Sie im Feld Verbindungsname einen Namen für die Verbindungsinstanz ein.

      Verbindungsnamen müssen die folgenden Kriterien erfüllen:

      • Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
      • Buchstaben müssen Kleinbuchstaben sein.
      • Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
      • Verbindungsnamen dürfen maximal 49 Zeichen haben.
   4. Geben Sie optional unter Beschreibung eine Beschreibung für die Verbindungsinstanz ein.
   5. Optional können Sie Cloud Logging aktivieren und dann eine Logebene auswählen. Die Logebene ist standardmäßig auf Error festgelegt.
   6. Dienstkonto: Wählen Sie ein Dienstkonto, das über die erforderlichen Rollen verfügt.
   7. Optional: Konfigurieren Sie die Verbindungsknoteneinstellungen:
      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.

   Hinweis: Sie können die Verbindungsknotenwerte nur anpassen, wenn Sie ein „Pay as you go”-Kunde sind.
   8. Projekt-ID: Die ID des Google Cloud-Projekts, in dem sich die Daten befinden.
   9. Dataset-ID:: Die ID des BigQuery-Datasets.
   10. Wenn Sie den BigQuery-Datentyp „ARRAY“ unterstützen möchten, wählen Sie Native Datentypen unterstützen aus. Die folgenden Arraytypen werden unterstützt:
       • Varchar
       • INT64
       • Float64
       • Long
       • Doppelt
       • Boolesch
       • Zeitstempel

       Verschachtelte Arrays werden nicht unterstützt.

   11. Proxy verwenden: Aktivieren Sie dieses Kästchen, um einen Proxyserver für die Verbindung zu konfigurieren. Konfigurieren Sie dann die folgenden Werte:
   • Proxy Auth Scheme (Proxy-Authentifizierungsschema): Wählen Sie den Authentifizierungstyp für die Authentifizierung beim Proxyserver aus. Die folgenden Authentifizierungstypen werden unterstützt:
     • Standard: Basis-HTTP-Authentifizierung.
     • Digest: Digest-HTTP-Authentifizierung.
   • Proxy-Nutzer: Ein Nutzername, der für die Authentifizierung beim Proxyserver verwendet werden soll.
   • Proxy-Passwort: Das Secret Manager-Secret des Nutzerpassworts.
   • Proxy-SSL-Typ: Der SSL-Typ, der beim Herstellen einer Verbindung zum Proxyserver verwendet werden soll. Die folgenden Authentifizierungstypen werden unterstützt:
     • Automatisch: Standardeinstellung. Wenn es sich bei der URL um eine HTTPS-URL handelt, wird die Option „Tunnel“ verwendet. Wenn es sich um eine HTTP-URL handelt, wird die Option „NEVER“ verwendet.
     • Immer: Für die Verbindung ist immer SSL aktiviert.
     • Nie: Für die Verbindung ist SSL nicht aktiviert.
     • Tunnel: Die Verbindung erfolgt über einen Tunneling-Proxy. Der Proxyserver öffnet eine Verbindung zum Remote-Host und der Traffic fließt über den Proxy hin und zurück.
   • Geben Sie im Abschnitt Proxy-Server die Details zum Proxy-Server ein.
     1. Klicken Sie auf + Ziel hinzufügen.
     2. Wählen Sie einen Zieltyp aus.
        • Hostadresse: Geben Sie den Hostnamen oder die IP-Adresse des Ziels an.

          So stellen Sie eine private Verbindung zu Ihrem Backend-System her:

          • Erstellen Sie einen PSC-Dienstanhang.
          • Erstellen Sie einen Endpunktanhang und geben Sie dann die Details des Endpunktanhangs in das Feld Hostadresse ein.
   12. Klicken Sie optional auf + LABEL HINZUFÜGEN, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
   13. Tippen Sie auf Weiter.
5. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
   1. Wählen Sie aus, ob Sie sich mit OAuth 2.0 – Autorisierungscode authentifizieren oder ohne Authentifizierung fortfahren möchten.

      Informationen zum Konfigurieren der Authentifizierung finden Sie unter Authentifizierung konfigurieren.

   2. Tippen Sie auf Weiter.
6. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
7. Klicken Sie auf Erstellen.

Authentifizierung konfigurieren

Geben Sie die Details basierend auf der zu verwendenden Authentifizierung ein.

• Keine Authentifizierung: Wählen Sie diese Option aus, wenn keine Authentifizierung erforderlich ist.
• OAuth 2.0 – Autorisierungscode: Wählen Sie diese Option aus, um die Authentifizierung über einen webbasierten Anmeldevorgang für Nutzer durchzuführen. Geben Sie die folgenden Informationen an:
• Client-ID : Die Client-ID, die für die Verbindung mit Ihrem Google-Backenddienst erforderlich ist.
• Scopes : Eine durch Kommas getrennte Liste der gewünschten Bereiche. Eine vollständige Liste der unterstützten OAuth 2.0-Bereiche für den erforderlichen Google-Dienst finden Sie im entsprechenden Abschnitt der Seite OAuth 2.0-Bereiche für Google APIs.
• Client-Secret: Wählen Sie das Secret Manager-Secret aus. Sie müssen das Secret Manager-Secret erstellt haben, bevor Sie diese Autorisierung konfigurieren.
• Secret-Version: Secret Manager-Secret-Version für den Clientschlüssel.

Für den Authentifizierungstyp Authorization code müssen Sie nach dem Erstellen der Verbindung einige zusätzliche Schritte zum Konfigurieren der Authentifizierung ausführen. Weitere Informationen finden Sie unter Zusätzliche Schritte nach dem Erstellen der Verbindung.

Zusätzliche Schritte nach dem Erstellen der Verbindung

Wenn Sie OAuth 2.0 - Authorization code für die Authentifizierung ausgewählt haben, müssen Sie nach dem Erstellen der Verbindung die folgenden zusätzlichen Schritte ausführen:

1. Suchen Sie auf der Seite Verbindungen nach der neu erstellten Verbindung.

   Der Status des neuen Connectors lautet Autorisierung erforderlich.

2. Klicken Sie auf Autorisierung erforderlich.

   Daraufhin wird der Bereich Autorisierung bearbeiten angezeigt.

3. Kopieren Sie den Wert Weiterleitungs-URI in Ihre externe Anwendung.
4. Prüfen Sie die Autorisierungsdetails.
5. Klicken Sie auf Autorisieren.

   Wenn die Autorisierung erfolgreich war, wird der Verbindungsstatus auf der Seite Verbindungen auf Aktiv gesetzt.

Erneute Autorisierung für Autorisierungscode

Wenn Sie den Authentifizierungstyp Authorization code verwenden und Änderungen an der Konfiguration in BigQuery vorgenommen haben, müssen Sie Ihre BigQuery-Verbindung noch einmal autorisieren. So autorisieren Sie eine Verbindung noch einmal:

1. Klicken Sie auf der Seite Verbindungen auf die gewünschte Verbindung.

   Dadurch wird die Seite mit den Verbindungsdetails geöffnet.

2. Klicken Sie auf Bearbeiten, um die Verbindungsdetails zu bearbeiten.
3. Überprüfen Sie die Details unter OAuth 2.0 – Autorisierungscode im Abschnitt Authentifizierung.

   Nehmen Sie gegebenenfalls die erforderlichen Änderungen vor.

4. Klicken Sie auf Speichern. Daraufhin gelangen Sie zur Seite mit den Verbindungsdetails.
5. Klicken Sie im Abschnitt Authentifizierung auf Autorisierung bearbeiten. Daraufhin wird der Bereich Authorize (Autorisieren) angezeigt.
6. Klicken Sie auf Autorisieren.

   Wenn die Autorisierung erfolgreich war, wird der Verbindungsstatus auf der Seite „Verbindungen“ auf Aktiv gesetzt.

Entitäten, Vorgänge und Aktionen

Alle Integration Connectors bieten eine Abstraktionsebene für die Objekte der verbundenen Anwendung. Sie können nur über diese Abstraktion auf die Objekte einer Anwendung zugreifen. Die Abstraktion wird Ihnen als Entitäten, Vorgänge und Aktionen zur Verfügung gestellt.

Hinweis: Sie können die Entitäten, Vorgänge und Aktionen eines Connectors in der Connectors-Aufgabe aufrufen.

• Entität: Eine Entität kann als Objekt oder Sammlung von Attributen in der verbundenen Anwendung oder im verbundenen Dienst verstanden werden. Die Definition einer Entität unterscheidet sich von Connector zu Connector. Beispiel: In einem Datenbank-Connector sind Tabellen die Entitäten, in einem Dateiserver-Connector sind Ordner die Entitäten und in einem Nachrichtensystem-Connector sind Warteschlangen die Entitäten.

  Es ist jedoch möglich, dass ein Connector keine Entitäten unterstützt oder keine Entitäten enthält. In diesem Fall ist die Liste Entities leer.

• Vorgang: Ein Vorgang ist die Aktivität, die Sie für eine Entität ausführen können. Sie können einen der folgenden Vorgänge für eine Entität ausführen:
  • Liste
  • Abrufen
  • Erstellen
  • Aktualisieren
  • Löschen

  Durch Auswahl einer Entität aus der verfügbaren Liste wird eine Liste der Vorgänge generiert, die für die Entität verfügbar sind. Eine detaillierte Beschreibung der Vorgänge finden Sie in den Entitätsvorgängen der Connectors-Aufgabe. Wenn ein Connector jedoch keinen der Entitätsvorgänge unterstützt, werden diese nicht unterstützten Vorgänge nicht in der Liste Operations aufgeführt.

• Aktion: Eine Aktion ist eine Funktion erster Klasse, die über die Connector-Benutzeroberfläche für die Integration verfügbar gemacht wird. Mit einer Aktion können Sie Änderungen an einer oder mehreren Entitäten vornehmen, die von Connector zu Connector unterschiedlich sind. Normalerweise hat eine Aktion einige Eingabeparameter und einen Ausgabeparameter. Es ist jedoch möglich, dass ein Connector keine Aktionen unterstützt. In diesem Fall ist die Actions-Liste leer.

Hinweis : Allen Entitäten und Aktionen ist ein Schema zugewiesen. Ein Aktionsschema enthält beispielsweise Parameterdetails wie die Parameternamen und den entsprechenden Datentyp. Das Schema (Metadaten) für Entitäten und Aktionen wird von der Verbindung zur Laufzeit aus Ihrem Backend abgerufen. Wenn es Aktualisierungen am Schema gibt, werden diese nicht automatisch in Ihren vorhandenen Verbindungen berücksichtigt. Sie müssen das Schema manuell aktualisieren. Wenn Sie das Schema für eine Verbindung aktualisieren möchten, öffnen Sie die Seite Verbindungsdetails der Verbindung und klicken Sie dann auf Verbindungsschema aktualisieren.

Systemeinschränkungen

Der BigQuery-Connector kann pro Knoten maximal 8 Transaktionen pro Sekunde verarbeiten und drosselt alle Transaktionen, die dieses Limit überschreiten. Standardmäßig werden für eine Verbindung zwei Knoten (für eine bessere Verfügbarkeit) zugewiesen.

Informationen zu den Limits für Integration Connectors finden Sie unter Limits.

Hinweis:Die Anzahl der Integration Connectors-Knoten wird dynamisch basierend auf Ihrer Nutzung skaliert. Wenn Sie jedoch Kapazität für große Datenmengen reservieren möchten, ohne auf das Autoscaling zu warten, können Sie den Mindestknotenwert für eine Verbindung anpassen. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, wenn über eine Verbindung weniger Transaktionen verarbeitet werden. So konfigurieren Sie die Knotenwerte:

• Wenn Sie ein „Pay as you go“-Kunde sind, konfigurieren Sie den Mindest- und Höchstwert für Knoten auf der Seite zum Bearbeiten der Verbindung.
• Wenn du einen Abotarif hast, wende dich an den Support.

Die maximale Anzahl von Transaktionen, die ein Knoten verarbeiten kann, hängt von verschiedenen Faktoren ab. Bevor Sie die Mindestknoten für einen besseren Durchsatz anpassen, sollten Sie daher prüfen, ob Ihre Backend-Systeme optimal für die Verarbeitung des erforderlichen Traffics eingerichtet sind.

Unterstützte Datentypen

Die folgenden Datentypen werden für diesen Connector unterstützt:

• ARRAY
• BIGINT
• BINARY
• BIT
• BOOLEAN
• CHAR
• DATE
• DECIMAL
• DOUBLE
• FLOAT
• INTEGER
• LONGN VARCHAR
• LONG VARCHAR
• NCHAR
• NUMERIC
• NVARCHAR
• REAL
• SMALL INT
• UHRZEIT
• TIMESTAMP
• TINY INT
• VARBINARY
• VARCHAR

Bekannte Probleme

Der BigQuery-Connector unterstützt den Primärschlüssel in einer BigQuery-Tabelle nicht. Das bedeutet, dass Sie die Entitätsvorgänge „Abrufen“, „Aktualisieren“ und „Löschen“ nicht mit einer entityId ausführen können. Alternativ können Sie die Filterklausel verwenden, um Datensätze anhand einer ID zu filtern.

Aktionen

In diesem Abschnitt werden die Aktionen beschrieben, die im BigQuery-Connector verfügbar sind.

Hinweis:Die Ergebnisse aller Entitätsvorgänge und -aktionen sind als JSON-Antwort im Antwortparameter connectorOutputPayload der Aufgabe Connectors verfügbar und zwar nach der Ausführung der Integration.

CancelJob-Aktion

Mit dieser Aktion können Sie einen laufenden BigQuery-Job abbrechen.

In der folgenden Tabelle werden die Eingabeparameter der Aktion CancelJob beschrieben.

Parametername	Datentyp	Beschreibung
JobId	String	Die ID des Jobs, den Sie abbrechen möchten. Dies ist ein Pflichtfeld.
Region	String	Die Region, in der der Job gerade ausgeführt wird. Dies ist nicht erforderlich, wenn sich die Stelle in einer Region in den USA oder der EU befindet.

Aktion „GetJob“

Mit dieser Aktion können Sie die Konfigurationsinformationen und den Ausführungsstatus eines vorhandenen Jobs abrufen.

In der folgenden Tabelle werden die Eingabeparameter der Aktion GetJob beschrieben.

Parametername	Datentyp	Beschreibung
JobId	String	Die ID des Jobs, für den Sie die Konfiguration abrufen möchten. Dies ist ein Pflichtfeld.
Region	String	Die Region, in der der Job gerade ausgeführt wird. Dies ist nicht erforderlich, wenn sich die Stelle in einer Region in den USA oder der EU befindet.

Aktion „InsertJob“

Mit dieser Aktion können Sie einen BigQuery-Job einfügen, der später ausgewählt werden kann, um die Abfrageergebnisse abzurufen.

In der folgenden Tabelle werden die Eingabeparameter der Aktion InsertJob beschrieben.

Parametername	Datentyp	Beschreibung
Abfrage	String	Die Abfrage, die an BigQuery gesendet werden soll. Dies ist ein Pflichtfeld.
IsDML	String	Sollte auf true gesetzt werden, wenn es sich bei der Abfrage um eine DML-Anweisung handelt, andernfalls auf false. Der Standardwert ist false.
DestinationTable	String	Die Zieltabelle für die Abfrage im DestProjectId:DestDatasetId.DestTable-Format.
WriteDisposition	String	Gibt an, wie Daten in die Zieltabelle geschrieben werden sollen, z. B. vorhandene Ergebnisse abschneiden, vorhandene Ergebnisse anhängen oder nur schreiben, wenn die Tabelle leer ist. Folgende Werte werden unterstützt: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY Der Standardwert ist WRITE_TRUNCATE.
DryRun	String	Gibt an, ob es sich bei der Ausführung des Jobs um einen Testlauf handelt.
MaximumBytesBilled	String	Gibt die maximale Anzahl von Byte an, die vom Job verarbeitet werden können. BigQuery bricht den Job ab, wenn versucht wird, mehr Byte als den angegebenen Wert zu verarbeiten.
Region	String	Gibt die Region an, in der der Job ausgeführt werden soll.

Aktion „InsertLoadJob“

Mit dieser Aktion können Sie einen BigQuery-Ladejob einfügen, mit dem Daten aus Google Cloud Storage in eine vorhandene Tabelle eingefügt werden.

In der folgenden Tabelle werden die Eingabeparameter der Aktion InsertLoadJob beschrieben.

Parametername	Datentyp	Beschreibung
SourceURIs	String	Eine durch Leerzeichen getrennte Liste von Google Cloud Storage-URIs.
SourceFormat	String	Das Quellformat der Dateien. Folgende Werte werden unterstützt: AVRO NEWLINE_DELIMITED_JSON DATASTORE_BACKUP fest. PARQUET ORC CSV
DestinationTable	String	Die Zieltabelle für die Abfrage im DestProjectId.DestDatasetId.DestTable-Format.
DestinationTableProperties	String	Ein JSON-Objekt, das den nutzerfreundlichen Namen, die Beschreibung und die Liste der Labels der Tabelle angibt.
DestinationTableSchema	String	Eine JSON-Liste mit den Feldern, die zum Erstellen der Tabelle verwendet wurden.
DestinationEncryptionConfiguration	String	Ein JSON-Objekt, das die KMS-Verschlüsselungseinstellungen für die Tabelle angibt.
SchemaUpdateOptions	String	Eine JSON-Liste mit den Optionen, die beim Aktualisieren des Schemas der Zieltabelle angewendet werden sollen.
TimePartitioning	String	Ein JSON-Objekt, das den Typ und das Feld für die Zeitpartitionierung angibt.
RangePartitioning	String	Ein JSON-Objekt, das das Feld für die Bereichspartitionierung und die Buckets angibt.
Clustering	String	Ein JSON-Objekt, das die Felder angibt, die für das Clustering verwendet werden sollen.
Automatisch erkennen	String	Gibt an, ob Optionen und Schema für JSON- und CSV-Dateien automatisch ermittelt werden sollen.
CreateDisposition	String	Gibt an, ob die Zieltabelle erstellt werden muss, falls sie noch nicht vorhanden ist. Folgende Werte werden unterstützt: CREATE_IF_NEEDED CREATE_NEVER Der Standardwert ist CREATE_IF_NEEDED.
WriteDisposition	String	Gibt an, wie Daten in die Zieltabelle geschrieben werden sollen, z. B. vorhandene Ergebnisse kürzen, vorhandene Ergebnisse anhängen oder nur schreiben, wenn die Tabelle leer ist. Folgende Werte werden unterstützt: WRITE_TRUNCATE WRITE_APPEND WRITE_EMPTY Der Standardwert ist WRITE_APPEND.
Region	String	Gibt die Region an, in der der Job ausgeführt werden soll. Sowohl die Google Cloud Storage-Ressourcen als auch das BigQuery-Dataset müssen sich in derselben Region befinden.
DryRun	String	Gibt an, ob es sich bei der Ausführung des Jobs um einen Testlauf handelt. Der Standardwert ist false.
MaximumBadRecords	String	Gibt an, wie viele Datensätze ungültig sein dürfen, bevor der gesamte Job abgebrochen wird. Standardmäßig müssen alle Einträge gültig sein. Der Standardwert ist 0.
IgnoreUnknownValues	String	Gibt an, ob die unbekannten Felder in der Eingabedatei ignoriert oder als Fehler behandelt werden sollen. Standardmäßig werden sie als Fehler behandelt. Der Standardwert ist false.
AvroUseLogicalTypes	String	Gibt an, ob logische Avro-Typen verwendet werden müssen, um Avro-Daten in BigQuery-Typen zu konvertieren. Der Standardwert ist true.
CSVSkipLeadingRows	String	Gibt an, wie viele Zeilen am Anfang von CSV-Dateien übersprungen werden sollen. Diese Option wird in der Regel verwendet, um Kopfzeilen zu überspringen.
CSVEncoding	String	Codierungstyp der CSV-Dateien. Folgende Werte werden unterstützt: ISO-8859-1 UTF-8 Der Standardwert ist UTF-8.
CSVNullMarker	String	Wenn angegeben, wird dieser String für NULL-Werte in CSV-Dateien verwendet. In CSV-Dateien kann standardmäßig kein NULL-Wert verwendet werden.
CSVFieldDelimiter	String	Das Zeichen, mit dem Spalten in CSV-Dateien getrennt werden. Der Standardwert ist ein Komma (,).
CSVQuote	String	Das Zeichen, das für zitierte Felder in CSV-Dateien verwendet wird. Kann leer gesetzt werden, um Anführungszeichen zu deaktivieren. Der Standardwert ist ein doppeltes Anführungszeichen (").
CSVAllowQuotedNewlines	String	Gibt an, ob die CSV-Dateien Zeilenumbrüche in Anführungszeichen enthalten können. Der Standardwert ist false.
CSVAllowJaggedRows	String	Gibt an, ob die CSV-Dateien fehlende Felder enthalten können. Der Standardwert ist false.
DSBackupProjectionFields	String	Eine JSON-Liste mit Feldern, die aus einem Cloud Datastore-Sicherungsarchiv geladen werden sollen.
ParquetOptions	String	Ein JSON-Objekt, das die Parquet-spezifischen Importoptionen angibt.
DecimalTargetTypes	String	Eine JSON-Liste mit der Präferenzreihenfolge, die auf numerische Typen angewendet wird.
HivePartitioningOptions	String	Ein JSON-Objekt, das die Optionen für die quellenseitige Partitionierung angibt.

Benutzerdefinierte SQL-Abfrage ausführen

So erstellen Sie eine benutzerdefinierte Abfrage:

1. Folgen Sie der detaillierten Anleitung zum Hinzufügen einer Connectors-Aufgabe.
2. Wählen Sie beim Konfigurieren der Connector-Aufgabe als Aktionstyp Aktionen aus.
3. Wählen Sie in der Liste Aktion die Option Benutzerdefinierte Abfrage ausführen aus und klicken Sie dann auf Fertig.

   

4. Maximieren Sie den Bereich Aufgabeneingabe und gehen Sie so vor:
   1. Geben Sie in das Feld Zeitlimit nach die Anzahl der Sekunden ein, die gewartet werden soll, bis die Abfrage ausgeführt wird.

      Standardwert: 180 Sekunden.

   2. Geben Sie im Feld Maximale Zeilenanzahl die maximale Anzahl von Zeilen ein, die aus der Datenbank zurückgegeben werden sollen.

      Standardwert: 25.

   3. Klicken Sie auf Benutzerdefiniertes Script bearbeiten, um die benutzerdefinierte Abfrage zu aktualisieren. Das Dialogfeld Skripteditor wird geöffnet.

      

   4. Geben Sie im Dialogfeld Skripteditor die SQL-Abfrage ein und klicken Sie auf Speichern.

      Sie können in einer SQL-Anweisung ein Fragezeichen (?) für einen einzelnen Parameter verwenden, der in der Liste der Abfrageparameter angegeben werden muss. Mit der folgenden SQL-Abfrage werden beispielsweise alle Zeilen aus der Tabelle Employees ausgewählt, die mit den für die Spalte LastName angegebenen Werten übereinstimmen:

      SELECT * FROM Employees where LastName=?

      Hinweis:DML- (Data Manipulation Language) und DDL-Anweisungen (Data Definition Language) werden unterstützt.
   5. Wenn Sie Fragezeichen in Ihrer SQL-Abfrage verwendet haben, müssen Sie den Parameter hinzufügen. Klicken Sie dazu für jedes Fragezeichen auf + Parameternamen hinzufügen. Bei der Ausführung der Integration ersetzen diese Parameter nacheinander die Fragezeichen (?) in der SQL-Abfrage. Wenn Sie beispielsweise drei Fragezeichen (?) hinzugefügt haben, müssen Sie drei Parameter in der richtigen Reihenfolge hinzufügen.

      

      So fügen Sie Abfrageparameter hinzu:

      1. Wählen Sie in der Liste Typ den Datentyp des Parameters aus.
      2. Geben Sie im Feld Wert den Wert des Parameters ein.
      3. Wenn Sie mehrere Parameter hinzufügen möchten, klicken Sie auf + Abfrageparameter hinzufügen.

Verbindungen mit Terraform erstellen

Sie können die Terraform-Ressource verwenden, um eine neue Verbindung zu erstellen.

Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.

Eine Beispiel-Terraform-Vorlage zum Erstellen einer Verbindung finden Sie unter Beispielvorlage.

Wenn Sie diese Verbindung mit Terraform erstellen, müssen Sie die folgenden Variablen in Ihrer Terraform-Konfigurationsdatei festlegen:

Parametername	Datentyp	Erforderlich	Beschreibung
project_id	STRING	Wahr	Die ID des Projekts mit dem BigQuery-Dataset, z. B. „myproject“.
dataset_id	STRING	Falsch	Die Dataset-ID des BigQuery-Datasets ohne den Projektnamen, z. B. meindatensatz.
proxy_enabled	BOOLEAN	Falsch	Klicken Sie dieses Kästchen an, um einen Proxyserver für die Verbindung zu konfigurieren.
proxy_auth_scheme	ENUM	Falsch	Der Authentifizierungstyp, der für die Authentifizierung beim ProxyServer-Proxy verwendet werden soll. Unterstützte Werte: BASIC, DIGEST, NONE
proxy_user	STRING	Falsch	Ein Nutzername, der für die Authentifizierung beim ProxyServer-Proxy verwendet werden soll.
proxy_password	VERTRAULICH	Falsch	Ein Passwort, das für die Authentifizierung beim ProxyServer-Proxy verwendet werden soll.
proxy_ssltype	ENUM	Falsch	Der SSL-Typ, der beim Herstellen einer Verbindung zum ProxyServer-Proxy verwendet werden soll. Unterstützte Werte: AUTO, ALWAYS, NEVER, TUNNEL

BigQuery-Verbindung in einer Integration verwenden

Nachdem Sie die Verbindung erstellt haben, ist sie sowohl in Apigee Integration als auch in Application Integration verfügbar. Sie können die Verbindung über die Connectors-Aufgabe in einer Integration verwenden.

• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Apigee Integration finden Sie unter Connectors-Aufgabe.
• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Application Integration finden Sie unter Connectors-Aufgabe.

Hilfe von der Google Cloud-Community erhalten

Sie können Ihre Fragen und Anregungen zu diesem Connector in der Google Cloud-Community unter Cloud-Foren posten.

Nächste Schritte

• Informationen zum Anhalten und Fortsetzen einer Verbindung
• Informationen zum Überwachen der Connector-Nutzung
• Weitere Informationen zum Ansehen von Connector-Logs