Redshift

Mit dem Redshift-Connector können Sie Vorgänge zum Einfügen, Löschen, Aktualisieren und Lesen in der Redshift-Datenbank ausführen.

Hinweis

Führen Sie vor der Verwendung des Redshift-Connectors die folgenden Aufgaben aus:

  • In Ihrem Google Cloud-Projekt:
    • Prüfen Sie, ob eine Netzwerkverbindung eingerichtet ist. Informationen zu Netzwerkmustern finden Sie unter Netzwerkkonnektivität.
    • Weisen Sie dem Nutzer, der den Connector konfiguriert, die IAM-Rolle roles/connectors.admin zu.
    • Weisen Sie dem Dienstkonto, das Sie für den Connector verwenden möchten, die folgenden IAM-Rollen zu:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Ein Dienstkonto ist eine spezielle Art von Google-Konto, das einen nicht menschlichen Nutzer repräsentiert. Es muss authentifiziert und autorisiert werden, um Zugriff auf Daten in Google APIs zu erhalten. Wenn Sie kein Dienstkonto haben, müssen Sie eins erstellen. Weitere Informationen finden Sie unter Dienstkonto erstellen.

    • Aktivieren Sie die folgenden Dienste:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Informationen zum Aktivieren von Diensten finden Sie unter Dienste aktivieren.

    Wenn diese Dienste oder Berechtigungen für Ihr Projekt zuvor nicht aktiviert wurden, werden Sie aufgefordert, sie beim Konfigurieren des Connectors zu aktivieren.

Connector konfigurieren

Für die Konfiguration des Connectors müssen Sie eine Verbindung zu Ihrer Datenquelle (Backend-System) erstellen. Eine Verbindung ist für eine Datenquelle spezifisch. Wenn Sie also viele Datenquellen haben, müssen Sie für jede Datenquelle eine separate Verbindung erstellen. So erstellen Sie eine Verbindung:

  1. Rufen Sie in der Cloud Console die Seite Integration Connectors > Verbindungen auf und wählen Sie ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Seite „Verbindungen“

  2. Klicken Sie auf + NEU ERSTELLEN, um die Seite Verbindung erstellen zu öffnen.
  3. Wählen Sie im Abschnitt Standort den Standort für die Verbindung aus.
    1. Region: Wählen Sie einen Standort aus der Drop-down-Liste aus.

      Eine Liste aller unterstützten Regionen finden Sie unter Standorte.

    2. Tippen Sie auf Weiter.
  4. Führen Sie im Abschnitt Verbindungsdetails folgende Schritte aus:
    1. Connector: Wählen Sie Redshift aus der Drop-down-Liste der verfügbaren Connectors aus.
    2. Connector-Version: Wählen Sie die Connector-Version aus der Drop-down-Liste der verfügbaren Versionen aus.
    3. Geben Sie im Feld Verbindungsname einen Namen für die Verbindungsinstanz ein.

      Verbindungsnamen müssen die folgenden Kriterien erfüllen:

      • Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
      • Buchstaben müssen Kleinbuchstaben sein.
      • Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
      • Verbindungsnamen dürfen maximal 49 Zeichen haben.
    4. Geben Sie optional unter Beschreibung eine Beschreibung für die Verbindungsinstanz ein.
    5. Optional können Sie Cloud Logging aktivieren und dann eine Logebene auswählen. Die Logebene ist standardmäßig auf Error festgelegt.
    6. Dienstkonto: Wählen Sie ein Dienstkonto, das über die erforderlichen Rollen verfügt.
    7. Optional: Konfigurieren Sie die Verbindungsknoteneinstellungen:

      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.

    8. Datenbank: Der Name der Amazon Redshift-Datenbank.
    9. Auto Create: Geben Sie „true“ an, um einen Datenbanknutzer mit dem für „Nutzer“ angegebenen Namen zu erstellen, wenn er beim Herstellen einer Verbindung mit IAM-Anmeldedaten nicht vorhanden ist. Siehe AuthScheme.
    10. Db Groups: Eine durch Kommas getrennte Liste der Namen einer oder mehrerer vorhandener Datenbankgruppen, denen der Datenbanknutzer bei der aktuellen Sitzung eine Verbindung mit IAM-Anmeldedaten herstellt. Siehe AuthScheme.
    11. BrowsableSchemas: Dieses Attribut schränkt die Schemas ein, die auf eine Teilmenge der verfügbaren Schemas gemeldet werden. Beispiel: BrowsableSchemas=SchemaA,SchemaB,SchemaC.
    12. Ignorierte Schemas: Filter zur Sichtbarkeitsbeschränkung, mit dem die Liste der Schemas nach Metadaten-Einstufung ausgeblendet wird. Beispiel: "information_schema, pg_catalog". Bei Schemanamen wird die Groß- und Kleinschreibung beachtet.
    13. Tabellentypen einschließen: Wenn der Wert auf "true" gesetzt ist, fragt der Anbieter die Typen einzelner Tabellen und Ansichten ab.
    14. Nullwerte entfernen: Wenn dieser Wert festgelegt ist, werden die Nullzeichen in Bulk-Vorgängen aus Zeichenwerten entfernt.
    15. Sichtbarkeit: Sichtbarkeitsfilter zum Filtern von freigegebenen Metadaten nach Tabellen mit Berechtigungen für den aktuellen Nutzer. Der Filter "SELECT,INSERT" beschränkt beispielsweise die Metatdata-Sichtbarkeit nur auf die Tabellen, auf die der aktuelle Nutzer für SELECT- und INSERT-Vorgänge zugreifen kann. Unterstützte Berechtigungswerte sind SELECT, INSERT, UPDATE, DELETE und REFERENCES.
    16. Proxy verwenden: Aktivieren Sie dieses Kästchen, um einen Proxyserver für die Verbindung zu konfigurieren. Konfigurieren Sie dann die folgenden Werte:
      • Proxy Auth Scheme (Proxy-Authentifizierungsschema): Wählen Sie den Authentifizierungstyp für die Authentifizierung beim Proxyserver aus. Die folgenden Authentifizierungstypen werden unterstützt:
        • Standard: Basis-HTTP-Authentifizierung.
        • Digest: Digest-HTTP-Authentifizierung.
      • Proxy-Nutzer: Ein Nutzername, der für die Authentifizierung beim Proxyserver verwendet werden soll.
      • Proxy-Passwort: Das Secret Manager-Secret des Nutzerpassworts.
      • Proxy-SSL-Typ: Der SSL-Typ, der beim Herstellen einer Verbindung zum Proxyserver verwendet werden soll. Die folgenden Authentifizierungstypen werden unterstützt:
        • Automatisch: Standardeinstellung. Wenn es sich bei der URL um eine HTTPS-URL handelt, wird die Option „Tunnel“ verwendet. Wenn es sich um eine HTTP-URL handelt, wird die Option „NEVER“ verwendet.
        • Immer: Für die Verbindung ist immer SSL aktiviert.
        • Nie: Für die Verbindung ist SSL nicht aktiviert.
        • Tunnel: Die Verbindung erfolgt über einen Tunneling-Proxy. Der Proxyserver öffnet eine Verbindung zum Remote-Host und der Traffic fließt über den Proxy hin und zurück.
      • Geben Sie im Abschnitt Proxy-Server die Details zum Proxy-Server ein.
        1. Klicken Sie auf + Ziel hinzufügen.
        2. Wählen Sie einen Zieltyp aus.
          • Hostadresse: Geben Sie den Hostnamen oder die IP-Adresse des Ziels an.

            So stellen Sie eine private Verbindung zu Ihrem Backend-System her:

            • Erstellen Sie einen PSC-Dienstanhang.
            • Erstellen Sie einen Endpunktanhang und geben Sie dann die Details des Endpunktanhangs in das Feld Hostadresse ein.
    17. Klicken Sie optional auf + LABEL HINZUFÜGEN, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
    18. Tippen Sie auf Weiter.
  5. Geben Sie im Abschnitt Ziele die Details zum Remote-Host (Backend-System) ein, zu dem Sie eine Verbindung herstellen möchten.
    1. Zieltyp: Wählen Sie einen Zieltyp aus.
      • Wählen Sie in der Liste Hostadresse aus, um den Hostnamen oder die IP-Adresse des Ziels anzugeben.
      • Wenn Sie eine private Verbindung zu Ihren Backend-Systemen herstellen möchten, wählen Sie in der Liste Endpunktanhang und dann den erforderlichen Endpunktanhang aus der Liste Endpunktanhang aus.

      Wenn Sie eine öffentliche Verbindung zu Ihren Back-End-Systemen mit zusätzlicher Sicherheit herstellen möchten, können Sie statische ausgehende IP-Adressen für Ihre Verbindungen konfigurieren und dann Ihre Firewallregeln konfigurieren, um nur bestimmte statische IP-Adressen zuzulassen.

      Wenn Sie weitere Ziele eingeben möchten, klicken Sie auf + ZIEL HINZUFÜGEN.

    2. Tippen Sie auf Weiter.
  6. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
    1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.

      Die folgenden Authentifizierungstypen werden von der Redshift-Verbindung unterstützt:

      • Nutzername und Passwort
    2. Informationen zum Konfigurieren dieser Authentifizierungstypen finden Sie unter Authentifizierung konfigurieren.

    3. Tippen Sie auf WEITER.
  7. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
  8. Klicken Sie auf Erstellen.

Authentifizierung konfigurieren

Geben Sie die Details basierend auf der zu verwendenden Authentifizierung ein.

  • Nutzername und Passwort
    • Nutzername: Nutzername für den Connector
    • Passwort: Secret Manager-Secret mit dem Passwort, das mit dem Connector verknüpft ist.

Beispiele für Verbindungskonfigurationen

In diesem Abschnitt finden Sie Beispielwerte für die verschiedenen Felder, die Sie beim Erstellen der Redshift-Verbindung konfigurieren.

Verbindungstyp für die Basisauthentifizierung

In der folgenden Tabelle sind die Beispielwerte für die verschiedenen Felder aufgeführt, die Sie beim Erstellen der Redshift-Verbindung konfigurieren.

Feld Beispielwert
Region us-central1
Connector Redshift-Connector
Connector-Version 1
Connector-Name google-cloud-redshiftdb-basicauth-conn
Dienstkonto SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Datenbank dev
BrowsableSchemas public,test
Db-Gruppen
Nullen entfernen Ja
Transparenz SELECT,INSERT
Mindestanzahl von Knoten 02
Maximale Anzahl von Knoten 50
Hostadresse redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
Authentifizierung Nutzerpasswort
Nutzername NUTZERNAME
Passwort PASSWORT
Version 1

Entitäten, Vorgänge und Aktionen

Alle Integration Connectors bieten eine Abstraktionsebene für die Objekte der verbundenen Anwendung. Sie können nur über diese Abstraktion auf die Objekte einer Anwendung zugreifen. Die Abstraktion wird Ihnen als Entitäten, Vorgänge und Aktionen zur Verfügung gestellt.

  • Entität: Eine Entität kann als Objekt oder Sammlung von Attributen in der verbundenen Anwendung oder im verbundenen Dienst verstanden werden. Die Definition einer Entität unterscheidet sich von Connector zu Connector. Beispiel: In einem Datenbank-Connector sind Tabellen die Entitäten, in einem Dateiserver-Connector sind Ordner die Entitäten und in einem Nachrichtensystem-Connector sind Warteschlangen die Entitäten.

    Es ist jedoch möglich, dass ein Connector keine Entitäten unterstützt oder keine Entitäten enthält. In diesem Fall ist die Liste Entities leer.

  • Vorgang: Ein Vorgang ist die Aktivität, die Sie für eine Entität ausführen können. Sie können einen der folgenden Vorgänge für eine Entität ausführen:

    Durch Auswahl einer Entität aus der verfügbaren Liste wird eine Liste der Vorgänge generiert, die für die Entität verfügbar sind. Eine detaillierte Beschreibung der Vorgänge finden Sie in den Entitätsvorgängen der Connectors-Aufgabe. Wenn ein Connector jedoch keinen der Entitätsvorgänge unterstützt, werden diese nicht unterstützten Vorgänge nicht in der Liste Operations aufgeführt.

  • Aktion: Eine Aktion ist eine Funktion erster Klasse, die über die Connector-Benutzeroberfläche für die Integration verfügbar gemacht wird. Mit einer Aktion können Sie Änderungen an einer oder mehreren Entitäten vornehmen, die von Connector zu Connector unterschiedlich sind. Normalerweise hat eine Aktion einige Eingabeparameter und einen Ausgabeparameter. Es ist jedoch möglich, dass ein Connector keine Aktionen unterstützt. In diesem Fall ist die Actions-Liste leer.

Systemeinschränkungen

Der Redshift-Connector kann pro Knoten drei Transaktionen pro Sekunde verarbeiten und drosselt alle Transaktionen, die über dieses Limit hinausgehen. Standardmäßig werden für eine Verbindung zwei Knoten (für eine bessere Verfügbarkeit) zugewiesen.

Informationen zu den Limits für Integration Connectors finden Sie unter Limits.

Beispiele für Aktionen

Beispiel: Größeren Wert ermitteln

In diesem Beispiel wird gezeigt, wie eine benutzerdefinierte Funktion ausgeführt wird. Die Funktion find_greater in diesem Beispiel vergleicht zwei Ganzzahlen und gibt die größere zurück.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion find_greater aus und klicken Sie auf Fertig.
  3. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Default Value ein:
    {
    "$1": 1.0,
    "$2": 5.0
    }
  4. Wenn die Aktion erfolgreich ausgeführt wurde, enthält das Feld connectorOutputPayload der Connector-Aufgabe einen Wert, der in etwa so aussieht:

    [{
    "bignum": 5.0
    }]

Beispiele für Entitätsvorgänge

Beispiel: Listeneinträge einer Entität auflisten

In diesem Beispiel werden die Einträge der Entität Users aufgelistet.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option Users aus.
  3. Wählen Sie den Vorgang List aus und klicken Sie auf Fertig.
  4. Im Bereich Aufgabeneingabe der Aufgabe Connectors können Sie die filterClause nach Bedarf festlegen.

    Wenn Sie beispielsweise die Filterklausel auf employeeCode='5100' and startDate='2010-01-01 00:00:00' festlegen, werden nur die Datensätze aufgeführt, deren Mitarbeitercode 5100 und deren Startdatum 01.01.2010 00:00:00 ist.

Beispiel: Einzelnen Datensatz aus einer Entität abrufen

In diesem Beispiel wird ein Datensatz aus dem Users-Objekt abgerufen.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option User aus.
  3. Wählen Sie den Vorgang Get aus und klicken Sie auf Fertig.
  4. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf entityId und geben Sie dann 103032 in das Feld Standardwert ein.

    Hier ist 103032 der Primärschlüsselwert der Entität Users.

Beispiel: Datensatz aus einer Entität löschen

In diesem Beispiel wird ein Eintrag aus der Entität Users gelöscht.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option Users aus.
  3. Wählen Sie den Vorgang Delete aus und klicken Sie auf Fertig.
  4. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf entityId und geben Sie dann 113132 in das Feld Standardwert ein.

    Wenn die Entität zusammengesetzte Primärschlüssel hat, können Sie anstelle der entityId auch die filterClause festlegen. Beispiel: employeeCode='5100' and startDate='2010-01-01 00:00:00'

Beispiel: Datensatz in einer Entität erstellen

In diesem Beispiel wird ein Eintrag in der Users-Entität erstellt.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option Users aus.
  3. Wählen Sie den Vorgang Create aus und klicken Sie auf Fertig.
  4. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Default Value ein:
    {
    "employeeCode": "5100",
    "startDate": "2010-01-01 00:00:00.0",
    "country": "US"
    }
  5. Wenn die Integration erfolgreich war, enthält das Feld connectorOutputPayload der Connector-Aufgabe die Antwort des Erstellungsvorgangs.

Beispiel: Datensatz in einer Entität aktualisieren

In diesem Beispiel wird ein Datensatz in der Entität Users aktualisiert.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option Users aus.
  3. Wählen Sie den Vorgang Update aus und klicken Sie auf Fertig.
  4. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Default Value ein:
    {
    "country": "IN"
    }
  5. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf entityId und geben Sie dann 113132 in das Feld Standardwert ein.

    Wenn die Entität zusammengesetzte Primärschlüssel hat, können Sie anstelle der entityId auch die filterClause festlegen. Beispiel: employeeCode='5100' and startDate='2010-01-01 00:00:00'

  6. Wenn die Integration erfolgreich war, enthält das Feld connectorOutputPayload der Connector-Aufgabe die Antwort des Aktualisierungsvorgangs.

Verbindungen mit Terraform erstellen

Sie können die Terraform-Ressource verwenden, um eine neue Verbindung zu erstellen.

Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.

Eine Beispiel-Terraform-Vorlage zum Erstellen einer Verbindung finden Sie unter Beispielvorlage.

Wenn Sie diese Verbindung mit Terraform erstellen, müssen Sie die folgenden Variablen in Ihrer Terraform-Konfigurationsdatei festlegen:

Parametername Datentyp Erforderlich Beschreibung
Datenbank STRING Wahr Der Name der Amazon Redshift-Datenbank.
browsable_schemas STRING Falsch Dieses Attribut schränkt die Schemas ein, die auf eine Teilmenge der verfügbaren Schemas gemeldet werden. Beispiel: BrowsableSchemas=SchemaA,SchemaB,SchemaC.
db_groups STRING Falsch Eine durch Kommas getrennte Liste der Namen einer oder mehrerer vorhandener Datenbankgruppen, denen der Datenbanknutzer bei der aktuellen Sitzung eine Verbindung mit IAM-Anmeldedaten herstellt. Siehe AuthScheme.
ignored_schemas STRING Falsch Filter zur Sichtbarkeitsbeschränkung, mit dem die Liste der Schemas nach Metadaten-Einstufung ausgeblendet wird. Beispiel: "information_schema, pg_catalog". Bei Schemanamen wird die Groß- und Kleinschreibung beachtet.
include_table_types BOOLEAN Falsch Wenn der Wert auf „true“ gesetzt ist, fragt der Anbieter die Typen einzelner Tabellen und Ansichten ab.
strip_out_nulls BOOLEAN Falsch Wenn dieser Wert festgelegt ist, werden die Nullzeichen in Bulk-Vorgängen aus Zeichenwerten entfernt.
visibility STRING Falsch Sichtbarkeitsfilter zum Filtern von freigegebenen Metadaten nach Tabellen mit Berechtigungen für den aktuellen Nutzer. Der Filter "SELECT,INSERT" beschränkt beispielsweise die Metatdata-Sichtbarkeit nur auf die Tabellen, auf die der aktuelle Nutzer für SELECT- und INSERT-Vorgänge zugreifen kann. Unterstützte Berechtigungswerte sind SELECT, INSERT, UPDATE, DELETE und REFERENCES.

Redshift-Verbindung in einer Integration verwenden

Nachdem Sie die Verbindung erstellt haben, ist sie sowohl in Apigee Integration als auch in Application Integration verfügbar. Sie können die Verbindung über die Connectors-Aufgabe in einer Integration verwenden.

  • Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Apigee Integration finden Sie unter Connectors-Aufgabe.
  • Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Application Integration finden Sie unter Connectors-Aufgabe.

Hilfe von der Google Cloud-Community erhalten

Sie können Ihre Fragen und Anregungen zu diesem Connector in der Google Cloud-Community unter Cloud-Foren posten.

Nächste Schritte