Snowflake

Mit dem Snowflake-Connector können Sie Vorgänge zum Einfügen, Löschen, Aktualisieren und Lesen in einer Snowflake-Datenbank ausführen.

Unterstützte Versionen

Alle Snowflake-Versionen.

Hinweise

Führen Sie vor der Verwendung des Snowflake-Connectors die folgenden Aufgaben aus:

• In Ihrem Google Cloud-Projekt:
  • Prüfen Sie, ob eine Netzwerkverbindung eingerichtet ist. Informationen zu Netzwerkmustern finden Sie unter Netzwerkverbindung.
  • Weisen Sie dem Nutzer, der den Connector konfiguriert, die IAM-Rolle roles/connectors.admin zu.
  • Weisen Sie dem Dienstkonto, das Sie für den Connector verwenden möchten, die folgenden IAM-Rollen zu:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Ein Dienstkonto ist eine spezielle Art von Google-Konto, das einen nicht menschlichen Nutzer repräsentiert. Es muss authentifiziert und autorisiert werden, um Zugriff auf Daten in Google APIs zu erhalten. Wenn Sie kein Dienstkonto haben, müssen Sie eins erstellen. Weitere Informationen finden Sie unter Dienstkonto erstellen.

  • Aktivieren Sie die folgenden Dienste:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Informationen zum Aktivieren von Diensten finden Sie unter Dienste aktivieren.

  Wenn diese Dienste oder Berechtigungen für Ihr Projekt zuvor nicht aktiviert wurden, werden Sie aufgefordert, sie beim Konfigurieren des Connectors zu aktivieren.

Connector konfigurieren

Für die Konfiguration des Connectors müssen Sie eine Verbindung zu Ihrer Datenquelle (Backend-System) erstellen. Eine Verbindung ist für eine Datenquelle spezifisch. Wenn Sie also viele Datenquellen haben, müssen Sie für jede Datenquelle eine separate Verbindung erstellen. So erstellen Sie eine Verbindung:

1. Rufen Sie in der Cloud Console die Seite Integration Connectors > Verbindungen auf und wählen Sie ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Seite „Verbindungen“

2. Klicken Sie auf + NEU ERSTELLEN, um die Seite Verbindung erstellen zu öffnen.
3. Wählen Sie im Abschnitt Standort den Standort für die Verbindung aus.
   1. Region: Wählen Sie einen Standort aus der Drop-down-Liste aus.

      Eine Liste aller unterstützten Regionen finden Sie unter Standorte.

   2. Tippen Sie auf Weiter.
4. Führen Sie im Abschnitt Verbindungsdetails folgende Schritte aus:
   1. Connector: Wählen Sie Snowflake aus der Drop-down-Liste der verfügbaren Connectors aus.
   2. Connector-Version: Wählen Sie die Connector-Version aus der Drop-down-Liste der verfügbaren Versionen aus.
   3. Geben Sie im Feld Verbindungsname einen Namen für die Verbindungsinstanz ein.

      Verbindungsnamen müssen die folgenden Kriterien erfüllen:

      • Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
      • Buchstaben müssen Kleinbuchstaben sein.
      • Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
      • Verbindungsnamen dürfen maximal 49 Zeichen haben.
   4. Geben Sie optional unter Beschreibung eine Beschreibung für die Verbindungsinstanz ein.
   5. Aktivieren Sie optional Cloud Logging. und wählen Sie dann eine Logebene aus. Standardmäßig ist die Logebene auf Error festgelegt.
   6. Dienstkonto: Wählen Sie ein Dienstkonto, das über die erforderlichen Rollen verfügt.
   7. Optional: Konfigurieren Sie die Verbindungsknoteneinstellungen:
      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.

   Hinweis: Sie können die Verbindungsknotenwerte nur anpassen, wenn Sie ein „Pay as you go”-Kunde sind.
   8. Warehouse: Der Name des Snowflake-Warehouse.
   9. Datenbank: Der Name der Snowflake-Datenbank.
   10. Schema: Snowflake-Schema.
   11. Proxy verwenden: Aktivieren Sie dieses Kästchen, um einen Proxyserver für die Verbindung zu konfigurieren. Legen Sie dann die folgenden Werte fest:
   • Proxy-Authentifizierungsschema: Wählen Sie den Authentifizierungstyp für die Authentifizierung beim Proxyserver aus. Die folgenden Authentifizierungstypen werden unterstützt:
     • Standard: Basis-HTTP-Authentifizierung.
     • Digest: Digest-HTTP-Authentifizierung.
   • Proxy-Nutzer: Ein Nutzername, der für die Authentifizierung beim Proxyserver verwendet werden soll.
   • Proxy-Passwort: Das Secret Manager-Secret des Nutzerpassworts.
   • Proxy-SSL-Typ: Der SSL-Typ, der beim Herstellen einer Verbindung zum Proxyserver verwendet werden soll. Die folgenden Authentifizierungstypen werden unterstützt:
     • Automatisch: Standardeinstellung. Wenn die URL eine HTTPS-URL ist, wird die Option „Tunnel“ verwendet. Wenn die URL eine HTTP-URL ist, wird die Option NEVER verwendet.
     • Immer: Für die Verbindung ist immer SSL aktiviert.
     • Nie: Die Verbindung ist nicht SSL-fähig.
     • Tunnel: Die Verbindung erfolgt über einen Tunneling-Proxy. Der Proxyserver öffnet eine Verbindung zum Remote-Host und der Traffic fließt über den Proxy hin und her.
   • Geben Sie im Abschnitt Proxy-Server die Details zum Proxy-Server ein.
     1. Klicken Sie auf + Ziel hinzufügen.
     2. Wählen Sie einen Zieltyp aus.
        • Hostadresse: Geben Sie den Hostnamen oder die IP-Adresse des Ziels an.

          So stellen Sie eine private Verbindung zu Ihrem Backend-System her:

          • Erstellen Sie einen PSC-Dienstanhang.
          • Erstellen Sie einen Endpunktanhang und Geben Sie dann die Details des Endpunktanhangs in das Feld Hostadresse ein.
   12. Klicken Sie optional auf + LABEL HINZUFÜGEN, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
   13. Tippen Sie auf Weiter.
5. Geben Sie im Abschnitt Ziele die Details zum Remote-Host (Backend-System) ein, zu dem Sie eine Verbindung herstellen möchten.
   1. Destination Type: Wählen Sie einen Destination Type aus.
      • Wählen Sie in der Liste Hostadresse aus, um den Hostnamen oder die IP-Adresse des Ziels anzugeben.
      • Wenn Sie eine private Verbindung zu Ihren Backend-Systemen herstellen möchten, wählen Sie in der Liste Endpunktanhang und dann den erforderlichen Endpunktanhang aus der Liste Endpunktanhang aus.
        Hinweis: Informationen zum Erstellen eines Endpunktanhangs finden Sie unter PSC-Dienstanhang und Endpunktanhang. Nachdem Sie den Endpunktanhang erstellt haben, ist er in der Liste Endpunktanhang sichtbar.

      Wenn Sie eine öffentliche Verbindung zu Ihren Back-End-Systemen mit zusätzlicher Sicherheit herstellen möchten, können Sie statische ausgehende IP-Adressen für Ihre Verbindungen konfigurieren und dann Ihre Firewallregeln konfigurieren, um nur bestimmte statische IP-Adressen zuzulassen.

      Wenn Sie weitere Ziele eingeben möchten, klicken Sie auf + ZIEL HINZUFÜGEN.

   2. Tippen Sie auf Weiter.
6. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
   1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.

      Die folgenden Authentifizierungstypen werden von der Snowflake-Verbindung unterstützt:

      • Nutzername und Passwort

   Informationen zum Konfigurieren dieser Authentifizierungstypen finden Sie unter Authentifizierung konfigurieren.

   2. Tippen Sie auf WEITER.
7. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
8. Klicken Sie auf Erstellen.

Authentifizierung konfigurieren

Geben Sie die Details basierend auf der zu verwendenden Authentifizierung ein.

• Nutzername und Passwort
  • Nutzername: Nutzername für die Authentifizierung bei der Snowflake-Instanz
  • Passwort: Secret Manager-Secret mit dem Passwort für die Snowflake-Instanz.

Entitäten, Vorgänge und Aktionen

Alle Integration Connectors bieten eine Abstraktionsebene für die Objekte der verbundenen Anwendung. Sie können nur über diese Abstraktion auf die Objekte einer Anwendung zugreifen. Die Abstraktion wird Ihnen als Entitäten, Vorgänge und Aktionen zur Verfügung gestellt.

Hinweis: Sie können die Entitäten, Vorgänge und Aktionen eines Connectors in der Connectors-Aufgabe aufrufen.

• Entität: Eine Entität kann als Objekt oder Sammlung von Attributen in der verbundenen Anwendung oder im verbundenen Dienst verstanden werden. Die Definition einer Entität unterscheidet sich von Connector zu Connector. Beispiel: In einem Datenbank-Connector sind Tabellen die Entitäten, in einem Dateiserver-Connector sind Ordner die Entitäten und in einem Nachrichtensystem-Connector sind Warteschlangen die Entitäten.

  Es ist jedoch möglich, dass ein Connector keine Entitäten unterstützt oder keine Entitäten enthält. In diesem Fall ist die Liste Entities leer.

• Vorgang: Ein Vorgang ist die Aktivität, die Sie für eine Entität ausführen können. Sie können einen der folgenden Vorgänge für eine Entität ausführen:
  • Liste
  • Abrufen
  • Erstellen
  • Aktualisieren
  • Löschen

  Durch Auswahl einer Entität aus der verfügbaren Liste wird eine Liste der Vorgänge generiert, die für die Entität verfügbar sind. Eine detaillierte Beschreibung der Vorgänge finden Sie in den Entitätsvorgängen der Connectors-Aufgabe. Unterstützt ein Connector jedoch keine Entitätsvorgänge, Vorgänge sind nicht in der Operations-Liste aufgeführt.

• Aktion: Eine Aktion ist eine Funktion erster Klasse, die über die Connector-Benutzeroberfläche für die Integration verfügbar gemacht wird. Mit einer Aktion können Sie Änderungen an einer oder mehreren Entitäten vornehmen, die von Connector zu Connector unterschiedlich sind. Normalerweise hat eine Aktion einige Eingabeparameter und einen Ausgabeparameter. Es ist jedoch möglich, dass ein Connector keine Aktionen unterstützt. In diesem Fall ist die Actions-Liste leer.

Hinweis : Allen Entitäten und Aktionen ist ein Schema zugeordnet. Ein Aktionsschema hat beispielsweise folgende Parameterdetails: den Parameter und den zugehörigen Datentyp. Das Schema (Metadaten) für Entitäten und Aktionen wird von der Verbindung zur Laufzeit aus Ihrem Backend abgerufen. Wenn es Aktualisierungen am Schema gibt, werden diese nicht automatisch in Ihren vorhandenen Verbindungen berücksichtigt. Sie müssen das Schema manuell aktualisieren. Aktualisieren das Schema für eine Verbindung. Öffnen Sie dazu die Seite Verbindungsdetails der Verbindung und klicken Sie auf Verbindungsschema aktualisieren

Aktionen

Dieser Connector unterstützt die Ausführung der folgenden Aktionen:

• Benutzerdefinierte gespeicherte Prozeduren und Funktionen: Wenn in Ihrem Back-End gespeicherte Prozeduren und Funktionen vorhanden sind, werden diese hier aufgeführt. in der Spalte Actions des Dialogfelds Configure connector task.
• Benutzerdefinierte SQL-Abfragen Um benutzerdefinierte SQL-Abfragen auszuführen, bietet der Connector die Aktion Benutzerdefinierte Abfrage ausführen an.

  So erstellen Sie eine benutzerdefinierte Abfrage:

  1. Folgen Sie der detaillierten Anleitung zum Hinzufügen einer Connectors-Aufgabe.
  2. Wählen Sie beim Konfigurieren der Connector-Aufgabe als Aktionstyp Aktionen aus.
  3. Wählen Sie in der Liste Aktion die Option Benutzerdefinierte Abfrage ausführen aus und klicken Sie dann auf Fertig.

     

  4. Maximieren Sie den Bereich Aufgabeneingabe und gehen Sie so vor:
     1. Geben Sie in das Feld Zeitlimit nach die Anzahl der Sekunden ein, die gewartet werden soll, bis die Abfrage ausgeführt wird.

        Standardwert: 180 Sekunden.

     2. Geben Sie im Feld Maximale Zeilenanzahl die maximale Anzahl von Zeilen ein, die von der Datenbank zurückgegeben werden sollen.

        Standardwert: 25.

     3. Klicken Sie auf Benutzerdefiniertes Skript bearbeiten, um die benutzerdefinierte Abfrage zu aktualisieren. Das Dialogfeld Skripteditor wird geöffnet.

        

     4. Geben Sie im Dialogfeld Skripteditor die SQL-Abfrage ein und klicken Sie auf Speichern.

        Sie können in einer SQL-Anweisung ein Fragezeichen (?) für einen einzelnen Parameter verwenden, der in der Liste der Abfrageparameter angegeben werden muss. Mit der folgenden SQL-Abfrage werden beispielsweise alle Zeilen aus der Tabelle Employees ausgewählt, die mit den für die Spalte LastName angegebenen Werten übereinstimmen:

        SELECT * FROM Employees where LastName=?

        Hinweis: DML- (Data Manipulation Language) und DDL-Anweisungen (Data Definition Language) werden unterstützt.
     5. Wenn Sie in Ihrer SQL-Abfrage Fragezeichen verwendet haben, müssen Sie den Parameter hinzufügen, indem Sie bei jedem Fragezeichen auf + Parameternamen hinzufügen klicken. Bei der Ausführung der Integration ersetzen diese Parameter nacheinander die Fragezeichen (?) in der SQL-Abfrage. Wenn Sie beispielsweise drei Fragezeichen (?) hinzugefügt haben, müssen Sie drei Parameter in der richtigen Reihenfolge hinzufügen.

        

        So fügen Sie Abfrageparameter hinzu:

        1. Wählen Sie in der Liste Typ den Datentyp des Parameters aus.
        2. Geben Sie im Feld Wert den Wert des Parameters ein.
        3. Wenn Sie mehrere Parameter hinzufügen möchten, klicken Sie auf + Abfrageparameter hinzufügen.

Systemeinschränkungen

Der Snowflake-Connector kann maximal 7 Transaktionen pro Sekunde verarbeiten. pro Knoten und drosselt alle Transaktionen über dieses Limit hinaus. Standardmäßig werden von Integration Connectors zwei Knoten (für eine bessere Verfügbarkeit) für eine Verbindung zugewiesen.

Informationen zu den Limits für Integration Connectors finden Sie unter Limits.

Hinweis: Die Anzahl der Integration Connectors-Knoten wird dynamisch basierend auf Ihrer Nutzung skaliert. Wenn Sie jedoch Kapazität für große Datenmengen reservieren möchten, ohne auf das Autoscaling zu warten, können Sie den Mindestknotenwert für eine Verbindung anpassen. Mehr Knoten sind erforderlich, um mehr Transaktionen für eine Verbindung zu verarbeiten. Umgekehrt benötigen weniger Knoten sind erforderlich, wenn über eine Verbindung weniger Transaktionen verarbeitet werden. So konfigurieren Sie die Knotenwerte:

• Wenn Sie ein „Pay as you go“-Kunde sind, konfigurieren Sie den Mindest- und Höchstwert für Knoten auf der Seite zum Bearbeiten der Verbindung.
• Wenn du einen Abotarif hast, wende dich an den Support.

Die maximale Anzahl von Transaktionen, die ein Knoten verarbeiten kann, hängt von verschiedenen Faktoren ab. Bevor Sie die Mindestanzahl von Knoten für einen besseren Durchsatz anpassen, sollten Sie prüfen, ob Ihre Back-End-Systeme optimal für die Verarbeitung des erforderlichen Traffics eingerichtet sind.

Verbindungen mit Terraform erstellen

Mit dem Terraform-Code Ressource, um eine neue Verbindung zu erstellen.

Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.

Eine Beispiel-Terraform-Vorlage zum Erstellen einer Verbindung finden Sie unter Beispielvorlage.

Wenn Sie diese Verbindung mit Terraform erstellen, müssen Sie die folgenden Variablen in Ihrer Terraform-Konfigurationsdatei festlegen:

Parametername	Datentyp	Erforderlich	Beschreibung
Lager	STRING	Falsch	Der Name des Snowflake-Warehouses.
Datenbank	STRING	Falsch	Der Name der Snowflake-Datenbank.
schema	STRING	Falsch	Schneeflockenschema.
Konto	STRING	Falsch	Das Konto für die Authentifizierung mit der Snowflake-Datenbank.
proxy_enabled	BOOLEAN	Falsch	Klicken Sie dieses Kästchen an, um einen Proxyserver für die Verbindung zu konfigurieren.
proxy_auth_scheme	ENUM	Falsch	Der für die Authentifizierung beim ProxyServer-Proxy zu verwendende Authentifizierungstyp. Unterstützte Werte: BASIC, DIGEST, NONE
proxy_user	STRING	Falsch	Ein Nutzername, der für die Authentifizierung beim ProxyServer-Proxy verwendet werden soll.
proxy_password	VERTRAULICH	Falsch	Ein Passwort, das zur Authentifizierung beim ProxyServer-Proxy verwendet wird.
proxy_ssltype	ENUM	Falsch	Der SSL-Typ, der beim Herstellen einer Verbindung zum ProxyServer-Proxy verwendet werden soll. Unterstützte Werte: AUTO, ALWAYS, NEVER, TUNNEL

Snowflake-Verbindung in einer Integration verwenden

Nachdem Sie die Verbindung erstellt haben, ist sie in beiden Apigee-Integration und Anwendungsintegration Sie können die Verbindung über die Connectors-Aufgabe in einer Integration verwenden.

• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Apigee Integration finden Sie unter Connectors-Aufgabe.
• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Application Integration finden Sie unter Connectors-Aufgabe.

Hilfe von der Google Cloud-Community erhalten

Sie können Ihre Fragen und Anregungen zu diesem Connector in der Google Cloud-Community unter Cloud-Foren posten.

Nächste Schritte

• Informationen zum Anhalten und Fortsetzen einer Verbindung
• Informationen zum Überwachen der Connector-Nutzung
• Weitere Informationen zum Ansehen von Connector-Logs