Azure Synapse

Mit dem Azure Synapse-Connector können Sie eine Verbindung zu Azure Synapse-SQL-Pools herstellen und die Azure Synapse-Daten mithilfe von SQL abrufen und aktualisieren.

Hinweise

Führen Sie die folgenden Aufgaben aus, bevor Sie den Azure Synapse-Connector verwenden:

• In Ihrem Google Cloud-Projekt:
  • Prüfen Sie, ob die Netzwerkverbindung eingerichtet ist. Informationen zu Netzwerkmustern finden Sie unter Netzwerkkonnektivität.
  • Weisen Sie dem Nutzer, der den Connector konfiguriert, die IAM-Rolle roles/connectors.admin zu.
  • Weisen Sie dem Dienstkonto, das Sie für den Connector verwenden möchten, die folgenden IAM-Rollen zu:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Ein Dienstkonto ist eine spezielle Art von Google-Konto, das einen nicht menschlichen Nutzer repräsentiert. Es muss authentifiziert und autorisiert werden, um Zugriff auf Daten in Google APIs zu erhalten. Wenn Sie kein Dienstkonto haben, müssen Sie eins erstellen. Weitere Informationen finden Sie unter Dienstkonto erstellen.

  • Aktivieren Sie die folgenden Dienste:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Informationen zum Aktivieren von Diensten finden Sie unter Dienste aktivieren.

  Wenn diese Dienste oder Berechtigungen für Ihr Projekt zuvor nicht aktiviert wurden, werden Sie aufgefordert, sie beim Konfigurieren des Connectors zu aktivieren.

Connector konfigurieren

Für die Konfiguration des Connectors müssen Sie eine Verbindung zu Ihrer Datenquelle (Backend-System) erstellen. Eine Verbindung ist für eine Datenquelle spezifisch. Wenn Sie also viele Datenquellen haben, müssen Sie für jede Datenquelle eine separate Verbindung erstellen. So erstellen Sie eine Verbindung:

1. Rufen Sie in der Cloud Console die Seite Integration Connectors > Verbindungen auf und wählen Sie ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Zur Seite „Verbindungen“

2. Klicken Sie auf + NEU ERSTELLEN, um die Seite Verbindung erstellen zu öffnen.
3. Wählen Sie im Abschnitt Standort den Standort für die Verbindung aus.
   1. Region: Wählen Sie einen Standort aus der Drop-down-Liste aus.

      Unterstützte Regionen für Connectors:

      Eine Liste aller unterstützten Regionen finden Sie unter Standorte.

   2. Klicken Sie auf Weiter.
4. Führen Sie im Abschnitt Verbindungsdetails folgende Schritte aus:
   1. Connector: Wählen Sie Azure Synapse aus der Drop-down-Liste der verfügbaren Connectors aus.
   2. Connector-Version: Wählen Sie die Connector-Version aus der Drop-down-Liste der verfügbaren Versionen aus.
   3. Geben Sie im Feld Verbindungsname einen Namen für die Verbindungsinstanz ein.

      Verbindungsnamen müssen die folgenden Kriterien erfüllen:

      • Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
      • Buchstaben müssen Kleinbuchstaben sein.
      • Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
      • Verbindungsnamen dürfen nicht länger als 49 Zeichen sein.
   4. Geben Sie optional eine Beschreibung für die Verbindungsinstanz ein.
   5. Dienstkonto: Wählen Sie ein Dienstkonto, das über die erforderlichen Rollen verfügt.
   6. Optional: Konfigurieren Sie die Verbindungsknoteneinstellungen:
      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.

   Hinweis: Sie können die Verbindungsknotenwerte nur anpassen, wenn Sie ein „Pay as you go”-Kunde sind.
   7. Azure-Mandant: Dieses Attribut gibt den Microsoft Azure-Mandanten an, der für den Zugriff auf Daten verwendet wird.
   8. Database: Diese Eigenschaft gibt den Namen der Synapse-Datenbank im serverlosen SQL-Pool oder dedizierten SQL-Pool an.
   9. Geben Sie unter „Zielanwendungen“ die folgenden Properties ein:
   • Destination Type: Wählen Sie "Host Address" (Hostadresse) aus dem Drop-down-Menü aus.
   • Host 1: Geben Sie den SQL-Pool-Endpunkt ein.
   • Port 1: Geben Sie den Port für den SQL-Endpunkt ein.
   10. Geben Sie optional die folgenden Eigenschaften für SSL ein:
       • SSL aktivieren: Mit dieser Kästcheneigenschaft wird festgelegt, ob SSL aktiviert werden soll.
       • Trust Store: Mit dieser Property wird der Trust Store angegeben. Wählen Sie ein Optionsfeld aus, um den Truststore aus „Öffentlich“, „Privat“ oder „Unsichere Verbindung“ auszuwählen.
       • Benutzerdefinierter Trust Store: Mit dieser Property wird ein Secret mit dem benutzerdefinierten Trust Store im PEM-Format ausgewählt.
       • SSL-Clientzertifikat: Diese Eigenschaft gibt das SSL-Clientzertifikat an.
       • Privater SSL-Clientschlüssel: Diese Eigenschaft gibt den privaten Schlüssel des SSL-Clients im PEM-Format an.
       • Schlüsselpassphrase für SSL-Clientzertifikat: Diese Eigenschaft gibt die Passphrase des privaten SSL-Clientschlüssels an.
   11. Klicken Sie optional auf + Label hinzufügen, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
   12. Klicken Sie auf Weiter.
5. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
   1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.

      Die folgenden Authentifizierungstypen werden von der Azure Synapse-Verbindung unterstützt:

      • Nutzerpasswort
      • Azure AD

   Informationen zum Konfigurieren dieser Authentifizierungstypen finden Sie unter Authentifizierung konfigurieren.

   2. Klicken Sie auf Next (Weiter).
6. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
7. Klicken Sie auf Erstellen.

Authentifizierung konfigurieren

Geben Sie die Details basierend auf der zu verwendenden Authentifizierung ein.

• Nutzerpasswort
  • Nutzername: Geben Sie den Nutzernamen für die Datenbank ein.
  • Password (Passwort): Secret Manager Secret mit dem Passwort, das dem Nutzernamen zugeordnet ist.

• Azure AD
  • Client-ID: Die Client-ID, die zum Anfordern von Zugriffstokens verwendet wird. Sie finden sie in der Übersicht der verbundenen Anwendung, die im Azure-Portal erstellt wurde.
  • Scope: Eine durch Kommas getrennte Liste der gewünschten Bereiche.
  • Client-Secret: Secret Manager-Secret mit dem Kontozugriffsschlüssel.
  • Autorisierungs-URL: Autorisierungs-URL, die beim Erstellen des Clients generiert wird.

Zusätzliche Schritte nach dem Erstellen der Verbindung

Wenn Sie OAuth 2.0 - Authorization code für die Authentifizierung ausgewählt haben, müssen Sie nach dem Erstellen der Verbindung die folgenden zusätzlichen Schritte ausführen:

1. Suchen Sie auf der Seite Verbindungen nach der neu erstellten Verbindung.

   Der Status für den neuen Connector lautet Autorisierung erforderlich.

2. Klicken Sie auf Autorisierung erforderlich.

   Daraufhin wird der Bereich Autorisierung bearbeiten angezeigt.

3. Kopieren Sie den Wert für den Weiterleitungs-URI in Ihre externe Anwendung.
4. Überprüfen Sie die Autorisierungsdetails.
5. Klicken Sie auf Autorisieren.

   Wenn die Autorisierung erfolgreich war, wird der Verbindungsstatus auf der Seite Verbindungen auf Aktiv gesetzt.

Erneute Autorisierung für Autorisierungscode

Wenn Sie den Authentifizierungstyp Authorization code verwenden und Änderungen an der Konfiguration in Ihrer Azure Synapse-Anwendung vorgenommen haben: Sie müssen Ihre Azure Synapse-Verbindung noch einmal autorisieren. So autorisieren Sie eine Verbindung noch einmal:

1. Klicken Sie auf der Seite Verbindungen auf die gewünschte Verbindung.

   Die Seite mit den Verbindungsdetails wird geöffnet.

2. Klicken Sie auf Bearbeiten, um die Verbindungsdetails zu bearbeiten.
3. Überprüfen Sie die Details unter OAuth 2.0 – Autorisierungscode im Abschnitt Authentifizierung.

   Nehmen Sie gegebenenfalls die erforderlichen Änderungen vor.

4. Klicken Sie auf Speichern. Die Seite mit den Verbindungsdetails wird geöffnet.
5. Klicken Sie im Abschnitt Authentifizierung auf Autorisierung bearbeiten. Daraufhin wird der Bereich Autorisieren angezeigt.
6. Klicken Sie auf Autorisieren.

   Wenn die Autorisierung erfolgreich war, wird der Verbindungsstatus auf der Seite „Verbindungen“ auf Aktiv gesetzt.

Entitäten, Vorgänge und Aktionen

Alle Integration Connectors bieten eine Abstraktionsebene für die Objekte der verbundenen Anwendung. Sie können nur über diese Abstraktion auf die Objekte einer Anwendung zugreifen. Die Abstraktion wird Ihnen als Entitäten, Vorgänge und Aktionen zur Verfügung gestellt.

Hinweis: Sie können die Entitäten, Vorgänge und Aktionen eines Connectors in der Connectors-Aufgabe aufrufen.

• Entität: Eine Entität kann als Objekt oder Sammlung von Attributen in der verbundenen Anwendung oder im verbundenen Dienst verstanden werden. Die Definition einer Entität unterscheidet sich von Connector zu Connector. Beispiel: In einem Datenbank-Connector sind Tabellen die Entitäten, in einem Dateiserver-Connector sind Ordner die Entitäten und in einem Nachrichtensystem-Connector sind Warteschlangen die Entitäten.

  Es ist jedoch möglich, dass ein Connector keine Entitäten unterstützt oder keine Entitäten enthält. In diesem Fall ist die Liste Entities leer.

• Vorgang: Ein Vorgang ist die Aktivität, die Sie für eine Entität ausführen können. Sie können einen der folgenden Vorgänge für eine Entität ausführen:
  • Liste
  • Abrufen
  • Erstellen
  • Aktualisieren
  • Löschen

  Durch Auswahl einer Entität aus der verfügbaren Liste wird eine Liste der Vorgänge generiert, die für die Entität verfügbar sind. Eine detaillierte Beschreibung der Vorgänge finden Sie in den Entitätsvorgängen der Connectors-Aufgabe. Wenn ein Connector jedoch keinen der Entitätsvorgänge unterstützt, werden diese nicht unterstützten Vorgänge nicht in der Liste Operations aufgeführt.

• Aktion: Eine Aktion ist eine Funktion erster Klasse, die über die Connector-Benutzeroberfläche für die Integration verfügbar gemacht wird. Mit einer Aktion können Sie Änderungen an einer oder mehreren Entitäten vornehmen, die von Connector zu Connector unterschiedlich sind. Normalerweise hat eine Aktion einige Eingabeparameter und einen Ausgabeparameter. Es ist jedoch möglich, dass ein Connector keine Aktionen unterstützt. In diesem Fall ist die Actions-Liste leer.

Hinweis : Allen Entitäten und Aktionen ist ein Schema zugeordnet. Ein Aktionsschema hat beispielsweise folgende Parameterdetails: den Parameter und den zugehörigen Datentyp. Das Schema (Metadaten) für Entitäten und Aktionen wird von der Verbindung unter aus Ihrem Back-End. Wenn es Aktualisierungen am Schema gibt, werden diese nicht automatisch in Ihren vorhandenen Verbindungen berücksichtigt. Sie müssen das Schema manuell aktualisieren. Wenn Sie das Schema für eine Verbindung aktualisieren möchten, öffnen Sie die Seite Verbindungsdetails der Verbindung und klicken Sie dann auf Verbindungsschema aktualisieren.

Systemeinschränkungen

Der Azure Synapse-Connector kann maximal vier Transaktionen pro Sekunde verarbeiten. pro Knoten, und drosselt alle Transaktionen über dieses Limit hinaus. Standardmäßig werden von Integration Connectors zwei Knoten (für eine bessere Verfügbarkeit) für eine Verbindung zugewiesen.

Informationen zu den für Integration Connectors geltenden Limits finden Sie unter Beschränkungen.

Hinweis: Die Anzahl der Integration Connectors-Knoten wird dynamisch basierend auf Ihrer Nutzung skaliert. Wenn Sie jedoch Kapazität für große Datenmengen reservieren möchten, ohne auf das Autoscaling zu warten, können Sie den Mindestknotenwert für eine Verbindung anpassen. Mehr Knoten sind erforderlich, um mehr Transaktionen für eine Verbindung zu verarbeiten. Umgekehrt benötigen weniger Knoten sind erforderlich, wenn über eine Verbindung weniger Transaktionen verarbeitet werden. So konfigurieren Sie die Knotenwerte:

• Wenn Sie ein „Pay as you go“-Kunde sind, konfigurieren Sie den Mindest- und Höchstwert für Knoten auf der Seite zum Bearbeiten der Verbindung.
• Wenn Sie ein Abo haben, wenden Sie sich bitte an den Support.

Die maximale Anzahl von Transaktionen, die ein Knoten verarbeiten kann, hängt von verschiedenen Faktoren ab. Bevor Sie die Mindestanzahl von Knoten für einen besseren Durchsatz anpassen, sollten Sie prüfen, ob Ihre Back-End-Systeme optimal für die Verarbeitung des erforderlichen Traffics eingerichtet sind.

Unterstützte Datentypen

Folgende Datentypen werden für diesen Connector unterstützt:

• BIGINT
• BINARY
• BIT
• CHAR
• DATE
• DATETIME
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• GANZZAHL
• GELD
• NCHAR
• NVARCHAR
• REAL
• LSEG
• SMALLDATETIME
• SMALLINT
• KLEINGELD
• TINYINT
• EINDEUTIGE KENNUNG
• VARBINARY
• VARCHAR

Aktionen

Mit dem Azure Synapse-Connector können Sie gespeicherte Prozeduren und benutzerdefinierte SQL-Abfragen ausführen Abfragen in dem von Azure Synapse unterstützten Format. Ausführung SQL-Abfragen verwenden, können Sie vom Connector die Funktion Benutzerdefinierte Abfrage ausführen Aktion ausführen.

So erstellen Sie eine benutzerdefinierte Abfrage:

1. Folgen Sie der detaillierten Anleitung zum Hinzufügen einer Connectors-Aufgabe.
2. Wählen Sie beim Konfigurieren der Connector-Aufgabe als Typ der auszuführenden Aktion die Option Aktionen aus.
3. Wählen Sie in der Liste Aktion die Option Benutzerdefinierte Abfrage ausführen aus und klicken Sie dann auf Fertig.

   

4. Maximieren Sie den Bereich Task Input und führen Sie dann die folgenden Schritte aus:
   1. Geben Sie in das Feld Zeitlimit nach die Anzahl der Sekunden ein, die gewartet werden soll, bis die Abfrage ausgeführt wird.

      Standardwert: 180 Sekunden.

   2. Geben Sie im Feld Maximale Zeilenanzahl die maximale Anzahl von Zeilen ein, die aus der Datenbank zurückgegeben werden sollen.

      Standardwert: 25.

   3. Klicken Sie auf Benutzerdefiniertes Script bearbeiten, um die benutzerdefinierte Abfrage zu aktualisieren. Das Dialogfeld Skripteditor wird geöffnet.

      

   4. Geben Sie im Dialogfeld Skripteditor die SQL-Abfrage ein und klicken Sie auf Speichern.

      Sie können in einer SQL-Anweisung ein Fragezeichen (?) für einen einzelnen Parameter verwenden, der in der Liste der Abfrageparameter angegeben werden muss. Mit der folgenden SQL-Abfrage werden beispielsweise alle Zeilen aus der Tabelle Employees ausgewählt, die mit den für die Spalte LastName angegebenen Werten übereinstimmen:

      SELECT * FROM Employees where LastName=?

      Hinweis:Anweisungen in der Datenbearbeitungssprache (Data Manipulation Language, Datenbearbeitungssprache) und Data Definition Language (DDL) werden unterstützt.
   5. Wenn Sie Fragezeichen in Ihrer SQL-Abfrage verwendet haben, müssen Sie den Parameter hinzufügen. Klicken Sie dazu für jedes Fragezeichen auf + Parameternamen hinzufügen. Beim Ausführen der Integration ersetzen diese Parameter die Fragezeichen (?) in der SQL-Abfrage nacheinander. Wenn Sie beispielsweise drei Fragezeichen (?) hinzugefügt haben, müssen Sie drei Parameter in der richtigen Reihenfolge hinzufügen.

      

      So fügen Sie Abfrageparameter hinzu:

      1. Wählen Sie in der Liste Typ den Datentyp des Parameters aus.
      2. Geben Sie im Feld Wert den Wert des Parameters ein.
      3. Wenn Sie mehrere Parameter hinzufügen möchten, klicken Sie auf + Abfrageparameter hinzufügen.

Beispiele für Entitätsvorgänge

Beispiel – Datensätze einer Entität auflisten

In diesem Beispiel werden die Einträge der Entität Users aufgelistet.

1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
2. Wähle Users aus der Entity-Liste aus.
3. Wählen Sie den Vorgang List aus und klicken Sie auf Fertig.
4. Im Bereich Aufgabeneingabe der Aufgabe Connectors können Sie die filterClause nach Bedarf festlegen.

   Wenn Sie die Filterklausel beispielsweise auf employeeCode='5100' and startDate='2010-01-01 00:00:00' festlegen, werden nur die Datensätze aufgeführt, deren Mitarbeitercode 5100 und deren Startdatum 01.01.2010 00:00:00 ist.

Beispiel: Einzelnen Datensatz aus einer Entität abrufen

In diesem Beispiel wird ein Datensatz von der Entität Users abgerufen.

1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
2. Wählen Sie in der Liste Entity die Option User aus.
3. Wählen Sie den Vorgang Get aus und klicken Sie auf Fertig.
4. Klicken Sie im Bereich Task Input der Aufgabe Connectors auf entityId und Geben Sie dann 103032 in das Feld Default Value (Standardwert) ein.

   Hier ist 103032 der Primärschlüssel der Entität Users.

Beispiel: Datensatz aus einer Entität löschen

In diesem Beispiel wird ein Datensatz aus der Entität Users gelöscht.

1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
2. Wählen Sie in der Liste Entity die Option Users aus.
3. Wählen Sie den Vorgang Delete aus und klicken Sie auf Fertig.
4. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf entityId und geben Sie dann 113132 in das Feld Standardwert ein.

   Wenn die Entität zusammengesetzte Primärschlüssel hat, anstatt die entityId anzugeben, können Sie alternativ Legen Sie filterClause fest. Beispiel: employeeCode='5100' and startDate='2010-01-01 00:00:00'

Beispiel: Datensatz in einer Entität erstellen

In diesem Beispiel wird ein Eintrag in der Users-Entität erstellt.

1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
2. Wählen Sie in der Liste Entity die Option Users aus.
3. Wählen Sie den Vorgang Create aus und klicken Sie auf Fertig.
4. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Wenn die Integration erfolgreich war, enthält das Feld connectorOutputPayload der Connector-Aufgabe die Antwort des Erstellungsvorgangs.

Beispiel – Datensatz in einer Entität aktualisieren

In diesem Beispiel wird ein Datensatz in der Entität Users aktualisiert.

1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
2. Wählen Sie in der Liste Entity die Option Users aus.
3. Wählen Sie den Vorgang Update aus und klicken Sie auf Fertig.
4. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value:

   {
   "country": "IN"
   }

5. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf entityId und geben Sie dann 113132 in das Feld Standardwert ein.

   Wenn die Entität zusammengesetzte Primärschlüssel hat, können Sie anstelle der entityId auch die filterClause festlegen. Beispiel: employeeCode='5100' and startDate='2010-01-01 00:00:00'

Ist die Integration erfolgreich, wird im Feld connectorOutputPayload der Connector-Aufgabe erhalten Sie die Antwort des Aktualisierungsvorgangs.

Azure Synapse-Verbindung in einer Integration verwenden

Nachdem Sie die Verbindung erstellt haben, ist sie sowohl in Apigee Integration als auch in Application Integration verfügbar. Sie können die Verbindung über die Connectors-Aufgabe in einer Integration verwenden.

• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in der Apigee-Integration finden Sie unter Connectors-Aufgabe.
• Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in Application Integration finden Sie unter Connectors-Aufgabe.

Hilfe von der Google Cloud-Community erhalten

Sie können Ihre Fragen und Anregungen zu diesem Connector in der Google Cloud-Community unter Cloud-Foren posten.

Nächste Schritte

• Informationen zum Anhalten und Fortsetzen einer Verbindung
• Informationen zum Überwachen der Connector-Nutzung
• Weitere Informationen zum Ansehen von Connector-Logs