Azure Data Lake-Speicher

Mit dem Azure Data Lake Storage-Connector können Sie eine Verbindung zu Azure Data Lake Storage herstellen und SQL zum Abrufen und Aktualisieren der Azure Data Lake Storage-Daten verwenden.

Hinweise

Führen Sie die folgenden Aufgaben aus, bevor Sie den Azure Data Lake Storage-Connector verwenden:

  • In Ihrem Google Cloud-Projekt:
    • Weisen Sie dem Nutzer die IAM-Rolle roles/connectors.admin zu. Connector konfigurieren.
    • Weisen Sie dem Dienstkonto, das Sie für den Connector verwenden möchten, die folgenden IAM-Rollen zu:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Ein Dienstkonto ist eine spezielle Art von Google-Konto, das einen nicht menschlichen Nutzer repräsentiert. Es muss authentifiziert und autorisiert werden, um Zugriff auf Daten in Google APIs zu erhalten. Wenn Sie kein Dienstkonto haben, müssen Sie eins erstellen. Weitere Informationen finden Sie unter Dienstkonto erstellen.

    • Aktivieren Sie die folgenden Dienste:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Informationen zum Aktivieren von Diensten finden Sie unter Dienste aktivieren.

    Wenn diese Dienste oder Berechtigungen für Ihr Projekt zuvor nicht aktiviert wurden, werden Sie aufgefordert, sie beim Konfigurieren des Connectors zu aktivieren.

Connector konfigurieren

Für die Konfiguration des Connectors müssen Sie eine Verbindung zu Ihrer Datenquelle (Backend-System) erstellen. Eine Verbindung ist für eine Datenquelle spezifisch. Wenn Sie also viele Datenquellen haben, müssen Sie für jede Datenquelle eine separate Verbindung erstellen. So erstellen Sie eine Verbindung:

  1. Rufen Sie in der Cloud Console die Seite Integration Connectors > Verbindungen auf und wählen Sie ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Seite „Verbindungen“

  2. Klicken Sie auf + NEU ERSTELLEN, um die Seite Verbindung erstellen zu öffnen.
  3. Wählen Sie im Abschnitt Standort den Standort für die Verbindung aus.
    1. Region: Wählen Sie einen Standort aus der Drop-down-Liste aus.

      Unterstützte Regionen für Connectors:

      Eine Liste aller unterstützten Regionen finden Sie unter Standorte.

    2. Klicken Sie auf Weiter.
  4. Führen Sie im Abschnitt Verbindungsdetails folgende Schritte aus:
    1. Connector: Wählen Sie in der Drop-down-Liste der verfügbaren Connectors Azure Data Lake Storage aus.
    2. Connector-Version: Wählen Sie die Connector-Version aus der Drop-down-Liste der verfügbaren Versionen aus.
    3. Geben Sie im Feld Verbindungsname einen Namen für die Verbindungsinstanz ein.

      Verbindungsnamen müssen die folgenden Kriterien erfüllen:

      • Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
      • Buchstaben müssen Kleinbuchstaben sein.
      • Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
      • Verbindungsnamen dürfen maximal 63 Zeichen haben.
    4. Geben Sie optional unter Beschreibung eine Beschreibung für die Verbindungsinstanz ein.
    5. Aktivieren Sie optional Cloud Logging. und wählen Sie dann eine Logebene aus. Standardmäßig ist die Logebene auf Error festgelegt.
    6. Dienstkonto: Wählen Sie ein Dienstkonto, das über die erforderlichen Rollen verfügt.
    7. Konfigurieren Sie optional die Einstellungen für den Verbindungsknoten:

      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.

    8. Account: Dieses Attribut gibt den Namen des Azure Data Lake Storage-Kontos an.
    9. Verzeichnis: Diese Eigenschaft gibt den Stammpfad zum Auflisten von Dateien und Ordnern an.
    10. File System: Diese Eigenschaft gibt den Namen des Dateisystems an, das in einem Gen 2-Speicherkonto verwendet wird. Beispiel: der Name Ihres Azure-Blob-Containers.
    11. Blockgröße: Die Größe der Blöcke (in MB), die beim Hochladen großer Dateien verwendet werden sollen.
    12. Include Sub Directoryies (Unterverzeichnisse einschließen): Wählen Sie aus, ob die Pfade der Unterverzeichnisse in der Ansicht „Resources“ im ADLSGen2-Schema aufgelistet werden sollen.
    13. Klicken Sie optional auf + Label hinzufügen, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
    14. Klicken Sie auf Weiter.
  5. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
    1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.

      Die folgenden Authentifizierungstypen werden von der Azure Data Lake Storage-Verbindung unterstützt:

      • Shared Access Signature
      • Kontozugriffsschlüssel

      2. Informationen zum Konfigurieren dieser Authentifizierungstypen finden Sie unter Authentifizierung konfigurieren.

    2. Klicken Sie auf Next (Weiter).
  6. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
  7. Klicken Sie auf Erstellen.

Authentifizierung konfigurieren

Geben Sie die Details basierend auf der zu verwendenden Authentifizierung ein.

  • Signatur für gemeinsamen Zugriff

    Wenn Sie die anonyme Anmeldung verwenden möchten, wählen Sie Nicht verfügbar aus.

    • Shared Access Signature: Secret Manager-Secret mit der Signatur für den freigegebenen Zugriff.
  • Kontozugriffsschlüssel

    Wenn Sie die anonyme Anmeldung verwenden möchten, wählen Sie Nicht verfügbar aus.

    • Account Access Key (Kontozugriffsschlüssel): Secret Manager-Secret, das den Kontozugriffsschlüssel enthält.

Entitäten, Vorgänge und Aktionen

Alle Integration Connectors bieten eine Abstraktionsebene für die Objekte der verbundenen Anwendung. Sie können nur über diese Abstraktion auf die Objekte einer Anwendung zugreifen. Die Abstraktion wird Ihnen als Entitäten, Vorgänge und Aktionen zur Verfügung gestellt.

  • Entität: Eine Entität kann als Objekt oder Sammlung von Attributen in der verbundenen Anwendung oder im verbundenen Dienst verstanden werden. Die Definition einer Entität unterscheidet sich von Connector zu Connector. Beispiel: In einem Datenbank-Connector sind Tabellen die Entitäten, in einem Dateiserver-Connector sind Ordner die Entitäten und in einem Nachrichtensystem-Connector sind Warteschlangen die Entitäten.

    Es ist jedoch möglich, dass ein Connector keine Entitäten unterstützt oder keine Entitäten enthält. In diesem Fall ist die Liste Entities leer.

  • Vorgang: Ein Vorgang ist die Aktivität, die Sie für eine Entität ausführen können. Sie können einen der folgenden Vorgänge für eine Entität ausführen:

    Durch Auswahl einer Entität aus der verfügbaren Liste wird eine Liste der Vorgänge generiert, die für die Entität verfügbar sind. Eine detaillierte Beschreibung der Vorgänge finden Sie in den Entitätsvorgängen der Connectors-Aufgabe. Unterstützt ein Connector jedoch keine Entitätsvorgänge, Vorgänge sind nicht in der Operations-Liste aufgeführt.

  • Aktion: Eine Aktion ist eine Funktion erster Klasse, die über die Connector-Benutzeroberfläche für die Integration verfügbar gemacht wird. Mit einer Aktion können Sie Änderungen an einer oder mehreren Entitäten vornehmen, die von Connector zu Connector unterschiedlich sind. Normalerweise hat eine Aktion einige Eingabeparameter und einen Ausgabeparameter. Es ist jedoch möglich, dass ein Connector keine Aktionen unterstützt. In diesem Fall ist die Actions-Liste leer.

Systembeschränkungen

Der Azure Data Lake Storage-Connector kann fünf Transaktionen pro Sekunde verarbeiten. pro Knoten, und throttles Transaktionen über diesen Grenzwert hinaus. Standardmäßig weist Integration Connectors einer Verbindung 2 Knoten zu (für bessere Verfügbarkeit).

Informationen zu den Limits für Integration Connectors finden Sie unter Limits.

Aktionen

In diesem Abschnitt werden die vom Connector unterstützten Aktionen aufgeführt. Um zu verstehen, wie die siehe Beispiele für Aktionen.

DownloadFile-Aktion

Mit dieser Aktion können Sie den Inhalt eines bestimmten Blobs aus einem Verzeichnis oder Container herunterladen.

Eingabeparameter der Aktion „DownloadFile“

Parametername Datentyp Erforderlich Beschreibung
Pfad String Ja Der Pfad der herunterzuladenden Datei (einschließlich des Dateinamens). Beispiele:
  • FILE_NAME
  • dir1/FILE_NAME
  • dir1/dir2/FILE_NAME
HasBytes Boolesch Nein Gibt an, ob Inhalte als Bytes (Base64-Format) heruntergeladen werden sollen.
  • Zum Herunterladen von Nicht-Textdateien wie .pdf, .xls und .docx, du musst HasBytes festlegen an true.
  • Wenn du eine Textdatei herunterladen möchtest, setze HasBytes auf true oder false. Wenn Sie den Wert auf true setzen, wird der Text Inhalt wird in Byte (Base64-Format) heruntergeladen.
Der Standardwert für diesen Parameter ist false.

Ausgabeparameter der Aktion „DownloadFile“

Wenn die Aktion erfolgreich ist, wird der Inhalt der Datei oder des Blobs zurückgegeben.

So konfigurieren Sie beispielsweise die Aktion DownloadFile. Siehe Aktionsbeispiele.

Aktion „CreateFile“

Mit dieser Aktion können Sie ein Blob oder eine Datei in einem Container oder Verzeichnis erstellen.

Eingabeparameter der CreateFile-Aktion

Parametername Datentyp Erforderlich Beschreibung
Pfad String Ja Der Pfad der Datei, die erstellt wird.

So konfigurieren Sie beispielsweise die Aktion CreateFile. Siehe Aktionsbeispiele.

CopyFile-Aktion

Mit dieser Aktion können Sie den Inhalt einer Datei oder eines Blobs in eine andere Datei oder ein anderes Blob im selben Container oder Verzeichnis kopieren.

Eingabeparameter der CopyFile-Aktion

Parametername Datentyp Erforderlich Beschreibung
SourcePath String Ja Der Pfad der Datei, die kopiert wird.
DestinationPath String Ja Der Pfad der Datei, in die sie kopiert werden soll.

So konfigurieren Sie beispielsweise die Aktion CopyFile. Siehe Aktionsbeispiele.

DeleteObject-Aktion

Mit dieser Aktion können Sie eine Datei oder ein Blob löschen.

Eingabeparameter der DeleteObject-Aktion

Parametername Datentyp Erforderlich Beschreibung
Rekursiv String Nein Legen Sie hier true fest, um den gesamten Inhalt des Ordners einschließlich aller Unterordner zu löschen.
Pfad String Ja Der Pfad der Datei oder des Ordners, der gelöscht werden soll.
DeleteType String Ja
  • Legen Sie diesen Parameter auf „FILESANDFOLDERS“ fest, um die im Pfadparameter angegebene Datei oder den angegebenen Ordner zu löschen.
  • Setzen Sie diese Option auf FILES, um nur die Dateien in dem Ordner zu löschen, der im Pfadparameter angegeben ist.

So konfigurieren Sie beispielsweise die Aktion DeleteObject. Siehe Aktionsbeispiele.

LeaseBlob-Aktion

Mit dieser Aktion können Sie eine Sperre für einen Blob erstellen und verwalten.

Eingabeparameter der LeaseBlob-Aktion

Parametername Datentyp Erforderlich Beschreibung
Pfad String Ja Der Pfad der Datei.
LeaseAction String Ja Gibt die auszuführende Freigabeaktion an.
LeaseDuration Ganzzahl Ja Gibt die Dauer des Leases an.

Ein Beispiel zum Konfigurieren der LeaseBlob-Aktion finden Sie unter Beispiele für Aktionen.

UploadFile-Aktion

Mit dieser Aktion können Nutzer den Inhalt in ein bestimmtes Blob oder Container hochladen.

Eingabeparameter der UploadFile-Aktion

Parametername Datentyp Erforderlich Beschreibung
Pfad String Ja Der Pfad der Datei, die hochgeladen werden soll.
HasBytes Boolesch Nein Ob Inhalte als Bytes hochgeladen werden sollen.
Inhalt String Ja Hochzuladender Inhalt

Ein Beispiel zum Konfigurieren der UploadFile-Aktion finden Sie unter Beispiele für Aktionen.

Aktion "UmbenennenObject"

Mit dieser Aktion können Sie eine Datei oder einen Ordner umbenennen.

Eingabeparameter der Aktion „RenameObject“

Parametername Datentyp Erforderlich Beschreibung
Pfad String Ja Der Pfad, der umbenannt werden soll.
RenameTo String Ja Der neue Name der Datei oder des Ordners.

So konfigurieren Sie beispielsweise die Aktion RenameObject. Siehe Aktionsbeispiele.

Aktionsbeispiele

Beispiel – Datei herunterladen

In diesem Beispiel wird eine Binärdatei heruntergeladen.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion DownloadFile aus und klicken Sie auf Fertig.
  3. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value: 
    {
"Path": "testdirectory1/test1.pdf",
"HasBytes": true
}

    4. Wenn die Aktion erfolgreich ist, connectorOutputPayload-Antwort der Aufgabe von DownloadFile hat einen Wert ähnlich dem folgenden:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Beispiel – Datei hochladen

In diesem Beispiel werden Inhalte als Blob hochgeladen.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion UploadFile aus und klicken Sie auf Fertig.
  3. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value: 
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Wenn die Aktion erfolgreich ist, connectorOutputPayload-Antwort der Aufgabe von UploadFile hat einen Wert ähnlich dem folgenden:

    [{
"Success": "true"
}]

Beispiel – Datei erstellen

In diesem Beispiel wird eine Datei im angegebenen Verzeichnis erstellt.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion CreateFile aus und klicken Sie auf Fertig.
  3. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Wenn die Aktion erfolgreich ist, connectorOutputPayload-Antwort der Aufgabe von CreateFile hat einen Wert ähnlich dem folgenden:

    [{
"Success": "true"
}]

Beispiel – Datei kopieren

In diesem Beispiel wird eine Datei von einem Speicherort an einen anderen kopiert.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion CopyFile aus und klicken Sie auf Fertig.
  3. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value: 
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Wenn die Aktion erfolgreich ist, connectorOutputPayload-Antwort der Aufgabe von CopyFile hat einen Wert ähnlich dem folgenden:

    [{
"Success": "true"
}]

Beispiel – Blob löschen

In diesem Beispiel wird der angegebene Blob gelöscht.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion DeleteObject aus und klicken Sie auf Fertig.
  3. Klicken Sie im Abschnitt Task Input der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Feld Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Wenn die Aktion erfolgreich war, hat der Antwortparameter connectorOutputPayload der Aufgabe DeleteObject einen Wert, der in etwa so aussieht:

    [{
"Success": "true"
}]

Beispiel: Blob leasen

In diesem Beispiel wird das angegebene Blob freigegeben.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion LeaseBlob aus und klicken Sie auf Fertig.
  3. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Default Value ein: 
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Wenn die Aktion erfolgreich ist, connectorOutputPayload-Antwort der Aufgabe von LeaseBlob hat einen Wert ähnlich dem folgenden:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Beispiel – Blob umbenennen

In diesem Beispiel wird ein Blob umbenannt.

  1. Klicken Sie im Dialogfeld Configure connector task auf Actions.
  2. Wählen Sie die Aktion RenameObject aus und klicken Sie auf Fertig.
  3. Klicken Sie im Bereich Aufgabeneingabe der Aufgabe Connectors auf connectorInputPayload und geben Sie dann einen Wert ähnlich dem folgenden in das Feld Default Value ein: 
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Wenn die Aktion erfolgreich war, hat der Antwortparameter connectorOutputPayload der Aufgabe RenameObject einen Wert, der in etwa so aussieht:

    [{
"Success": true
}]

Beispiele für Entitätsvorgänge

In diesem Abschnitt wird gezeigt, wie Sie einige Entitätsvorgänge in diesem Connector ausführen.

Beispiel: Alle Einträge auflisten

In diesem Beispiel werden alle Datensätze in der Entität Resource aufgelistet.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wählen Sie in der Liste Entity die Option Resource aus.
  3. Wählen Sie den Vorgang List aus und klicken Sie auf Fertig.
  4. Optional können Sie im Abschnitt Task Input der Aufgabe Connectors Sie können die Ergebnisse filtern, indem Sie eine Filterklausel festlegen. Geben Sie den Wert der Filterklausel immer in einfachen Anführungszeichen (') an.

Beispiel – Datensatz abrufen

In diesem Beispiel wird ein Datensatz mit der angegebenen ID von der Entität Resource abgerufen.

  1. Klicken Sie im Dialogfeld Configure connector task auf Entities.
  2. Wähle Resource aus der Entity-Liste aus.
  3. Wählen Sie den Vorgang Get aus und klicken Sie auf Fertig.
  4. Klicken Sie im Bereich Task Input der Aufgabe Connectors auf EntityId und Geben Sie dann testdirectory1/testblob1 in das Feld Default Value (Standardwert) ein.

    Hier ist testdirectory1/testblob1 eine eindeutige Eintrags-ID in der Entität Resource.

Azure Data Lake Storage-Verbindung in einer Integration verwenden

Nachdem Sie die Verbindung erstellt haben, ist sie in beiden Apigee-Integration und Anwendungsintegration Sie können die Verbindung über die Connectors-Aufgabe in einer Integration.

  • Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in der Apigee-Integration finden Sie unter Connectors-Aufgabe.
  • Informationen zum Erstellen und Verwenden der Connectors-Aufgabe in der Anwendungsintegration finden Sie unter Connectors-Aufgabe.

Hilfe von der Google Cloud-Community erhalten

Sie können Ihre Fragen und Anregungen zu diesem Connector in der Google Cloud-Community unter Cloud-Foren posten.

Nächste Schritte