SAP ODP-Batchquelle

Auf dieser Seite finden Sie eine Anleitung zum Konfigurieren des SAP ODP-Plug-ins in Cloud Data Fusion.

Das SAP ODP-Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit BigQuery oder anderen unterstützten Zielsystemen mit Cloud Data Fusion. Das Plug-in bietet die folgenden Hauptfunktionen:

Unterstützte Softwareversionen

Software Versionen
SAP S4/HANA SAP S4/HANA 1909 und höher
SAP ECC SAP ERP6 NW 7.31 SP16 und höher
SAP JCo SAP JCo-Version 3.0.20 und höher
Cloud Data Fusion 6.3 und höher

Weitere Informationen zu SAP auf Google Cloudfinden Sie unter Übersicht über SAP auf Google Cloud.

Hinweise

Richten Sie die folgenden Systeme und Dienste ein, die vom SAP ODP-Plug-in verwendet werden:

  1. SAP ERP-System konfigurieren Dieser Prozess umfasst die folgenden Schritte:
    • Installieren Sie die SAP-Transportdateien.
    • Richten Sie die erforderlichen SAP-Autorisierungen und -Rollen ein.
    • Richten Sie den SAP Java-Connector ein.

  2. ODP-Plug-in in Cloud Data Fusion bereitstellen

    • Wichtig: Wählen Sie eine Plugin-Version aus, die mit der Cloud Data Fusion-Version kompatibel ist.
    • Wenn Sie die Version Ihrer Cloud Data Fusion-Instanz oder Ihres Plug-ins aktualisieren, sollten Sie die Auswirkungen der Änderungen auf den Funktionsumfang und die Leistung der Pipeline bewerten.

  3. Stellen Sie eine RFC-Verbindung zwischen Cloud Data Fusion und SAP her.

    • Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist.
    • Richten Sie für private Instanzen VPC-Netzwerk-Peering ein.
    • Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Plug-in konfigurieren

  1. Rufen Sie die Cloud Data Fusion-Weboberfläche auf und klicken Sie auf Studio.
  2. Prüfen Sie, ob Datenpipeline – Batch (nicht Echtzeit) ausgewählt ist.
  3. Klicken Sie im Menü Quelle auf SapODP. Der SAP ODP-Knoten wird in Ihrer Pipeline angezeigt.
  4. Wenn Sie die Quelle konfigurieren möchten, rufen Sie den SAP ODP-Knoten auf und klicken Sie auf Properties (Attribute).

  5. Geben Sie die folgenden Eigenschaften ein. Eine vollständige Liste finden Sie unter Properties.

    1. Geben Sie ein Label für den SAP ODP-Knoten ein, z. B. SAP ODP tables.

    2. Geben Sie die Verbindungsdetails ein. Sie können eine neue, einmalige Verbindung oder eine vorhandene, wiederverwendbare Verbindung einrichten.

      Neue Verbindung

      So fügen Sie eine einmalige Verbindung zu SAP hinzu:

      1. Lassen Sie Verbindung verwenden deaktiviert.

      2. Geben Sie im Abschnitt Verbindung die folgenden Informationen aus dem SAP-Konto in diese Felder ein:

        1. Geben Sie im Feld Referenzname einen Namen für die Verbindung ein, mit dem diese Quelle für die Herkunft identifiziert wird.
        2. Geben Sie im Feld SAP-Client den Clientnamen einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Clientnamen angeben.
        3. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).

        4. Wählen Sie einen der folgenden Verbindungstypen aus.

          • Direkt (über den SAP-Anwendungsserver): Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
          • Load-Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und SAP-Anmeldegruppenname.

        5. Wählen Sie im Feld Kontext den Typ der Datenquelle aus, die Sie verwenden.

        6. Geben Sie im Feld SAP ODP source name (Name der SAP-ODP-Quelle) den Namen der Datenquelle ein, die Sie verwenden.

        7. Wählen Sie im Feld Extrahierungstyp den Typ der Datenextraktion aus. Der Standardwert ist Vollständig (alle Daten).

        8. Geben Sie die SAP-Anmeldedaten an: Bitten Sie den SAP-Administrator um den SAP-Anmeldenamen und das Passwort.

        9. Geben Sie im Feld Cloud Storage-Pfad zur JCo-Bibliothek den Pfad zum SAP Java Connector (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.

        10. Wenn Sie ein Schema auf Grundlage der Metadaten von SAP generieren möchten, in dem SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zugeordnet werden, klicken Sie auf Schema abrufen. Weitere Informationen finden Sie unter Datentypzuordnungen.

        11. Optional: Wenn Sie die Aufnahmebelastung durch SAP optimieren möchten, geben Sie Informationen in die folgenden Felder ein:

          1. Geben Sie im Feld SAP ODP-Abonnentenname den Abonnenten für die Datenextraktion aus einer gültigen DataSource an.
          2. Mit Filteroptionen können Sie Datensätze basierend auf Auswahlbedingungen extrahieren.
          3. Im Feld Anzahl der Splits können Sie Partitionen erstellen, um Datensätze parallel zu extrahieren. Das verbessert die Leistung. Die Anzahl der Splits kann sich auf SAP-Arbeitsprozesse auswirken und muss sorgfältig ausgewählt werden.
          4. Geben Sie im Feld Paketgröße die Anzahl der Datensätze an, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Die Paketgröße wirkt sich auf die Leistung und die verfügbaren Ressourcen aus und muss sorgfältig ausgewählt werden.

      Wiederverwendbare Verbindung

      So verwenden Sie eine vorhandene Verbindung wieder:

      1. Aktivieren Sie Verbindung verwenden.
      2. Klicken Sie auf Verbindungen durchsuchen.

      3. Klicken Sie auf den Namen der Verbindung.

      Wenn keine Verbindung vorhanden ist, gehen Sie so vor, um eine wiederverwendbare Verbindung zu erstellen:

      1. Klicken Sie auf Verbindung hinzufügen> SapOdp.
      2. Geben Sie auf der Seite Create a SapOdp connection (SapOdp-Verbindung erstellen), die sich öffnet, einen Verbindungsnamen und eine Beschreibung ein.
      3. Geben Sie im Feld SAP-Mandant den Mandantennamen einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Clientnamen angeben.
      4. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).

      5. Wählen Sie einen der folgenden Verbindungstypen aus.

        • Direkt (über den SAP-Anwendungsserver): Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
        • Load-Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und Name der SAP-Anmeldegruppe.

      6. Geben Sie im SAP ODP-Quellnamen den Namen der ODP-DataSource aus SAP ein.

      7. Geben Sie die SAP-Anmeldedaten an: Bitten Sie den SAP-Administrator um die Werte für SAP-Anmeldename und Passwort.

      8. Geben Sie im Feld GCS-Pfad zur JCo-Bibliothek den SAP Java Connector-Pfad (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.

      9. Geben Sie im Feld Wartezeit eine Wartezeit in Sekunden ein, die vor dem nächsten Wiederholungsversuch abgewartet werden soll, z. B. 60.

      10. Geben Sie im Feld Anzahl der Wiederholungen die maximale Anzahl der Wiederholungsversuche ein, z. B. 3.

      11. Optional: Geben Sie im Feld Zusätzliche SAP-Verbindungseigenschaften Schlüssel/Wert-Paare ein, die die SAP JCo-Standardeinstellungen überschreiben müssen.

      12. Klicken Sie auf Erstellen.

Eigenschaften

Attribut Makro aktiviert Erforderliche Property Beschreibung
Label Nein Ja Der Name des Knotens in Ihrer Datenpipeline.
Verbindung verwenden Nein Nein Wiederverwendbare Verbindung verwenden Wenn eine Verbindung verwendet wird, müssen Sie die Anmeldedaten nicht angeben. Weitere Informationen finden Sie unter Verbindungen verwalten.
Name Nein Ja Der Name der wiederverwendbaren Verbindung.
SAP-Client Ja Ja Die spezifische Instanz oder Umgebung in einem SAP-System.
SAP-Sprache Ja Ja Die Sprache, in der die SAP-Benutzeroberfläche und die Daten angezeigt und verarbeitet werden.
Verbindungstyp Nein Ja Der SAP-Verbindungstyp: Direkt oder Load-Balancing.
Host des SAP-Anwendungsservers Ja Nein Nur für den Verbindungstyp Direkt stammt dieser Hostname vom SAP-Anwendungsserver, der als Middleware-Ebene zwischen SAP-Clients (z. B. der SAP-Weboberfläche, Webbrowsern oder mobilen Apps) und der zugrunde liegenden Datenbank dient.
SAP-Systemnummer Ja Nein Nur für den Verbindungstyp Direkt ist diese Nummer die eindeutige Kennung, die jedem SAP-System zugewiesen wird. Beispiel: 00.
SAP-Router Ja Nein Nur für den Verbindungstyp Direkt: Dies ist der Routerstring für den Proxyserver, der einen sicheren Kanal für die Kommunikation zwischen SAP-Systemen und externen Clients oder Partnern bietet.
SAP Message Server-Host Ja Nein Nur für den Verbindungstyp Load Balanced: Name des Hosts, der das Load Balancing über mehrere Anwendungsserver in SAP hinweg ermöglicht.
SAP Message Server-Dienst oder Portnummer Ja Nein Nur für den Verbindungstyp Load Balancing ist dies der Netzwerkport, an dem der SAP Message Server auf eingehende Verbindungen von SAP-Clients und Anwendungsservern innerhalb von SAP wartet.
SAP-System-ID (SID) Ja Nein Nur für den Verbindungstyp Load Balancing wird diese ID jedem SAP-System zugewiesen.
Name der SAP-Anmeldegruppe Ja Nein Der Name der logischen Gruppierung oder Konfiguration mehrerer SAP-Anwendungsserver. Der Standardwert ist PUBLIC.
Objekttyp – – Die unterstützten Objekttypen sind DataSources/Extractors oder ABAP Core Data Services.
SAP ODP-Quellname Ja Ja Der Name der SAP-Datenquellen oder CDS-Ansicht (z. B. 2LIS_02_ITM).
Extrahierungstyp Ja Ja Das Plug-in unterstützt die folgenden zwei Arten der Datenextraktion:
  • Vollständig (alle Daten): Extrahiert alle verfügbaren Daten.
  • Synchronisierung (automatische Auswahl basierend auf der vorherigen Ausführung): Legt fest, ob der Modus „Vollständig“, „Delta“ (inkrementell) oder „Wiederherstellung“ (Daten der letzten Ausführung wiederherstellen) auf der Grundlage des Typs und des Status der vorherigen Ausführung, die in SAP verfügbar sind, ausgeführt werden soll. Dieser extrahiert vollständige Daten bei der ersten Pipelineausführung (ODP-Modus F) und ändert Daten in nachfolgenden Pipeline-Ausführungen (ODP-Modi D, R).
Nutzername für SAP-Anmeldung Ja Ja Nutzername für SAP
Empfohlen: Wenn sich der Nutzername regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort Ja Ja SAP-Passwort.
Empfohlen: Verwenden Sie sichere Makros.
GCP-Projekt-ID Ja Ja Google Cloud Projekt-ID.
GCS-Pfad zur SAP JCo-Bibliothek Ja Ja Der Pfad zu Cloud Storage, in dem Sie die SAP JCo-Bibliotheksdateien hochgeladen haben.
Schema abrufen – – Das Plug-in generiert ein Schema auf Basis der Metadaten von SAP, in dem SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zugeordnet werden. Weitere Informationen finden Sie unter Datentypzuordnung.
SAP ODP-Abonnentenname Ja Ja Der ODP-Abonnent für die Datenextraktion aus einer gültigen SAP-DataSource oder CDS-Ansicht. Es muss Folgendes enthalten:
  • Maximal 32 Zeichen ohne Leerzeichen
  • Enthalten nur a bis z, A bis Z, 0 bis 9, _ oder /
  • Eindeutig für verschiedene Pipelines, die Daten aus derselben SAP-DataSource extrahieren
Wenn das Feld leer gelassen wird, generiert Cloud Data Fusion eine ID aus einer Kombination aus Projekt-ID, Namespace und Pipelinename. Sie können ein vorheriges Abo wiederverwenden, z. B. eines, das mit einem Drittanbietertool erstellt wurde.
Wartezeit Ja Nein Mit dieser Eigenschaft können Data Engineers eine geeignete Wartezeit nach jedem Netzwerkaufruf von Cloud Data Fusion an SAP auswählen.
Anzahl der Wiederholungsversuche Ja Nein Die Anzahl der Wiederholungsversuche, während auf den Abschluss des Netzwerkaufrufs gewartet wird.
Filteroptionen (gleich) Ja Nein Der Wert, den ein Feld haben muss, damit es gelesen werden kann.
Filteroptionen sind Listen von Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-DataSource angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel für die Verwendung:
Feldname: MTART
Wert: FERT
Filteroptionen (Bereich) Ja Nein Die unteren und oberen Grenzen, die der Wert eines Felds haben muss, damit er gelesen werden kann.
Filteroptionen sind Listen von Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-DataSource angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Das Format hat „Niedrig“ UND „Hoch“. Beispiel für die Verwendung:
Feldname: ERDAT
Niedriger Wert: 2023-11-01
Hoher Wert: 2023-11-30
Filteroptionen (kleiner gleich) Ja Nein Der Wert, der für ein Feld kleiner oder gleich sein muss.
Filteroptionen sind Listen von Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-DataSource angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel für die Verwendung:
Feldname: MATNR
Wert: 10008
Filteroptionen (größer oder gleich) Ja Nein Der Wert, der für ein Feld überschritten werden muss, damit es gelesen wird.
Filteroptionen sind Listen von Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-DataSource angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel für die Verwendung:
Feldname: MATNR
Wert: 10008
Filteroptionen (ungleich) Ja Nein Definiert den Wert, dem ein Feld nicht entsprechen darf, um gelesen zu werden.
Filteroptionen sind Listen von Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-DataSource angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel für die Verwendung:
Feldname: MTART
Wert: FERT
Anzahl der zu generierenden Splits Ja Nein Erstellt Partitionen, um Datensätze parallel zu extrahieren.
Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Datensätze.
Seien Sie vorsichtig, wenn Sie diesen Wert erhöhen, da dadurch die gleichzeitigen Verbindungen mit SAP erhöht werden.
Empfohlen: Planen Sie SAP-Verbindungen für jede Pipeline und die Gesamtzahl der gleichzeitig ausgeführten Pipelines.
Wenn der Wert 0 ist oder leer bleibt, wählt Cloud Data Fusion einen geeigneten Wert basierend auf der Anzahl der verfügbaren Executors, der zu extrahierenden Datensätze und der Paketgröße aus.
Paketgröße (in KB) Ja Nein Die Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Netzwerkextraktionsaufruf im Speicher puffert.
Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen. Mehrere Datenpipelines, die Daten extrahieren, können die Speicherauslastung erhöhen und zu Fehlfunktionen aufgrund von Out of memory-Fehlern führen.
  • Geben Sie eine positive ganze Zahl ein.
  • Wenn 0 oder leer ist, verwendet das Plug-in den Standardwert 70.000 oder einen entsprechend berechneten Wert.
  • Wenn die Datenpipeline aufgrund von Out of memory-Fehlern fehlschlägt, verringern Sie entweder die Paketgröße oder erhöhen Sie den für Ihre SAP-Arbeitsprozesse verfügbaren Speicher.
Zusätzliche Eigenschaften für die SAP-Verbindung Ja Nein Legen Sie zusätzliche SAP JCo-Attribute fest, um die SAP JCo-Standardeinstellungen zu überschreiben. Wenn Sie beispielsweise jco.destination.pool_capacity = 10 festlegen, wird die Standardkapazität des Verbindungspools überschrieben.

Datentypzuordnungen

In der folgenden Tabelle finden Sie eine Liste der SAP-Datentypen mit den entsprechenden Cloud Data Fusion-Typen.

SAP-Datentyp ABAP-Typ SAP description Cloud Data Fusion-Datentyp
INT1 (numerisch) b 1-Byte-Ganzzahl int
INT2 (numerisch) s 2-Byte-Ganzzahl int
INT4 (numerisch) i 4-Byte-Ganzzahl int
INT8 (numerisch) 8 8-Byte-Ganzzahl long
DEC (numerisch) p Nummer des Pakets im BCD-Format (DEC) decimal
DF16_DEC, DF16_RAW (numerisch) a Dezimales Gleitkomma 8 Byte IEEE 754r double
DF34_DEC, DF34_RAW (numerisch) e Dezimales Gleitkomma 16 Byte IEEE 754r double
FLTP (numerisch) f Binäre Gleitkommazahl double
CHAR, LCHR (Zeichen) c Zeichenstring String
SSTRING, GEOM_EWKB (Zeichen) String Zeichenstring String
STRING (Zeichen) String Zeichenstring CLOB Byte
NUMC, ACCP (Zeichen) n Numerischer Text String
RAW, LRAW (Byte) x Binärdaten Byte
RAWSTRING (Byte) xstring Bytestring BLOB Byte
DATS (Datum/Uhrzeit) d Datum Datum
TIMS (Datum/Uhrzeit) t Zeit Zeit
TIMS (Datum/Uhrzeit) utcl Utclong), TimeStamp timestamp

Beschränkungen

Damit Pipelines korrekt definiert und ausgeführt werden, sollten Sie die folgenden Einschränkungen des Plug-ins beachten:

  • Paketgrößen über 50.000 Bytes werden nicht unterstützt.
  • Bei Datenquellen, die keine Deltaextraktion unterstützen, tritt im Synchronisierungsmodus ein Fehler auf.
  • Wenn die Paketgröße in einer benutzerdefinierten Datenquelle nicht berücksichtigt wird, schlägt die Pipeline bei großen Datenextraktionen fehl.

Anwendungsfälle

Es werden zwei Extraktionskontexte unterstützt:

  • DataSources oder Extraktoren (SAPI)
  • ODP-Kontext ABAP CDS (ABAP_CDS)

Das ODP-Plug-in unterstützt die folgenden Standard- und benutzerdefinierten Datenquellen für beide Kontexte:

ODP-Datenquelle Kontext Vollständige Extraktion Delta-Extraktion
SAP-Standardauslieferung SAPI Unterstützt Unterstützt
Benutzerdefiniert (Z*) SAPI Unterstützt Unterstützt
SAP-Standard wird vorab bereitgestellt ABAP_CDS Unterstützt Unterstützt
Benutzerdefiniert (Z*) ABAP_CDS Unterstützt Unterstützt

Nächste Schritte