SAP ODP-Batchquelle

Auf dieser Seite finden Sie eine Anleitung zum Konfigurieren des SAP ODP-Plug-ins in Cloud Data Fusion.

Das SAP ODP-Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit BigQuery oder anderen unterstützten Zielsystemen mithilfe von Cloud Data Fusion. Das Plug-in bietet folgende Hauptfunktionen:

Unterstützte Softwareversionen

Software Versionen
SAP S4/HANA SAP S4/HANA 1909 und höher
SAP ECC SAP ERP6 NW 7.31 SP16 und höher
SAP JCo SAP JCo-Version 3.0.20 und höher
Cloud Data Fusion 6.3 und höher

Weitere Informationen zu SAP auf Google Cloudfinden Sie unter Übersicht über SAP auf Google Cloud.

Hinweis

Richten Sie die folgenden Systeme und Dienste ein, die vom SAP ODP-Plug-in verwendet werden:

  1. Konfigurieren Sie das SAP-ERP-System. Dieser Prozess umfasst die folgenden Schritte:
    • Installieren Sie die SAP-Transportdateien.
    • Richten Sie die erforderlichen SAP-Autorisierungen und -Rollen ein.
    • Richten Sie den SAP Java-Connector ein.

  2. ODP-Plug-in in Cloud Data Fusion bereitstellen

    • Wichtig: Wählen Sie eine Plug-in-Version aus, die mit der Cloud Data Fusion-Version kompatibel ist.
    • Wenn Sie die Version Ihrer Cloud Data Fusion-Instanz oder Ihres Cloud Data Fusion-Plug-ins aktualisieren, sollten Sie die Auswirkungen der Änderungen auf den Funktionsumfang und die Leistung der Pipeline bewerten.

  3. Stellen Sie eine RFC-Verbindung zwischen Cloud Data Fusion und SAP her.

    • Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist.
    • Richten Sie für private Instanzen VPC-Netzwerk-Peering ein.
    • Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Plug-in konfigurieren

  1. Rufen Sie die Cloud Data Fusion-Weboberfläche auf und klicken Sie auf Studio.
  2. Achten Sie darauf, dass Datenpipeline – Batch ausgewählt ist (nicht Echtzeit).
  3. Klicken Sie im Menü Quelle auf SapODP. Der SAP ODP-Knoten wird in Ihrer Pipeline angezeigt.
  4. Klicken Sie zum Konfigurieren der Quelle auf den SAP ODP-Knoten und dann auf Attribute.

  5. Geben Sie die folgenden Properties ein. Eine vollständige Liste finden Sie unter Properties.

    1. Geben Sie ein Label für den SAP ODP-Knoten ein, z. B. SAP ODP tables.

    2. Geben Sie die Verbindungsdetails ein. Sie können eine neue einmalige Verbindung oder eine vorhandene wiederverwendbare Verbindung einrichten.

      Neue Verbindung

      So fügen Sie eine einmalige Verbindung zu SAP hinzu:

      1. Lassen Sie die Option Verbindung verwenden deaktiviert.

      2. Geben Sie im Abschnitt Verbindung die folgenden Informationen aus dem SAP-Konto in die entsprechenden Felder ein:

        1. Geben Sie im Feld Referenzname einen Namen für die Verbindung ein, mit dem diese Quelle für die Herkunft identifiziert wird.
        2. Geben Sie im Feld SAP-Client den Namen des Clients einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Kundennamen angeben.
        3. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).

        4. Wählen Sie einen der folgenden Verbindungstypen aus.

          • Direkt (über SAP Application Server) Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
          • Load Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und Name der SAP-Anmeldegruppe.

        5. Wählen Sie im Feld Kontext die Art der verwendeten Datenquelle aus.

        6. Geben Sie im Feld SAP ODP-Quellname den Namen der verwendeten Datenquelle ein.

        7. Wählen Sie im Feld Extrahierungstyp die Art der Datenextraktion aus. Der Standardwert ist Vollständig (alle Daten).

        8. SAP-Anmeldedaten angeben: Fragen Sie den SAP-Administrator nach dem Nutzernamen für die SAP-Anmeldung und dem Passwort.

        9. Geben Sie im Feld JCo-Bibliothek – Cloud Storage-Pfad den Pfad zum SAP Java Connector (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.

        10. Klicken Sie auf Schema abrufen, um ein Schema auf Basis der Metadaten von SAP zu generieren, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Weitere Informationen finden Sie unter Datentypzuordnungen.

        11. Optional: Geben Sie Informationen in die folgenden Felder ein, um die Datenaufnahme aus SAP zu optimieren:

          1. Geben Sie im Feld SAP ODP-Abonnentenname den Abonnenten für die Datenextraktion aus einer gültigen DataSource an.
          2. Mit den Filteroptionen können Sie Datensätze basierend auf Auswahlbedingungen extrahieren.
          3. Im Feld Anzahl der Aufteilungen können Sie Partitionen erstellen, um Datensätze parallel zu extrahieren. Dadurch wird die Leistung verbessert. Die Anzahl der Aufteilungen kann sich auf SAP-Arbeitsprozesse auswirken und muss daher sorgfältig ausgewählt werden.
          4. Geben Sie im Feld Paketgröße die Anzahl der Datensätze an, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Die Paketgröße wirkt sich auf die Leistung und die verfügbaren Ressourcen aus und muss daher sorgfältig ausgewählt werden.

      Wiederverwendbare Verbindung

      So verwenden Sie eine vorhandene Verbindung wieder:

      1. Aktivieren Sie Verbindung verwenden.
      2. Klicken Sie auf Verbindungen durchsuchen.

      3. Klicken Sie auf den Namen der Verbindung.

      Wenn keine Verbindung vorhanden ist, führen Sie die folgenden Schritte aus, um eine wiederverwendbare Verbindung zu erstellen:

      1. Klicken Sie auf Verbindung hinzufügen > SapOdp.
      2. Geben Sie auf der Seite SapOdp-Verbindung erstellen einen Namen und eine Beschreibung für die Verbindung ein.
      3. Geben Sie im Feld SAP-Client den Namen des Clients einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Kundennamen angeben.
      4. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).

      5. Wählen Sie einen der folgenden Verbindungstypen aus.

        • Direkt (über SAP Application Server) Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
        • Load Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und Name der SAP-Anmeldegruppe.

      6. Geben Sie im SAP ODP-Quellnamen den Namen der ODP-Datenquelle aus SAP ein.

      7. SAP-Anmeldedaten angeben: Fragen Sie den SAP-Administrator nach den Werten für den SAP-Anmeldenamen und das Passwort.

      8. Geben Sie im Feld JCo-Bibliothek – Cloud Storage-Pfad den Pfad zum SAP Java Connector (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.

      9. Geben Sie im Feld Wartezeit die Wartezeit in Sekunden vor dem nächsten Versuch ein, z. B. 60.

      10. Geben Sie im Feld Wiederholungsanzahl die maximale Anzahl der Wiederholungsversuche ein, z. B. 3.

      11. Optional: Geben Sie im Feld Zusätzliche SAP-Verbindungseigenschaften Schlüssel/Wert-Paare ein, die die SAP JCo-Standardwerte überschreiben müssen.

      12. Klicken Sie auf Erstellen.

Attribute

Attribut Makro aktiviert Erforderliche Property Beschreibung
Label Nein Ja Der Name des Knotens in Ihrer Datenpipeline.
Verbindung verwenden Nein Nein Verwenden Sie eine wiederverwendbare Verbindung. Wenn eine Verbindung verwendet wird, müssen Sie die Anmeldedaten nicht angeben. Weitere Informationen finden Sie unter Verbindungen verwalten.
Name Nein Ja Der Name der wiederverwendbaren Verbindung.
SAP-Client Ja Ja Die spezifische Instanz oder Umgebung in einem SAP-System.
SAP-Sprache Ja Ja Die Sprache, in der die SAP-Benutzeroberfläche und die Daten angezeigt und verarbeitet werden.
Verbindungstyp Nein Ja Der SAP-Verbindungstyp: Direkt oder Load Balancing.
Host des SAP-Anwendungsservers Ja Nein Nur beim Verbindungstyp Direkt stammt dieser Hostname vom SAP-Anwendungsserver, der als Middleware-Ebene zwischen SAP-Clients (z. B. SAP-Weboberfläche, Webbrowser oder mobile Apps) und der zugrunde liegenden Datenbank dient.
SAP-Systemnummer Ja Nein Nur für den Verbindungstyp Direkt ist diese Nummer die eindeutige Kennung, die jedem SAP-System zugewiesen ist. Beispiel: 00.
SAP-Router Ja Nein Nur beim Verbindungstyp Direkt ist dies der Routerstring für den Proxyserver, der einen sicheren Kanal für die Kommunikation zwischen SAP-Systemen und externen Kunden oder Partnern bietet.
SAP Message Server-Host Ja Nein Nur beim Verbindungstyp Load Balanced ist dies der Name des Hosts, der das Load Balancing auf mehrere Anwendungsserver in SAP ermöglicht.
SAP Message Server-Dienst oder Portnummer Ja Nein Nur für den Verbindungstyp Load Balanced ist dies der Netzwerkport, an dem der SAP Message Server auf eingehende Verbindungen von SAP-Clients und Anwendungsservern innerhalb von SAP wartet.
SAP-System-ID (SID) Ja Nein Diese ID wird nur für den Verbindungstyp Load Balanced jedem SAP-System zugewiesen.
Name der SAP-Anmeldegruppe Ja Nein Der Name der logischen Gruppierung oder Konfiguration mehrerer SAP-Anwendungsserver. Der Standardwert ist PUBLIC.
Objekttyp – – Unterstützte Objekttypen: Datenquellen/Extractors oder ABAP Core Data Services.
SAP ODP-Quellname Ja Ja Der Name der SAP DataSources- oder CDS-Ansicht (z. B. 2LIS_02_ITM).
Extrahierungstyp Ja Ja Das Plug-in unterstützt die folgenden zwei Arten der Datenextraktion:
  • Vollständig (alle Daten): Hier werden alle verfügbaren Daten extrahiert.
  • Synchronisierung (automatische Auswahl basierend auf der vorherigen Ausführung): Bestimmt, ob der Modus „Vollständig“, „Delta“ (inkrementell) oder „Wiederherstellung“ (Daten der letzten Ausführung wiederherstellen) auf der Grundlage des Typs und des Status der vorherigen Ausführung, die in SAP verfügbar sind, ausgeführt werden soll. Dieser extrahiert vollständige Daten bei der ersten Pipelineausführung (ODP-Modus F) und ändert Daten in nachfolgenden Pipeline-Ausführungen (ODP-Modi D, R).
Nutzername für SAP-Anmeldung Ja Ja Nutzername für SAP
Empfohlen: Wenn sich der Nutzername regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort Ja Ja SAP-Passwort.
Empfohlen: Verwenden Sie sichere Makros.
GCP-Projekt-ID Ja Ja Google Cloud -Projekt-ID.
GCS-Pfad zur SAP JCo-Bibliothek Ja Ja Der Pfad zu Cloud Storage, in dem Sie die SAP JCo-Bibliotheksdateien hochgeladen haben.
Schema abrufen – – Das Plug-in generiert ein Schema auf Basis der Metadaten von SAP, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Weitere Informationen finden Sie unter Datentypzuordnung.
SAP ODP-Abonnentenname Ja Ja Der ODP-Abonnent für die Datenextraktion aus einer gültigen SAP-Datenquelle oder CDS-Ansicht. Er muss Folgendes enthalten:
  • Maximal 32 Zeichen, ohne Leerzeichen
  • Enthalten nur a bis z, A bis Z, 0 bis 9, _ oder /
  • Eindeutig für verschiedene Pipelines, die Daten aus derselben SAP-Datenquelle extrahieren
Wenn Sie das Feld leer lassen, generiert Cloud Data Fusion eine ID aus einer Kombination aus Projekt-ID, Namespace und Pipelinenamen. Sie können ein vorheriges Abo wiederverwenden, z. B. eines, das mit einem Drittanbietertool erstellt wurde.
Wartezeit Ja Nein Mit dieser Eigenschaft können Data Engineers nach jedem Netzwerkaufruf von Cloud Data Fusion an SAP eine geeignete Wartezeit auswählen.
Anzahl der Wiederholungen Ja Nein Die Anzahl der Wiederholungsversuche, während auf den Abschluss des Netzwerkaufrufs gewartet wird.
Filteroptionen (gleich) Ja Nein Der Wert, den ein Feld haben muss, um gelesen zu werden.
Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel:
Feldname: MTART
Wert: FERT
Filteroptionen (Bereich) Ja Nein Die Unter- und Obergrenze für den Wert eines Felds, der gelesen werden muss.
Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Das Format hat „Niedrig“ UND „Hoch“. Beispiel:
Feldname: ERDAT
Unterer Wert: 2023-11-01
Oberer Wert: 2023-11-30
Filteroptionen (kleiner gleich) Ja Nein Der Wert, der für ein Feld nicht überschritten werden darf.
Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel:
Feldname: MATNR
Wert: 10008
Filteroptionen (größer gleich) Ja Nein Der Wert, der für ein Feld größer sein muss, damit es gelesen werden kann.
Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel:
Feldname: MATNR
Wert: 10008
Filteroptionen (nicht gleich) Ja Nein Definiert den Wert, dem ein Feld nicht entsprechen darf, um gelesen zu werden.
Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY, RECORD oder UNION). Beispiel:
Feldname: MTART
Wert: FERT
Anzahl der zu generierenden Aufteilungen Ja Nein Erstellt Partitionen, um Einträge parallel zu extrahieren.
Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Einträge.
Seien Sie vorsichtig, wenn Sie diesen Wert erhöhen, da dadurch die Anzahl der gleichzeitigen Verbindungen mit SAP steigt.
Empfohlen: Planen Sie SAP-Verbindungen für jede Pipeline und die Gesamtzahl der Pipelines, die gleichzeitig ausgeführt werden.
Wenn der Wert 0 ist oder leer bleibt, wählt Cloud Data Fusion einen geeigneten Wert basierend auf der Anzahl der verfügbaren Executors, der zu extrahierenden Datensätze sowie der Paketgröße aus.
Paketgröße (in KB) Ja Nein Die Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Netzwerkextraktionsaufruf im Speicher puffert.
Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen. Mehrere Datenpipelines, die Daten extrahieren, können die Speicherauslastung erhöhen und zu Fehlfunktionen aufgrund von Out of memory-Fehlern führen.
  • Geben Sie eine positive ganze Zahl ein.
  • Wenn 0 oder leer ist, verwendet das Plug-in den Standardwert 70.000 oder einen entsprechend berechneten Wert.
  • Wenn die Datenpipeline aufgrund von Out of memory-Fehlern fehlschlägt, verringern Sie entweder die Paketgröße oder erhöhen Sie den für Ihre SAP-Arbeitsprozesse verfügbaren Arbeitsspeicher.
Zusätzliche SAP-Verbindungseigenschaften Ja Nein Legen Sie zusätzliche SAP JCo-Properties fest, um die SAP JCo-Standardwerte zu überschreiben. Wenn Sie beispielsweise jco.destination.pool_capacity = 10 festlegen, wird die Standardkapazität des Verbindungspools überschrieben.

Datentypzuordnungen

In der folgenden Tabelle sind SAP-Datentypen mit den entsprechenden Cloud Data Fusion-Typen aufgeführt.

SAP-Datentyp ABAP-Typ SAP description Cloud Data Fusion-Datentyp
INT1 (Numerisch) b 1-Byte-Ganzzahl int
INT2 (Numerisch) s 2-Byte-Ganzzahl int
INT4 (Numerisch) i 4-Byte-Ganzzahl int
INT8 (Numerisch) 8 8-Byte-Ganzzahl long
DEC (Numerisch) p Nummer des Pakets im BCD-Format (DEC) decimal
DF16_DEC, DF16_RAW (numerisch) a Dezimales Gleitkomma 8 Byte IEEE 754r double
DF34_DEC, DF34_RAW (numerisch) e Dezimales Gleitkomma 16 Byte IEEE 754r double
FLTP (Numerisch) f Binäre Gleitkommazahl double
CHAR, LCHR (Zeichen) c Zeichenstring String
SSTRING, GEOM_EWKB (Zeichen) String Zeichenstring String
STRING (Zeichen) String Zeichenstring CLOB Byte
NUMC, ACCP (Zeichen) n Numerischer Text String
RAW, LRAW (Byte) x Binärdaten Byte
RAWSTRING (Byte) xstring Bytestring BLOB Byte
DATS (Datum/Uhrzeit) d Datum Datum
TIMS (Datum/Uhrzeit) t Zeit Zeit
TIMS (Datum/Uhrzeit) utcl Utclong), TimeStamp timestamp

Beschränkungen

Damit Pipelines richtig definiert und ausgeführt werden, beachten Sie die folgenden Einschränkungen für Plug-ins:

  • Paketgrößen von mehr als 50.000 Byte werden nicht unterstützt.
  • Bei Datenquellen, die die Deltaextraktion nicht unterstützen, kommt es im Synchronisierungsmodus zu Fehlern.
  • Wenn die Paketgröße in einer benutzerdefinierten Datenquelle nicht verarbeitet wird, schlägt die Pipeline bei großen Datenextraktionen fehl.

Anwendungsfälle

Es werden zwei Extraktionskontexte unterstützt:

  • Datenquellen oder Extraktoren (SAPI)
  • ODP-Kontext ABAP CDS (ABAP_CDS)

Das ODP-Plug-in unterstützt für beide Kontexte die folgenden Standard- und benutzerdefinierten Datenquellen:

ODP-Datenquelle Kontext Vollständige Extraktion Delta-Extraktion
Vorab bereitgestellter SAP-Standard SAPI Unterstützt Unterstützt
Benutzerdefiniert (Z*) SAPI Unterstützt Unterstützt
SAP-Standard vorinstalliert ABAP_CDS Unterstützt Unterstützt
Benutzerdefiniert (Z*) ABAP_CDS Unterstützt Unterstützt

Nächste Schritte