SAP ODP-Batchquelle

Auf dieser Seite finden Sie eine Anleitung zum Konfigurieren des SAP ODP-Plug-ins in Cloud Data Fusion.

Das SAP ODP-Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen in BigQuery oder andere unterstützte Zielsysteme mithilfe von Cloud Data Fusion. Das Plug-in hat folgende Hauptfunktionen:

Unterstützte Softwareversionen

Software Versionen
SAP S4/HANA SAP S4/HANA 1909 und höher
SAP ECC SAP ERP6 NW 7.31 SP16 und höher
SAP JCo SAP JCo Version 3.0.20 und höher
Cloud Data Fusion 6.3 und höher

Weitere Informationen zu SAP in Google Cloud finden Sie in der Übersicht über SAP in Google Cloud.

Hinweise

Richten Sie die folgenden Systeme und Dienste ein, die vom SAP ODP-Plug-in verwendet werden:

  1. Konfigurieren Sie das SAP-ERP-System. Dieser Prozess umfasst die folgenden Schritte:
    • Installieren Sie die SAP-Transportdateien.
    • Richten Sie die erforderlichen SAP-Autorisierungen und -Rollen ein.
    • Richten Sie den SAP-Java-Connector ein.

  2. Stellen Sie das ODP-Plug-in in Cloud Data Fusion bereit.

    • Wichtig: Wählen Sie eine Plug-in-Version aus, die mit der Cloud Data Fusion-Version kompatibel ist.
    • Wenn Sie die Version Ihrer Cloud Data Fusion-Instanz oder Ihres -Plug-ins aktualisieren, sollten Sie die Auswirkungen der Änderungen auf den Funktionsbereich und die Leistung der Pipeline bewerten.

  3. RFC-Verbindung zwischen Cloud Data Fusion und SAP herstellen

    • Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist.
    • Richten Sie für private Instanzen das VPC-Netzwerk-Peering ein.
    • Das SAP-System und die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Plug-in konfigurieren

  1. Rufen Sie die Cloud Data Fusion-Weboberfläche auf und klicken Sie auf Studio.
  2. Prüfen Sie, ob Data Pipeline – Batch (Datenpipeline – Batch) ausgewählt ist (nicht Realtime).
  3. Klicken Sie im Menü Quelle auf SapODP. Der SAP ODP-Knoten wird in Ihrer Pipeline angezeigt.
  4. Rufen Sie den SAP ODP-Knoten auf und klicken Sie auf Attribute, um die Quelle zu konfigurieren.

  5. Geben Sie die folgenden Eigenschaften ein. Eine vollständige Liste finden Sie unter Eigenschaften.

    1. Geben Sie ein Label für den SAP ODP-Knoten ein, z. B. SAP ODP tables.

    2. Geben Sie die Verbindungsdetails ein. Sie können eine neue, einmalige Verbindung oder eine vorhandene, wiederverwendbare Verbindung einrichten.

      Neue Verbindung

      So fügen Sie eine einmalige Verbindung zu SAP hinzu:

      1. Die Option Verbindung verwenden bleibt deaktiviert.

      2. Geben Sie im Abschnitt Connection (Verbindung) in die folgenden Felder die folgenden Informationen aus dem SAP-Konto ein:

        1. Geben Sie im Feld Referenzname einen Namen für die Verbindung ein, der diese Quelle für die Herkunft identifiziert.
        2. Geben Sie im Feld SAP-Client den Clientnamen einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Clientnamen angeben.
        3. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Die Standardeinstellung ist EN (Englisch).

        4. Wählen Sie einen der folgenden Verbindungstypen aus.

          • Direkt (über SAP Application Server). Wenn Sie diesen Standardtyp auswählen, geben Sie in die folgenden Felder Informationen ein: SAP-Anwendungsserverhost, SAP-Systemnummer und SAP-Router.
          • Load-Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst- oder Portnummer, SAP-System-ID (SID) und SAP-Anmeldegruppenname.

        5. Wählen Sie im Feld Kontext den Typ der Datenquelle aus, die Sie verwenden.

        6. Geben Sie im Feld Name der SAP ODP-Quelle den Namen der Datenquelle ein, die Sie verwenden.

        7. Wählen Sie im Feld Extraktionstyp den Typ der Datenextraktion aus. Die Standardeinstellung ist Full (alle Daten).

        8. Geben Sie die SAP-Anmeldedaten an: Fragen Sie den SAP-Administrator nach dem SAP-Anmeldenamen und dem Passwort.

        9. Geben Sie im Feld Cloud Storage-Pfad der JCo Library den Pfad des SAP Java Connectors (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.

        10. Klicken Sie auf Schema abrufen, um ein Schema anhand der Metadaten aus SAP zu generieren, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Weitere Informationen finden Sie unter Datentypzuordnungen.

        11. Optional: Geben Sie Informationen in die folgenden Felder ein, um die Aufnahmelast von SAP zu optimieren:

          1. Identifizieren Sie im Feld SAP ODP-Abonnentenname den Abonnenten für die Datenextraktion aus einer gültigen Datenquelle.
          2. Mit Filteroptionen können Sie Datensätze basierend auf Auswahlbedingungen extrahieren.
          3. Im Feld Anzahl der Splits können Sie Partitionen erstellen, um Datensätze parallel zu extrahieren, was die Leistung verbessert. Die Anzahl der Splits kann sich auf die SAP-Arbeitsprozesse auswirken und muss sorgfältig ausgewählt werden.
          4. Geben Sie im Feld Paketgröße die Anzahl der Datensätze an, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Die Paketgröße wirkt sich auf die Leistung und die verfügbaren Ressourcen aus und muss sorgfältig ausgewählt werden.

      Wiederverwendbare Verbindung

      So verwenden Sie eine vorhandene Verbindung wieder:

      1. Aktivieren Sie Verbindung verwenden.
      2. Klicken Sie auf Verbindungen durchsuchen.

      3. Klicken Sie auf den Namen der Verbindung.

      Wenn keine Verbindung vorhanden ist, gehen Sie so vor, um eine wiederverwendbare Verbindung zu erstellen:

      1. Klicken Sie auf Verbindung hinzufügen > SapOdp.
      2. Geben Sie auf der Seite SapOdp-Verbindung erstellen einen Namen und eine Beschreibung für die Verbindung ein.
      3. Geben Sie im Feld SAP-Client den Clientnamen einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Clientnamen angeben.
      4. Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Die Standardeinstellung ist EN (Englisch).

      5. Wählen Sie einen der folgenden Verbindungstypen aus.

        • Direkt (über SAP Application Server). Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: SAP-Anwendungsserverhost, SAP-Systemnummer und SAP-Router.
        • Load-Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst- oder Portnummer, SAP-System-ID (SID) und SAP-Anmeldegruppenname.

      6. Geben Sie im Namen der SAP ODP-Quelle den Namen der ODP-Datenquelle aus SAP ein.

      7. Geben Sie die SAP-Anmeldedaten an: Fragen Sie den SAP-Administrator nach den Werten für den SAP-Anmeldenamen und das Passwort.

      8. Geben Sie im Feld Cloud Storage-Pfad der JCo-Bibliothek den Pfad des SAP-Java-Connectors (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen Dateien der SAP JCo-Bibliothek enthält.

      9. Geben Sie im Feld Wartezeit eine Wartezeit (in Sekunden) für den nächsten Wiederholungsversuch ein, z. B. 60.

      10. Geben Sie in das Feld Anzahl der Wiederholungen die maximale Anzahl von Wiederholungsversuchen ein, z. B. 3.

      11. Optional: Geben Sie im Feld Zusätzliche SAP-Verbindungsattribute Schlüssel/Wert-Paare ein, die die SAP JCo-Standardwerte überschreiben müssen.

      12. Klicken Sie auf Erstellen.

Attribute

Attribut Makro aktiviert Erforderliches Attribut Beschreibung
Label Nein Ja Der Name des Knotens in Ihrer Datenpipeline.
Verbindung verwenden Nein Nein Verwenden Sie eine wiederverwendbare Verbindung. Wenn eine Verbindung verwendet wird, müssen Sie die Anmeldedaten nicht angeben. Weitere Informationen finden Sie unter Verbindungen verwalten.
Name Nein Ja Der Name der wiederverwendbaren Verbindung.
SAP-Client Ja Ja Die spezifische Instanz oder Umgebung in einem SAP-System.
SAP-Sprache Ja Ja Die Sprache, in der die SAP-Benutzeroberfläche und die SAP-Daten angezeigt und verarbeitet werden.
Verbindungstyp Nein Ja Der SAP-Verbindungstyp: Direkt oder Load-Balancing.
Host des SAP-Anwendungsservers Ja Nein Nur beim Verbindungstyp Direkt stammt dieser Hostname vom SAP Application Server, der als Middleware-Ebene zwischen SAP-Clients (z. B. SAP-Weboberfläche, Webbrowsern oder mobilen Apps) und der zugrunde liegenden Datenbank dient.
SAP-Systemnummer Ja Nein Nur beim Verbindungstyp Direkt ist diese Zahl die eindeutige Kennung, die dem jeweiligen SAP-System zugewiesen wird. Beispiel: 00.
SAP-Router Ja Nein Nur beim Verbindungstyp Direkt ist dies der Routerstring für den Proxyserver, der einen sicheren Kanal für die Kommunikation zwischen SAP-Systemen und externen Clients oder Partnern bereitstellt.
SAP Message Server-Host Ja Nein Nur für den Verbindungstyp Load-Balancing ist dies der Name des Hosts, der das Load-Balancing über mehrere Anwendungsserver in SAP ermöglicht.
SAP Message Server-Dienst oder -Portnummer Ja Nein Nur beim Verbindungstyp Load-Balancing ist dies der Netzwerkport, über den der SAP Message Server eingehende Verbindungen von SAP-Clients und -Anwendungsservern innerhalb von SAP überwacht.
SAP-System-ID (SID) Ja Nein Nur beim Verbindungstyp Load-Balancing wird diese ID jedem SAP-System zugewiesen.
Name der SAP-Anmeldegruppe Ja Nein Der Name der logischen Gruppierung oder Konfiguration mehrerer SAP-Anwendungsserver. Der Standardwert ist PUBLIC.
Objekttyp – – Die unterstützten Objekttypen: DataSources/Extractors oder ABAP Core Data Services.
Name der SAP ODP-Quelle Ja Ja Der Name der SAP DataSources oder CDS-Ansicht (z. B. 2LIS_02_ITM).
Extraktionstyp Ja Ja Das Plug-in unterstützt die folgenden zwei Arten der Datenextraktion:
  • Full (alle Daten): Extrahiert alle verfügbaren Daten.
  • Synchronisieren (automatische Auswahl auf Basis der vorherigen Ausführung): bestimmt, ob auf Grundlage des vorherigen Ausführungstyps und -status, der in SAP verfügbar ist, der Modus „Vollständig“, „Delta (inkrementell)“ oder „Wiederherstellung“ (Datenwiederherstellung aus der letzten Ausführung) ausgeführt werden soll. Dabei werden bei der ersten Pipelineausführung vollständige Daten extrahiert (ODP-Modus F) und in nachfolgenden Pipelineausführungen geändert (ODP-Modi D und R).
SAP-Anmeldenutzername Ja Ja Nutzername für SAP
Empfohlen: Wenn sich der Nutzername regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort Ja Ja SAP-Passwort.
Empfohlen: Verwenden Sie sichere Makros.
GCP-Projekt-ID Ja Ja Google Cloud-Projekt-ID
GCS-Pfad der SAP-JCo-Bibliothek Ja Ja Der Pfad zu Cloud Storage, in den Sie die SAP JCo-Bibliotheksdateien hochgeladen haben.
Schema abrufen – – Das Plug-in generiert ein Schema anhand der Metadaten aus SAP, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Siehe Datentypzuordnung.
SAP ODP-Abonnentenname Ja Ja Der ODP-Abonnent für die Datenextraktion aus einer gültigen SAP DataSource- oder CDS-Ansicht. Er muss Folgendes enthalten:
  • Maximal 32 Zeichen ohne Leerzeichen
  • Nur a bis z, A bis Z, 0 bis 9, _ oder / enthalten
  • Eindeutiger Name für verschiedene Pipelines, die Daten aus derselben SAP-Datenquelle extrahieren
Wenn das Feld leer bleibt, generiert Cloud Data Fusion eine ID aus einer Kombination aus Projekt-ID, Namespace und Pipelinenamen. Sie können ein früheres Abo wiederverwenden, z. B. ein Abo, das von einem Drittanbietertool erstellt wurde.
Wartezeit Ja Nein Mit diesem Attribut können Data Engineers eine geeignete Wartezeit nach jedem Netzwerkaufruf von Cloud Data Fusion an SAP auswählen.
Anzahl der Wiederholungen Ja Nein Die Anzahl der Wiederholungsversuche, während auf den Abschluss des Netzwerkaufrufs gewartet wird.
Filteroptionen (gleich) Ja Nein Der Wert, den ein Feld gelesen werden muss.
Filteroptionen sind Listen mit Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss einen einfachen Typ haben und nicht ARRAY, RECORD oder UNION. Beispielverwendung:
Feldname: MTART
Wert: FERT
Filteroptionen (Bereich) Ja Nein Die Unter- und Obergrenze für den Wert, der in einem Feld gelesen werden muss.
Filteroptionen sind Listen mit Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Sie hat das Format niedrig UND hoch. Beispielverwendung:
Feldname: ERDAT
Niedriger Wert: 2023-11-01
Hoher Wert: 2023-11-30
Filteroptionen (weniger gleich) Ja Nein Wert, mit dem ein Feld kleiner oder gleich sein muss.
Filteroptionen sind Listen mit Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss einen einfachen Typ haben und nicht ARRAY, RECORD oder UNION. Beispielverwendung:
Feldname: MATNR
Wert: 10008
Filteroptionen (größer gleich) Ja Nein Der Wert, den ein Feld zum Lesen größer als sein muss.
Filteroptionen sind Listen mit Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss einen einfachen Typ haben und nicht ARRAY, RECORD oder UNION. Beispielverwendung:
Feldname: MATNR
Wert: 10008
Filteroptionen (nicht gleich) Ja Nein Definiert den Wert, mit dem ein Feld vor dem Lesen nicht identisch sein darf.
Filteroptionen sind Listen mit Metadatenfeldnamen und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen.
Der Filterschlüssel entspricht einem Feld im Schema. Er muss einen einfachen Typ haben und nicht ARRAY, RECORD oder UNION. Beispielverwendung:
Feldname: MTART
Wert: FERT
Anzahl der zu generierenden Aufteilungen Ja Nein Erstellt Partitionen, um Datensätze gleichzeitig zu extrahieren.
Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen), während die Datensätze extrahiert werden.
Seien Sie vorsichtig, wenn Sie diesen Wert erhöhen, da dadurch die Anzahl der gleichzeitigen Verbindungen mit SAP erhöht wird.
Empfohlen: Planen Sie SAP-Verbindungen für jede Pipeline und die Gesamtzahl der gleichzeitig ausgeführten Pipelines.
Wenn der Wert 0 ist oder leer bleibt, wählt Cloud Data Fusion einen geeigneten Wert basierend auf der Anzahl der verfügbaren Executors, den zu extrahierenden Datensätzen und der Paketgröße aus.
Paketgröße (in KB) Ja Nein Die Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden. Es ist die Anzahl der Datensätze, die SAP bei jedem Aufruf zum Extrahieren des Netzwerks im Arbeitsspeicher zwischenspeichert.
Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen. Mehrere Datenpipelines, die Daten extrahieren, können die Arbeitsspeichernutzung zu Spitzenzeiten führen, was zu Fehlern aufgrund von Out of memory-Fehlern führt.
  • Geben Sie eine positive ganze Zahl ein.
  • Wenn 0 oder leer gelassen wird, verwendet das Plug-in den Standardwert 70.000 oder einen entsprechend berechneten Wert.
  • Wenn die Datenpipeline aufgrund von Out of memory-Fehlern fehlschlägt, verringern Sie entweder die Paketgröße oder erhöhen Sie den für Ihre SAP-Arbeitsprozess verfügbaren Arbeitsspeicher.
Zusätzliche SAP-Verbindungsattribute Ja Nein Legen Sie zusätzliche SAP JCo-Attribute fest, um die SAP JCo-Standardeinstellungen zu überschreiben. Die Einstellung jco.destination.pool_capacity = 10 überschreibt beispielsweise die Standardkapazität des Verbindungspools.

Datentypzuordnungen

Die folgende Tabelle enthält eine Liste von SAP-Datentypen mit entsprechenden Cloud Data Fusion-Typen.

SAP-Datentyp ABAP-Typ SAP description Cloud Data Fusion-Datentyp
INT1 (numerisch) b 1-Byte-Ganzzahl int
INT2 (numerisch) s 2-Byte-Ganzzahl int
INT4 (numerisch) i 4-Byte-Ganzzahl int
INT8 (numerisch) 8 8-Byte-Ganzzahl long
DEC (numerisch) p Nummer des Pakets im BCD-Format (DEC) decimal
DF16_DEC, DF16_RAW (numerisch) a Dezimales Gleitkomma, 8 Byte IEEE 754r double
DF34_DEC, DF34_RAW (numerisch) e Dezimales Gleitkomma, 16 Byte IEEE 754r double
FLTP (numerisch) f Binäre Gleitkommazahl double
CHAR, LCHR (Zeichen) c Zeichenstring String
SSTRING, GEOM_EWKB (Zeichen) String Zeichenstring String
STRING (Zeichen) String Zeichenstring CLOB Byte
NUMC, ACCP (Zeichen) n Numerischer Text String
RAW, LRAW (Byte) x Binärdaten Byte
RAWSTRING (Byte) XString Bytestring BLOB Byte
DATS (Datum/Uhrzeit) d Datum Datum
TIMS (Datum/Uhrzeit) t Zeit Zeit
TIMS (Datum/Uhrzeit) UTCL Utclong), TimeStamp timestamp

Beschränkungen

Prüfen Sie die folgenden Einschränkungen für Plug-ins, damit Pipelines richtig definiert und ausgeführt werden:

  • Paketgrößen über 50.000 werden nicht unterstützt.
  • Datenquellen, die die Deltaextraktion nicht unterstützen, schlagen im Synchronisierungsmodus fehl.
  • Wenn in einer benutzerdefinierten Datenquelle die Paketgröße nicht verarbeitet wird, schlägt die Pipeline bei großen Datenextraktionen fehl.

Anwendungsfälle

Es werden zwei Extraktionskontexte unterstützt:

  • DataSources oder Extractors (SAPI)
  • ODP-Kontext ABAP CDS (ABAP_CDS)

Das ODP-Plug-in unterstützt die folgenden standardmäßigen und benutzerdefinierten Datenquellen für beide Kontexte:

ODP-Datenquelle Kontext Vollständige Extraktion Deltaextraktion
SAP Standard vorab bereitgestellt Logo: SAPI Unterstützt Unterstützt
Benutzerdefiniert (Z*) Logo: SAPI Unterstützt Unterstützt
SAP-Standard – vorab bereitgestellt ABAP_CDS Unterstützt Unterstützt
Benutzerdefiniert (Z*) ABAP_CDS Unterstützt Unterstützt

Nächste Schritte