Das SAP ODP-Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit BigQuery oder anderen unterstützten Zielsystemen mithilfe von Cloud Data Fusion. Das Plug-in bietet folgende Hauptfunktionen:
- SAP ECC, SAP S/4HANA oder SAP BW als Quellsystem verwendet
- Verwendet SAP CDC (Change Data Capture), um neue und Deltadaten in den Datenquellen zu erfassen und zu extrahieren
- Batch-Extraktionsmodus verwendet
- Unterstützt SAP-Datenquellen und ABAP-CDS-Ansichten als Datenquellen
Unterstützte Softwareversionen
Software | Versionen |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 und höher |
SAP ECC | SAP ERP6 NW 7.31 SP16 und höher |
SAP JCo | SAP JCo-Version 3.0.20 und höher |
Cloud Data Fusion | 6.3 und höher |
Weitere Informationen zu SAP auf Google Cloudfinden Sie unter Übersicht über SAP auf Google Cloud.
Hinweis
Richten Sie die folgenden Systeme und Dienste ein, die vom SAP ODP-Plug-in verwendet werden:
- Konfigurieren Sie das SAP-ERP-System.
Dieser Prozess umfasst die folgenden Schritte:
- Installieren Sie die SAP-Transportdateien.
- Richten Sie die erforderlichen SAP-Autorisierungen und -Rollen ein.
- Richten Sie den SAP Java-Connector ein.
ODP-Plug-in in Cloud Data Fusion bereitstellen
- Wichtig: Wählen Sie eine Plug-in-Version aus, die mit der Cloud Data Fusion-Version kompatibel ist.
- Wenn Sie die Version Ihrer Cloud Data Fusion-Instanz oder Ihres Cloud Data Fusion-Plug-ins aktualisieren, sollten Sie die Auswirkungen der Änderungen auf den Funktionsumfang und die Leistung der Pipeline bewerten.
Stellen Sie eine RFC-Verbindung zwischen Cloud Data Fusion und SAP her.
- Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist.
- Richten Sie für private Instanzen VPC-Netzwerk-Peering ein.
- Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.
Plug-in konfigurieren
- Rufen Sie die Cloud Data Fusion-Weboberfläche auf und klicken Sie auf Studio.
- Achten Sie darauf, dass Datenpipeline – Batch ausgewählt ist (nicht Echtzeit).
- Klicken Sie im Menü Quelle auf SapODP. Der SAP ODP-Knoten wird in Ihrer Pipeline angezeigt.
- Klicken Sie zum Konfigurieren der Quelle auf den SAP ODP-Knoten und dann auf Attribute.
Geben Sie die folgenden Properties ein. Eine vollständige Liste finden Sie unter Properties.
- Geben Sie ein Label für den SAP ODP-Knoten ein, z. B.
SAP ODP tables
. Geben Sie die Verbindungsdetails ein. Sie können eine neue einmalige Verbindung oder eine vorhandene wiederverwendbare Verbindung einrichten.
Neue Verbindung
So fügen Sie eine einmalige Verbindung zu SAP hinzu:
- Lassen Sie die Option Verbindung verwenden deaktiviert.
Geben Sie im Abschnitt Verbindung die folgenden Informationen aus dem SAP-Konto in die entsprechenden Felder ein:
- Geben Sie im Feld Referenzname einen Namen für die Verbindung ein, mit dem diese Quelle für die Herkunft identifiziert wird.
- Geben Sie im Feld SAP-Client den Namen des Clients einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Kundennamen angeben.
- Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).
Wählen Sie einen der folgenden Verbindungstypen aus.
- Direkt (über SAP Application Server) Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
- Load Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und Name der SAP-Anmeldegruppe.
Wählen Sie im Feld Kontext die Art der verwendeten Datenquelle aus.
Geben Sie im Feld SAP ODP-Quellname den Namen der verwendeten Datenquelle ein.
Wählen Sie im Feld Extrahierungstyp die Art der Datenextraktion aus. Der Standardwert ist Vollständig (alle Daten).
SAP-Anmeldedaten angeben: Fragen Sie den SAP-Administrator nach dem Nutzernamen für die SAP-Anmeldung und dem Passwort.
Geben Sie im Feld JCo-Bibliothek – Cloud Storage-Pfad den Pfad zum SAP Java Connector (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.
Klicken Sie auf Schema abrufen, um ein Schema auf Basis der Metadaten von SAP zu generieren, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Weitere Informationen finden Sie unter Datentypzuordnungen.
Optional: Geben Sie Informationen in die folgenden Felder ein, um die Datenaufnahme aus SAP zu optimieren:
- Geben Sie im Feld SAP ODP-Abonnentenname den Abonnenten für die Datenextraktion aus einer gültigen DataSource an.
- Mit den Filteroptionen können Sie Datensätze basierend auf Auswahlbedingungen extrahieren.
- Im Feld Anzahl der Aufteilungen können Sie Partitionen erstellen, um Datensätze parallel zu extrahieren. Dadurch wird die Leistung verbessert. Die Anzahl der Aufteilungen kann sich auf SAP-Arbeitsprozesse auswirken und muss daher sorgfältig ausgewählt werden.
- Geben Sie im Feld Paketgröße die Anzahl der Datensätze an, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Die Paketgröße wirkt sich auf die Leistung und die verfügbaren Ressourcen aus und muss daher sorgfältig ausgewählt werden.
Wiederverwendbare Verbindung
So verwenden Sie eine vorhandene Verbindung wieder:
- Aktivieren Sie Verbindung verwenden.
- Klicken Sie auf Verbindungen durchsuchen.
Klicken Sie auf den Namen der Verbindung.
Wenn keine Verbindung vorhanden ist, führen Sie die folgenden Schritte aus, um eine wiederverwendbare Verbindung zu erstellen:
- Klicken Sie auf Verbindung hinzufügen > SapOdp.
- Geben Sie auf der Seite SapOdp-Verbindung erstellen einen Namen und eine Beschreibung für die Verbindung ein.
- Geben Sie im Feld SAP-Client den Namen des Clients einer bestimmten Instanz oder Umgebung in SAP ein. Ein SAP-Administrator kann den Kundennamen angeben.
- Geben Sie im Feld SAP-Sprache eine SAP-Anmeldesprache ein. Der Standardwert ist EN (Englisch).
Wählen Sie einen der folgenden Verbindungstypen aus.
- Direkt (über SAP Application Server) Wenn Sie diesen Standardtyp auswählen, geben Sie Informationen in die folgenden Felder ein: Host des SAP-Anwendungsservers, SAP-Systemnummer und SAP-Router.
- Load Balancing (über SAP Message Server) Wenn Sie diesen Typ auswählen, geben Sie Informationen in die folgenden Felder ein: SAP Message Server-Host, SAP Message Server-Dienst oder Portnummer, SAP-System-ID (SID) und Name der SAP-Anmeldegruppe.
Geben Sie im SAP ODP-Quellnamen den Namen der ODP-Datenquelle aus SAP ein.
SAP-Anmeldedaten angeben: Fragen Sie den SAP-Administrator nach den Werten für den SAP-Anmeldenamen und das Passwort.
Geben Sie im Feld JCo-Bibliothek – Cloud Storage-Pfad den Pfad zum SAP Java Connector (SAP JCo) in Cloud Storage ein, der die von Ihnen hochgeladenen SAP JCo-Bibliotheksdateien enthält.
Geben Sie im Feld Wartezeit die Wartezeit in Sekunden vor dem nächsten Versuch ein, z. B.
60
.Geben Sie im Feld Wiederholungsanzahl die maximale Anzahl der Wiederholungsversuche ein, z. B.
3
.Optional: Geben Sie im Feld Zusätzliche SAP-Verbindungseigenschaften Schlüssel/Wert-Paare ein, die die SAP JCo-Standardwerte überschreiben müssen.
Klicken Sie auf Erstellen.
- Geben Sie ein Label für den SAP ODP-Knoten ein, z. B.
Attribute
Attribut | Makro aktiviert | Erforderliche Property | Beschreibung |
---|---|---|---|
Label | Nein | Ja | Der Name des Knotens in Ihrer Datenpipeline. |
Verbindung verwenden | Nein | Nein | Verwenden Sie eine wiederverwendbare Verbindung. Wenn eine Verbindung verwendet wird, müssen Sie die Anmeldedaten nicht angeben. Weitere Informationen finden Sie unter Verbindungen verwalten. |
Name | Nein | Ja | Der Name der wiederverwendbaren Verbindung. |
SAP-Client | Ja | Ja | Die spezifische Instanz oder Umgebung in einem SAP-System. |
SAP-Sprache | Ja | Ja | Die Sprache, in der die SAP-Benutzeroberfläche und die Daten angezeigt und verarbeitet werden. |
Verbindungstyp | Nein | Ja | Der SAP-Verbindungstyp: Direkt oder Load Balancing. |
Host des SAP-Anwendungsservers | Ja | Nein | Nur beim Verbindungstyp Direkt stammt dieser Hostname vom SAP-Anwendungsserver, der als Middleware-Ebene zwischen SAP-Clients (z. B. SAP-Weboberfläche, Webbrowser oder mobile Apps) und der zugrunde liegenden Datenbank dient. |
SAP-Systemnummer | Ja | Nein | Nur für den Verbindungstyp Direkt ist diese Nummer die eindeutige Kennung, die jedem SAP-System zugewiesen ist. Beispiel: 00 . |
SAP-Router | Ja | Nein | Nur beim Verbindungstyp Direkt ist dies der Routerstring für den Proxyserver, der einen sicheren Kanal für die Kommunikation zwischen SAP-Systemen und externen Kunden oder Partnern bietet. |
SAP Message Server-Host | Ja | Nein | Nur beim Verbindungstyp Load Balanced ist dies der Name des Hosts, der das Load Balancing auf mehrere Anwendungsserver in SAP ermöglicht. |
SAP Message Server-Dienst oder Portnummer | Ja | Nein | Nur für den Verbindungstyp Load Balanced ist dies der Netzwerkport, an dem der SAP Message Server auf eingehende Verbindungen von SAP-Clients und Anwendungsservern innerhalb von SAP wartet. |
SAP-System-ID (SID) | Ja | Nein | Diese ID wird nur für den Verbindungstyp Load Balanced jedem SAP-System zugewiesen. |
Name der SAP-Anmeldegruppe | Ja | Nein | Der Name der logischen Gruppierung oder Konfiguration mehrerer SAP-Anwendungsserver. Der Standardwert ist PUBLIC . |
Objekttyp | – | – | Unterstützte Objekttypen: Datenquellen/Extractors oder ABAP Core Data Services. |
SAP ODP-Quellname | Ja | Ja | Der Name der SAP DataSources- oder CDS-Ansicht (z. B. 2LIS_02_ITM ). |
Extrahierungstyp | Ja | Ja | Das Plug-in unterstützt die folgenden zwei Arten der Datenextraktion:
|
Nutzername für SAP-Anmeldung | Ja | Ja | Nutzername für SAP Empfohlen: Wenn sich der Nutzername regelmäßig ändert, verwenden Sie ein Makro. |
SAP-Anmeldepasswort | Ja | Ja | SAP-Passwort. Empfohlen: Verwenden Sie sichere Makros. |
GCP-Projekt-ID | Ja | Ja | Google Cloud -Projekt-ID. |
GCS-Pfad zur SAP JCo-Bibliothek | Ja | Ja | Der Pfad zu Cloud Storage, in dem Sie die SAP JCo-Bibliotheksdateien hochgeladen haben. |
Schema abrufen | – | – | Das Plug-in generiert ein Schema auf Basis der Metadaten von SAP, das SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen zuordnet. Weitere Informationen finden Sie unter Datentypzuordnung. |
SAP ODP-Abonnentenname | Ja | Ja | Der ODP-Abonnent für die Datenextraktion aus einer gültigen SAP-Datenquelle oder CDS-Ansicht. Er muss Folgendes enthalten:
|
Wartezeit | Ja | Nein | Mit dieser Eigenschaft können Data Engineers nach jedem Netzwerkaufruf von Cloud Data Fusion an SAP eine geeignete Wartezeit auswählen. |
Anzahl der Wiederholungen | Ja | Nein | Die Anzahl der Wiederholungsversuche, während auf den Abschluss des Netzwerkaufrufs gewartet wird. |
Filteroptionen (gleich) | Ja | Nein | Der Wert, den ein Feld haben muss, um gelesen zu werden. Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen. Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY , RECORD oder UNION ). Beispiel:Feldname: MTART Wert: FERT |
Filteroptionen (Bereich) | Ja | Nein | Die Unter- und Obergrenze für den Wert eines Felds, der gelesen werden muss. Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen. Der Filterschlüssel entspricht einem Feld im Schema. Das Format hat „Niedrig“ UND „Hoch“. Beispiel: Feldname: ERDAT Unterer Wert: 2023-11-01 Oberer Wert: 2023-11-30 |
Filteroptionen (kleiner gleich) | Ja | Nein | Der Wert, der für ein Feld nicht überschritten werden darf. Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen. Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY , RECORD oder UNION ). Beispiel:Feldname: MATNR Wert: 10008 |
Filteroptionen (größer gleich) | Ja | Nein | Der Wert, der für ein Feld größer sein muss, damit es gelesen werden kann. Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen. Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY , RECORD oder UNION ). Beispiel:Feldname: MATNR Wert: 10008 |
Filteroptionen (nicht gleich) | Ja | Nein | Definiert den Wert, dem ein Feld nicht entsprechen darf, um gelesen zu werden. Filteroptionen sind Listen mit Namen von Metadatenfeldern und ihren Wertpaaren. Sie definieren die Filterbedingung, die beim Lesen von Daten aus einer SAP-Datenquelle angewendet werden soll. Es werden nur Datensätze extrahiert, die die Bedingungen erfüllen. Der Filterschlüssel entspricht einem Feld im Schema. Es muss ein einfacher Typ sein (nicht ARRAY , RECORD oder UNION ). Beispiel:Feldname: MTART Wert: FERT |
Anzahl der zu generierenden Aufteilungen | Ja | Nein | Erstellt Partitionen, um Einträge parallel zu extrahieren. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Einträge. Seien Sie vorsichtig, wenn Sie diesen Wert erhöhen, da dadurch die Anzahl der gleichzeitigen Verbindungen mit SAP steigt. Empfohlen: Planen Sie SAP-Verbindungen für jede Pipeline und die Gesamtzahl der Pipelines, die gleichzeitig ausgeführt werden. Wenn der Wert 0 ist oder leer bleibt, wählt Cloud Data Fusion einen geeigneten Wert basierend auf der Anzahl der verfügbaren Executors, der zu extrahierenden Datensätze sowie der Paketgröße aus. |
Paketgröße (in KB) | Ja | Nein | Die Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Netzwerkextraktionsaufruf im Speicher puffert. Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen. Mehrere Datenpipelines, die Daten extrahieren, können die Speicherauslastung erhöhen und zu Fehlfunktionen aufgrund von Out of memory -Fehlern führen.
|
Zusätzliche SAP-Verbindungseigenschaften | Ja | Nein | Legen Sie zusätzliche SAP JCo-Properties fest, um die SAP JCo-Standardwerte zu überschreiben.
Wenn Sie beispielsweise jco.destination.pool_capacity = 10 festlegen, wird die Standardkapazität des Verbindungspools überschrieben. |
Datentypzuordnungen
In der folgenden Tabelle sind SAP-Datentypen mit den entsprechenden Cloud Data Fusion-Typen aufgeführt.
SAP-Datentyp | ABAP-Typ | SAP description | Cloud Data Fusion-Datentyp |
---|---|---|---|
INT1 (Numerisch) |
b | 1-Byte-Ganzzahl | int |
INT2 (Numerisch) |
s | 2-Byte-Ganzzahl | int |
INT4 (Numerisch) |
i | 4-Byte-Ganzzahl | int |
INT8 (Numerisch) |
8 | 8-Byte-Ganzzahl | long |
DEC (Numerisch) |
p | Nummer des Pakets im BCD-Format (DEC) | decimal |
DF16_DEC , DF16_RAW (numerisch) |
a | Dezimales Gleitkomma 8 Byte IEEE 754r | double |
DF34_DEC , DF34_RAW (numerisch) |
e | Dezimales Gleitkomma 16 Byte IEEE 754r | double |
FLTP (Numerisch) |
f | Binäre Gleitkommazahl | double |
CHAR , LCHR (Zeichen) |
c | Zeichenstring | String |
SSTRING , GEOM_EWKB (Zeichen) |
String | Zeichenstring | String |
STRING (Zeichen) |
String | Zeichenstring CLOB | Byte |
NUMC , ACCP (Zeichen) |
n | Numerischer Text | String |
RAW , LRAW (Byte) |
x | Binärdaten | Byte |
RAWSTRING (Byte) |
xstring | Bytestring BLOB | Byte |
DATS (Datum/Uhrzeit) |
d | Datum | Datum |
TIMS (Datum/Uhrzeit) |
t | Zeit | Zeit |
TIMS (Datum/Uhrzeit) |
utcl | Utclong), TimeStamp | timestamp |
Beschränkungen
Damit Pipelines richtig definiert und ausgeführt werden, beachten Sie die folgenden Einschränkungen für Plug-ins:
- Paketgrößen von mehr als 50.000 Byte werden nicht unterstützt.
- Bei Datenquellen, die die Deltaextraktion nicht unterstützen, kommt es im Synchronisierungsmodus zu Fehlern.
- Wenn die Paketgröße in einer benutzerdefinierten Datenquelle nicht verarbeitet wird, schlägt die Pipeline bei großen Datenextraktionen fehl.
Anwendungsfälle
Es werden zwei Extraktionskontexte unterstützt:
- Datenquellen oder Extraktoren (SAPI)
- ODP-Kontext ABAP CDS (ABAP_CDS)
Das ODP-Plug-in unterstützt für beide Kontexte die folgenden Standard- und benutzerdefinierten Datenquellen:
ODP-Datenquelle | Kontext | Vollständige Extraktion | Delta-Extraktion |
---|---|---|---|
Vorab bereitgestellter SAP-Standard | SAPI | Unterstützt | Unterstützt |
Benutzerdefiniert (Z*) | SAPI | Unterstützt | Unterstützt |
SAP-Standard vorinstalliert | ABAP_CDS | Unterstützt | Unterstützt |
Benutzerdefiniert (Z*) | ABAP_CDS | Unterstützt | Unterstützt |
Versionshinweise
Nächste Schritte
- Weitere Informationen zu Cloud Data Fusion
- Weitere Informationen zu SAP auf Google Cloud