In dieser Anleitung wird beschrieben, wie Sie Datenpipelines, die das SAP OData-Plug-in verwenden, bereitstellen, konfigurieren und ausführen.
Sie können SAP als Quelle für die Batch-basierte Datenextraktion in Cloud Data Fusion mit dem Open Data Protocol (OData) verwenden. Mit dem SAP OData-Plug-in können Sie Datenübertragungen aus den SAP OData Catalog-Diensten ohne Programmieren konfigurieren und ausführen.
Weitere Informationen zu den unterstützten SAP OData Catalog-Diensten und Datenquellen finden Sie in den Supportdetails. Weitere Informationen zu SAP in Google Cloud finden Sie in der Übersicht über SAP in Google Cloud.
Lernziele
- SAP-ERP-System konfigurieren (DataSources in SAP aktivieren)
- Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
- SAP-Transport von Cloud Data Fusion herunterladen und in SAP installieren
- Verwenden Sie Cloud Data Fusion und SAP OData, um Datenpipelines zur Einbindung von SAP-Daten zu erstellen.
Hinweise
Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:
- Pipelines in Cloud Data Fusion erstellen
- Zugriffsverwaltung mit IAM
- SAP Cloud und lokale ERP-Systeme (Enterprise Resource Planning) konfigurieren
Nutzerrollen
Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:
Nutzertyp | Beschreibung |
---|---|
Google Cloud-Administrator | Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten. |
Cloud Data Fusion-Nutzer | Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Sie haben mindestens die Rolle Data Fusion-Betrachter“ (roles/datafusion.viewer ). Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
|
SAP-Administrator | Nutzer mit dieser Rolle sind Administratoren des SAP-Systems. Sie können Software von der SAP-Dienstwebsite herunterladen. Es ist keine IAM-Rolle. |
SAP-Nutzer | Nutzer mit dieser Rolle sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Es ist keine IAM-Rolle. |
Voraussetzungen für die OData-Extraktion
Der OData Catalog-Dienst muss im SAP-System aktiviert sein.
Die Daten müssen im OData-Dienst eingefügt werden.
Voraussetzungen für Ihr SAP-System
In SAP NetWeaver 7.02 für SAP NetWeaver-Version 7.31 werden die Funktionen von OData und SAP-Gateway mit den folgenden SAP-Softwarekomponenten bereitgestellt:
IW_FND
GW_CORE
IW_BEP
In SAP NetWeaver-Version 7.40 und höher sind alle Funktionen in der Komponente
SAP_GWFND
verfügbar, die in SAP NetWeaver verfügbar sein muss.
Optional: SAP-Transportdateien installieren
Die für Load-Balancing-Aufrufe an SAP erforderlichen SAP-Komponenten werden als SAP-Transportdateien bereitgestellt und als ZIP-Datei archiviert (eine Transportanfrage, die aus einer Co-Datei und einer Datendatei besteht). Mit diesem Schritt können Sie mehrere parallele Aufrufe von SAP basierend auf den verfügbaren Arbeitsprozessen in SAP begrenzen.
Die heruntergeladene ZIP-Datei ist verfügbar, wenn Sie das Plug-in im Cloud Data Fusion Hub bereitstellen.
ZIP-Datei für den SAP ODATA-Transport herunterladen
Die SAP-Transportanfrage-IDs und die zugehörigen Dateien sind in der folgenden Tabelle aufgeführt:
Transport-ID | Cofile | Datendatei | Inhaltsverzeichnis |
---|---|---|---|
ED1K900360 | K900360.ED1 | R900360.ED1 | Über OData bereitgestellte RFC-Funktionsmodule |
Wenn Sie die Transportdateien in SAP importieren, werden die folgenden SAP OData-Projekte erstellt:
OData-Projekte
/GOOG/GET_STATISTIC
/GOOG/TH_WPINFO
ICF-Dienstknoten:
GOOG
So installieren Sie den SAP-Transport:
Schritt 1: Transportanfragedateien hochladen
- Melden Sie sich beim Betriebssystem der SAP-Instanz an.
- Verwenden Sie den SAP-Transaktionscode
AL11
, um den Pfad für den OrdnerDIR_TRANS
abzurufen. In der Regel lautet der Pfad/usr/sap/trans/
. - Kopieren Sie die Dateien in den Ordner
DIR_TRANS/cofiles
. - Kopieren Sie die Datendateien in den Ordner
DIR_TRANS/data
. - Legen Sie für Nutzer und Gruppe von Daten und Datei
<sid>adm
undsapsys
fest.
Schritt 2: Transportanfragedateien importieren
Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:
Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
- Melden Sie sich im SAP-System als SAP-Administrator an.
- Geben Sie die Transaktions-STMS ein.
- Klicken Sie auf Übersicht > Importe.
- Doppelklicken Sie in der Spalte Queue auf die aktuelle SID.
- Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
- Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
- Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
- Geben Sie die Clientnummer ein.
Wählen Sie auf dem Tab Optionen die Option Originale überschreiben und Ungültige Komponentenversion ignorieren aus (falls verfügbar).
Optional: Wenn Sie einen Reimport der Transporte für einen späteren Zeitpunkt planen möchten, wählen Sie Transportanfragen für späteren Import in Warteschlange belassen und Transportanfragen noch einmal importieren aus. Dies ist nützlich für SAP-Systemupgrades und Sicherungswiederherstellungen.
Klicken Sie auf Weiter.
Verwenden Sie zum Prüfen des Imports Transaktionen wie
SE80
oderSU01
.
Option 2: Transportanfragedateien auf Betriebssystemebene importieren
- Melden Sie sich im SAP-System als SAP-Systemadministrator an.
Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu, indem Sie den folgenden Befehl ausführen:
tp addtobuffer TRANSPORT_REQUEST_ID SID
Beispiel:
tp addtobuffer IB1K903958 DD1
Importieren Sie die Transportanfragen mit dem folgenden Befehl:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
Ersetzen Sie
NNN
durch die Clientnummer. Beispiel:tp import IB1K903958 DD1 client=800 U1238
Prüfen Sie mit den entsprechenden Transaktionen wie
SE80
undSU01
, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.
Liste der filterbaren Spalten für einen SAP-Katalogdienst abrufen
Für das Filtern von Bedingungen können nur einige DataSource-Spalten verwendet werden. Dies ist eine SAP-Einschränkung.
So rufen Sie eine Liste der filterbaren Spalten für einen SAP-Katalogdienst ab:
- Melden Sie sich im SAP-System an.
- Rufen Sie den T-Code
SEGW
auf. Geben Sie den Namen des OData-Projekts ein, das ein Teilstring des Dienstnamens ist. Beispiel:
- Dienstname:
MM_PUR_POITEMS_MONI_SRV
- Projektname:
MM_PUR_POITEMS_MONI
- Dienstname:
Drücken Sie die Eingabetaste.
Rufen Sie die Entität auf, die Sie filtern möchten, und wählen Sie Eigenschaften aus.
Sie können die unter Eigenschaften angezeigten Felder als Filter verwenden. Unterstützte Vorgänge sind Gleich und Zwischen (Bereich).
Eine Liste der Operatoren, die in der Ausdruckssprache unterstützt werden, finden Sie in der Open-Source-Dokumentation URI-Konventionen (OData Version 2.0).
Beispiel-URI mit Filtern:
/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')
SAP-ERP-System konfigurieren
Das SAP OData-Plug-in verwendet einen OData-Dienst, der auf jedem SAP-Server aktiviert ist, aus dem die Daten extrahiert werden. Dieser OData-Dienst kann ein von SAP bereitgestellter Standard oder ein benutzerdefinierter OData-Dienst sein, der auf Ihrem SAP-System entwickelt wurde.
Schritt 1: SAP Gateway 2.0 installieren
Der SAP-Administrator (Basis) muss prüfen, ob die Komponenten von SAP Gateway 2.0 im SAP-Quellsystem verfügbar sind, abhängig vom NetWeaver-Release. Weitere Informationen zur Installation von SAP Gateway 2.0 finden Sie, wenn Sie sich beim SAP ONE Support Launchpad anmelden und den Hinweis 1569624 (Anmeldung erforderlich) lesen.
Schritt 2: OData-Dienst aktivieren
Aktivieren Sie den erforderlichen OData-Dienst im Quellsystem. Weitere Informationen finden Sie unter Frontend-Server: OData-Dienste aktivieren.
Schritt 3: Autorisierungsrolle erstellen
Erstellen Sie eine Autorisierungsrolle mit den erforderlichen Autorisierungen in SAP und gewähren Sie sie dann dem SAP-Nutzer, um eine Verbindung zur DataSource herzustellen.
So erstellen Sie die Autorisierungsrolle in SAP:
- Geben Sie in der SAP-GUI den Transaktionscode PFCG ein, um das Fenster Rollenwartung zu öffnen.
Geben Sie im Feld Rolle einen Namen für die Rolle ein.
Beispiel:
ZODATA_AUTH
Klicken Sie auf Einzelne Rolle.
Das Fenster Rollen erstellen wird geöffnet.
Geben Sie eine Beschreibung in das Feld Beschreibung ein und klicken Sie auf Speichern.
Beispiel:
Authorizations for SAP OData plugin
.Klicken Sie auf den Tab Autorisierungen. Der Titel des Fensters ändert sich in Rollen ändern.
Klicken Sie unter Autorisierungsdaten bearbeiten und Profile generieren auf
Autorisierungsdaten ändern.Das Fenster Vorlage auswählen wird geöffnet.
Klicken Sie auf Vorlagen nicht auswählen.
Das Fenster Rolle ändern: Autorisierungen wird geöffnet.
Klicken Sie auf Manuell.
Geben Sie die Berechtigungen in der folgenden SAP-Autorisierungstabelle an.
Klicken Sie auf Speichern.
Klicken Sie auf das Symbol Generieren, um die Autorisierungsrolle zu aktivieren.
SAP-Autorisierungen
Objektklasse | Text der Objektklasse | Autorisierungsobjekt | Text des Autorisierungsobjekts | Autorisierung | Text | Wert |
---|---|---|---|---|---|---|
AAAB | Anwendungsübergreifende Autorisierungsobjekte | S_SERVICE | Zu Beginn externer Dienste prüfen | SRV_NAME | Name des Programm-, Transaktions- oder Funktionsmoduls | * |
AAAB | Anwendungsübergreifende Autorisierungsobjekte | S_SERVICE | Zu Beginn externer Dienste prüfen | SRV_TYPE | Typ der Prüf-Flag- und Autorisierungs-Standardwerte | HT |
FI | Finanzbuchhaltung | F_UNI_HIER | Universeller Hierarchiezugriff | ACTVT | Aktivität | 03 |
FI | Finanzbuchhaltung | F_UNI_HIER | Universeller Hierarchiezugriff | HRYTYPE-Definition | Hierarchietyp | * |
FI | Finanzbuchhaltung | F_UNI_HIER | Universeller Hierarchiezugriff | HRYID | Hierarchie-ID | * |
Zum Erstellen und Ausführen einer Datenpipeline in Cloud Data Fusion (als Cloud Data Fusion-Nutzer) benötigen Sie SAP-Nutzeranmeldedaten (Nutzername und Passwort), um das Plug-in für die Verbindung zur DataSource zu konfigurieren.
Der SAP-Nutzer muss vom Typ Communications
oder Dialog
sein. Der Typ Communications
wird empfohlen, um die Verwendung von SAP-Dialogressourcen zu vermeiden. Nutzer können mit dem SAP-Transaktionscode SU01 erstellt werden.
Optional: Schritt 4: Verbindung sichern
Sie können die Kommunikation zwischen Ihrer privaten Cloud Data Fusion-Instanz und SAP über das Netzwerk sichern.
So sichern Sie die Verbindung:
- Der SAP-Administrator muss ein X509-Zertifikat generieren. Informationen zum Generieren des Zertifikats finden Sie unter SSL-Server-PSE erstellen.
- Der Google Cloud-Administrator muss die X509-Datei in einen lesbaren Cloud Storage-Bucket im selben Projekt wie die Cloud Data Fusion-Instanz kopieren und den Bucket-Pfad an den Cloud Data Fusion-Nutzer weitergeben, der ihn bei der Konfiguration des Plug-ins eingibt.
- Der Google Cloud-Administrator muss dem Cloud Data Fusion-Nutzer, der Pipelines entwirft und ausführt, Lesezugriff auf die X509-Datei gewähren.
Optional: Schritt 5: Benutzerdefinierte OData-Dienste erstellen
Sie können anpassen, wie Daten extrahiert werden. Dazu erstellen Sie in SAP benutzerdefinierte OData-Dienste:
- Weitere Informationen zum Erstellen benutzerdefinierter OData-Dienste finden Sie unter Erstellung von OData-Diensten für Anfänger.
- Informationen zum Erstellen benutzerdefinierter OData-Dienste mit Ansichten der Hauptdienste (Core Data Services, CDS) finden Sie unter OData-Dienst erstellen und CDS-Ansichten als OData-Dienst verfügbar machen.
- Jeder benutzerdefinierte OData-Dienst muss
$top
-,$skip
- und$count
-Abfragen unterstützen. Mit diesen Abfragen kann das Plug-in die Daten für die sequenzielle und parallele Extraktion partitionieren. Wenn sie verwendet werden, müssen auch die Abfragen$filter
,$expand
oder$select
unterstützt werden.
Cloud Data Fusion einrichten
Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine weitere Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.
Schritt 1: Cloud Data Fusion-Umgebung einrichten
So konfigurieren Sie Ihre Cloud Data Fusion-Umgebung für das Plug-in:
Rufen Sie die Instanzdetails auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.
Prüfen Sie, ob ein Upgrade der Instanz auf Version 6.4.0 oder höher durchgeführt wurde. Wenn die Instanz eine ältere Version hat, müssen Sie ein Upgrade ausführen.
Klicken Sie auf Instanz ansehen. Klicken Sie auf der Benutzeroberfläche von Cloud Data Fusion auf Hub.
Wählen Sie den Tab SAP > SAP OData aus.
Wenn der SAP-Tab nicht sichtbar ist, finden Sie weitere Informationen unter Fehlerbehebung bei SAP-Integrationen.
Klicken Sie auf Deploy SAP OData Plugin (SAP OData-Plug-in bereitstellen).
Das Plug-in wird jetzt auf der Studio-Seite im Menü Quelle angezeigt.
Schritt 2: Plug-in konfigurieren
Das SAP OData-Plug-in liest den Inhalt einer SAP-Datenquelle.
Zum Filtern der Einträge können Sie die folgenden Attribute auf der Seite „SAP OData-Attribute“ konfigurieren.
Eigenschaft | Beschreibung |
---|---|
Einfach | |
Referenzname | Name, der zur eindeutigen Identifizierung dieser Quelle für die Herkunft, das Annotieren von Metadaten usw. verwendet wird. |
SAP OData Base-URL | OData Base-URL des SAP-Gateways (verwenden Sie den vollständigen URL-Pfad, ähnlich wie https://ADDRESS:PORT/sap/opu/odata/sap/ ).
|
OData-Version | Unterstützte SAP OData-Version. |
Dienstname | Name des SAP OData-Dienstes, aus dem Sie eine Entität extrahieren möchten. |
Name der Entität | Name der Entität, die extrahiert wird, z. B. Results . Sie können ein Präfix wie C_PurchaseOrderItemMoni/Results verwenden. Dieses Feld unterstützt „Kategorie“- und „Entitätsparameter“. Beispiele:
|
Schaltfläche Get Schema (Schema abrufen) | Generiert ein Schema anhand der Metadaten aus SAP, wobei SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet werden (dieselbe Funktion wie die Schaltfläche Validieren). |
Anmeldedaten* | |
SAP-Typ | Basic (über Nutzername und Passwort). |
SAP-Anmeldename | SAP-Nutzername Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro. |
SAP-Anmeldepasswort | SAP-Nutzerpasswort Empfohlen: Verwenden Sie sichere Makros für sensible Werte wie Passwörter. |
SAP X.509-Clientzertifikat (siehe X.509-Clientzertifikate auf SAP NetWeaver Application Server für ABAP verwenden). |
|
GCP-Projekt-ID | Eine global eindeutige Kennung für Ihr Projekt. Dieses Feld ist erforderlich, wenn das Feld Cloud Storage-Pfad des X.509-Zertifikats keinen Makrowert enthält. |
GCS-Pfad | Der Cloud Storage-Bucket-Pfad, der das vom Nutzer hochgeladene X.509-Zertifikat enthält, der dem SAP-Anwendungsserver für sichere Aufrufe gemäß Ihren Anforderungen entspricht (siehe Schritt Verbindung sichern). |
Passphrase | Passphrase, die dem angegebenen X.509-Zertifikat entspricht. |
Erweitert | |
Filteroptionen | Gibt den Wert an, den ein Feld gelesen werden muss. Verwenden Sie diese Filterbedingung, um das Ausgabedatenvolumen einzuschränken. Beispiel: Mit „Price Gt 200“ werden die Datensätze ausgewählt, deren Feldwert „Preis“ größer als „200“ ist. Weitere Informationen finden Sie unter Liste filterbarer Spalten für einen SAP-Katalogdienst abrufen. |
Felder auswählen | Felder, die in den extrahierten Daten beibehalten werden sollen (z. B. Kategorie, Preis, Name, Lieferant/Adresse). |
Felder maximieren | Liste komplexer Felder, die in den extrahierten Ausgabedaten erweitert werden sollen (z. B. Produkte/Lieferanten). |
Anzahl der zu überspringenden Zeilen | Gesamtzahl der Zeilen, die übersprungen werden sollen (z. B. 10). |
Anzahl der abzurufenden Zeilen | Gesamtzahl der zu extrahierenden Zeilen. |
Anzahl der zu generierenden Aufteilungen | Die Anzahl der Splits, die zum Partitionieren der Eingabedaten verwendet werden. Mehr Partitionen erhöhen den Grad der Parallelität, erfordern aber mehr Ressourcen und Aufwand. Wenn Sie das Feld leer lassen, wählt das Plug-in einen optimalen Wert aus (empfohlen). |
Batchgröße | Anzahl der Zeilen, die bei jedem Netzwerkaufruf an SAP abgerufen werden sollen. Eine geringe Größe führt zu häufigen Netzwerkaufrufen, bei denen der damit verbundene Aufwand wiederholt wird. Eine große Größe kann den Datenabruf verlangsamen und eine übermäßige Ressourcennutzung in SAP verursachen.
Wenn der Wert auf 0 gesetzt ist, ist der Standardwert 2500 und die maximale Anzahl von Zeilen, die in jedem Batch abgerufen werden können, ist 5000 . |
Unterstützte OData-Typen
Die folgende Tabelle zeigt die Zuordnung zwischen OData v2-Datentypen, die in SAP-Anwendungen verwendet werden, und den Cloud Data Fusion-Datentypen.
OData-Typ | Beschreibung (SAP) | Cloud Data Fusion-Datentyp |
---|---|---|
Numerisch | ||
SByte | Signierter 8-Bit-Ganzzahlwert | int |
Byte | 8-Bit-Ganzzahlwert ohne Vorzeichen | int |
Int16 | Signierter 16-Bit-Ganzzahlwert | int |
Int32 | Signierter 32-Bit-Ganzzahlwert | int |
Int64 | Signierter 64-Bit-Ganzzahlwert mit dem folgenden Zeichen: „L“ Beispiele: 64L , -352L |
long |
Einzelner | 7-stellige Gleitkommazahl, die Werte mit einem ungefähren Bereich von ± 1,18e –38 bis ± 3,40e +38 darstellen kann, an den das Zeichen „f“ angehängt wird Beispiel: 2.0f |
float |
Double | 15-stellige Gleitkommazahl, die Werte mit ungefähren Bereichen von ± 2,23e -308 bis ± 1,79e +308 darstellen kann, angefügt mit dem Zeichen „d“ Beispiele: 1E+10d , 2.029d , 2.0d |
double |
Dezimal | Numerische Werte mit fester Genauigkeit und Skalierung, die einen numerischen Wert beschreiben, der von negativ 10^255 + 1 bis positiv 10^255 -1 reicht, wobei das Zeichen „M“ oder „m“ angehängt wird. Beispiel: 2.345M |
decimal |
Zeichen | ||
Anleitung | Eine eindeutige 16-Byte-Kennung (128 Bit), die mit dem Zeichen „GU“ beginnt Beispiel: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff' |
string |
String | In UTF-8 codierte Zeichendaten mit fester oder variabler Länge | string |
Byte | ||
Binär | Binäre Daten mit fester oder variabler Länge, die mit „X“ oder „binär“ beginnen (beide wird zwischen Groß- und Kleinschreibung unterschieden) Beispiel: X'23AB' , binary'23ABFF' |
bytes |
Logisch | ||
Boolesch | Mathematisches Konzept der binärwertigen Logik | boolean |
Datum/Uhrzeit | ||
Datum/Uhrzeit | Datum und Uhrzeit mit Werten zwischen 00:00:00 Uhr am 1. Januar 1753 und 23:59:59 Uhr am 31. Dezember 9999 | timestamp |
Zeit | Tageszeit mit Werten zwischen 0:00:00.x und 23:59:59.y, wobei „x“ und „y“ von der Genauigkeit abhängen | time |
DateTimeOffset | Datum und Uhrzeit als Offset, in Minuten ab GMT mit Werten zwischen 00:00:00 Uhr am 1. Januar 1753 und 23:59:59 Uhr am 31. Dezember 9999 | timestamp |
Komplex | ||
Navigations- und Nicht-Navigationseigenschaften (Vielfalt = *) | Sammlungen eines einfachen Typs mit einer Vielzahl von 1:n-Beziehungen. | array ,string ,int usw. |
Eigenschaften (Multiplikator = 0,1) | Verweise auf andere komplexe Typen mit einer Vielfalt von 1:1-Angaben | record |
Validierung
Klicken Sie oben rechts auf Validieren oder Schema abrufen.
Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.
Datenpipeline ausführen
- Nachdem Sie die Pipeline bereitgestellt haben, klicken Sie im oberen Bereich der Seitenleiste auf Konfigurieren.
- Wählen Sie Ressourcen aus.
- Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
- Klicken Sie auf Speichern.
- Klicken Sie zum Starten der Datenpipeline auf Ausführen.
Leistung
Das Plug-in verwendet die Parallelisierungsfunktionen von Cloud Data Fusion. Die folgenden Richtlinien können dabei helfen, die Laufzeitumgebung zu konfigurieren, damit die Laufzeit-Engine genügend Ressourcen bereitstellt, um den gewünschten Grad an Parallelität und Leistung zu erreichen.
Plug-in-Konfiguration optimieren
Empfohlen:Wenn Sie nicht mit den Arbeitsspeichereinstellungen Ihres SAP-Systems vertraut sind, lassen Sie die Felder Number of Splits to Generates und Batchgröße leer (nicht angegeben).
Verwenden Sie die folgenden Konfigurationen, um eine bessere Leistung beim Ausführen der Pipeline zu erzielen:
Number of Splits to Generate (Anzahl der zu generierenden Teilungen): Es werden Werte zwischen
8
und16
empfohlen. Sie können jedoch mit entsprechenden Konfigurationen auf SAP-Seite auf32
oder sogar64
erhöht werden (durch Zuweisung geeigneter Arbeitsspeicherressourcen für die Arbeitsprozesse in SAP). Diese Konfiguration verbessert die Parallelität auf der Cloud Data Fusion-Seite. Die Laufzeit-Engine erstellt beim Extrahieren der Datensätze die angegebene Anzahl von Partitionen (und SAP-Verbindungen).Wenn der Konfigurationsdienst (der beim Importieren der SAP-Transportdatei im Lieferumfang des Plug-ins enthalten ist) verfügbar ist, verwendet das Plug-in standardmäßig die Konfiguration des SAP-Systems. Die Aufteilungen machen 50% der verfügbaren Dialogarbeitsprozesse in SAP aus. Hinweis: Der Konfigurationsdienst kann nur aus S4HANA-Systemen importiert werden.
Wenn der Konfigurationsdienst nicht verfügbar ist, werden standardmäßig
7
-Aufteilungen verwendet.Wenn Sie einen anderen Wert angeben, hat der von Ihnen angegebene Wert in beiden Fällen Vorrang vor dem standardmäßigen Aufteilungswert, mit der Ausnahme, dass er durch die verfügbaren Dialogprozesse in SAP abzüglich zwei Aufteilungen begrenzt wird.
Wenn die Anzahl der zu extrahierenden Datensätze kleiner als
2500
ist, beträgt die Anzahl der Splits1
.
Batchgröße: Dies ist die Anzahl der Datensätze, die bei jedem Netzwerkaufruf an SAP abgerufen werden sollen. Eine kleinere Batchgröße führt zu häufigen Netzwerkaufrufen und damit verbundener Aufwand. Standardmäßig beträgt die Mindestanzahl
1000
und die maximale Anzahl50000
.
Weitere Informationen finden Sie unter Limits für OData-Entitäten.
Cloud Data Fusion-Ressourceneinstellungen
Empfohlen:Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese im Dialogfeld > Ressourcen konfigurieren fest.
Dataproc-Clustereinstellungen
Empfohlen:Weisen Sie mindestens CPUs (den einzelnen Workern) zu, die größer als die vorgesehene Anzahl von Splits sind (siehe Plug-in-Konfiguration).
Jedem Worker muss pro CPU in den Dataproc-Einstellungen mindestens 6,5 GB Arbeitsspeicher zugewiesen sein.Pro Cloud Data Fusion Executor sind mindestens 4 GB verfügbar. Für andere Einstellungen können die Standardwerte übernommen werden.
Empfohlen: Verwenden Sie einen nichtflüchtigen Dataproc-Cluster, um die Laufzeit der Datenpipeline zu reduzieren. Dadurch entfällt der Bereitstellungsschritt, der einige Minuten oder länger dauern kann. Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.
Beispielkonfigurationen und Durchsatz
Beispielentwicklungs- und Testkonfigurationen
- Dataproc-Cluster mit 8 Workern mit jeweils 4 CPUs und 26 GB Arbeitsspeicher Es können bis zu 28 Aufteilungen generiert werden.
- Dataproc-Cluster mit 2 Workern mit jeweils 8 CPUs und 52 GB Arbeitsspeicher Bis zu 12 Aufteilungen generieren.
Beispiele für Produktionskonfigurationen und Durchsatz
- Dataproc-Cluster mit 8 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher Generieren Sie bis zu 32 Splits (die Hälfte der verfügbaren CPUs).
- Dataproc-Cluster mit 16 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher Bis zu 64 Splits generieren (die Hälfte der verfügbaren CPUs).
Beispieldurchsatz für ein SAP S4HANA 1909-Quellsystem für die Produktion
Die folgende Tabelle enthält einen Beispieldurchsatz. Der angezeigte Durchsatz enthält keine Filteroptionen, sofern nicht anders angegeben. Wenn Sie Filteroptionen verwenden, wird der Durchsatz verringert.
Batchgröße | Splits | OData-Dienst | Zeilen insgesamt | Zeilen extrahiert | Durchsatz (Zeilen pro Sekunde) |
---|---|---|---|---|---|
1000 | 4 | ZACDOCA_CDS | 5,37 Mio. | 5,37 Mio. | 1069 |
2.500 | 10 | ZACDOCA_CDS | 5,37 Mio. | 5,37 Mio. | 3384 |
5.000 | 8 | ZACDOCA_CDS | 5,37 Mio. | 5,37 Mio. | 4.630 |
5.000 | 9 | ZACDOCA_CDS | 5,37 Mio. | 5,37 Mio. | 4817 |
Beispieldurchsatz für ein SAP S4HANA-Quellsystem für die Cloud-Produktion
Batchgröße | Splits | OData-Dienst | Zeilen insgesamt | Zeilen extrahiert | Durchsatz (GB/Stunde) |
---|---|---|---|---|---|
2.500 | 40 | TEST_04_UOM_ODATA_CDS/ | 201 Mio. | 10 Mio. | 25,48 |
5.000 | 50 | TEST_04_UOM_ODATA_CDS/ | 201 Mio. | 10 Mio. | 26,78 |
Supportdetails
Unterstützte SAP-Produkte und -Versionen
Zu den unterstützten Quellen gehören SAP S4/HANA 1909 und höher, S4/HANA in der SAP-Cloud und jede SAP-Anwendung, die OData-Dienste verfügbar machen kann.
Die Transportdatei, die den benutzerdefinierten OData-Dienst für das Load-Balancing der SAP-Aufrufe enthält, muss in S4/HANA 1909 und höher importiert werden. Der Dienst hilft dabei, die Anzahl der Splits (Datenpartitionen) zu berechnen, die das Plug-in parallel lesen kann (siehe Anzahl der Splits).
OData Version 2 wird unterstützt.
Das Plug-in wurde mit SAP S/4HANA-Servern getestet, die in Google Cloud bereitgestellt wurden.
SAP OData Catalog-Dienste werden für die Extraktion unterstützt
Das Plug-in unterstützt die folgenden DataSource-Typen:
- Transaktionsdaten
- CDS-Ansichten, die über OData bereitgestellt werden
Masterdaten
- Attribute
- Texte
- Hierarchien
SAP-Hinweise
Vor der Extraktion sind keine SAP-Hinweise erforderlich, aber im SAP-System muss SAP Gateway verfügbar sein. Weitere Informationen finden Sie im Hinweis 1560585 (für diese externe Website ist eine SAP-Anmeldung erforderlich).
Beschränkungen des Datenvolumens oder der Datensatzbreite
Es gibt keine festgelegte Grenze für das extrahierte Datenvolumen. Beim Testen wurden bis zu 6 Millionen Zeilen in einem Aufruf extrahiert. Die Rekordbreite beträgt 1 KB. Für SAP S4/HANA in der Cloud haben wir bis zu 10 Millionen Zeilen mit einer Rekordbreite von 1 KB getestet, die in einem Aufruf extrahiert wurden.
Erwarteter Plug-in-Durchsatz
Für eine Umgebung, die gemäß den Richtlinien im Abschnitt Leistung konfiguriert wurde, kann das Plug-in etwa 38 GB pro Stunde extrahieren. Die tatsächliche Leistung kann je nach Cloud Data Fusion- und SAP-Systemlast oder Netzwerkverkehr variieren.
Delta-Extraktion (geänderte Daten)
Die Deltaextraktion wird nicht unterstützt.
Fehlerszenarien
Zur Laufzeit schreibt das Plug-in Logeinträge in das Log der Cloud Data Fusion-Datenpipeline. Diese Einträge haben das Präfix CDF_SAP
, um sie leicht zu identifizieren.
Wenn Sie bei der Entwicklung die Plug-in-Einstellungen prüfen, werden Meldungen auf dem Tab Eigenschaften angezeigt und rot hervorgehoben.
In der folgenden Tabelle sind einige häufige Fehlermeldungen aufgeführt (Text in
Nachrichten-ID | Meldung | Empfohlene Maßnahmen |
---|---|---|
Keine | Erforderliches Attribut „ |
Geben Sie einen tatsächlichen Wert oder eine Makrovariable ein. |
Keine | Ungültiger Wert für Property " |
Geben Sie eine nicht negative ganze Zahl (0 oder größer, ohne Dezimalzahl) oder eine Makrovariable ein. |
CDF_SAP_ODATA_01505 | Das Cloud Data Fusion-Ausgabeschema konnte nicht vorbereitet werden. Prüfen Sie den Wert für das angegebene Laufzeitmakro. | Prüfen Sie, ob die angegebenen Makrowerte korrekt sind. |
– | Das SAP X509-Zertifikat „<UI input in GCS Path>“ fehlt. Achten Sie darauf, dass das erforderliche X509-Zertifikat in den angegebenen Google Cloud Storage-Bucket „<GCS bucket name>“ hochgeladen wird. | Prüfen Sie, ob der angegebene Cloud Storage-Pfad korrekt ist. |
CDF_SAP_ODATA_01532 | Generischer Fehlercode im Zusammenhang mit SAP OData-Verbindungsproblemen Der angegebene SAP OData-Dienst konnte nicht aufgerufen werden. Ursache: <Ursache des SAP OData-Diensts> |
Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01534 | Generischer Fehlercode, der sich auf einen SAP OData-Dienstfehler bezieht. Dienstvalidierung fehlgeschlagen. Ursache: |
Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01503 | Die Gesamtzahl der verfügbaren Datensätze konnte nicht von <Name der SAP OData-Dienstentität> abgerufen werden. Ursache: <Ursache für den SAP Odata-Dienst> | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01506 | Es wurden keine Datensätze zum Extrahieren in <Name der SAP OData-Dienstentität> gefunden. Achten Sie darauf, dass die angegebene Entität Datensätze enthält. | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01537 | Einträge für <Name der SAP OData-Dienstentität> konnten nicht verarbeitet werden. Ursache: <Ursache des SAP OData-Diensts> | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01536 | Es konnten keine Einträge aus <Name der SAP OData-Dienstentität> abgerufen werden. Ursache: <Ursache des SAP OData-Diensts> | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01504 | Der codierte Metadatenstring für den angegebenen OData-Dienst <Name des SAP OData-Dienstes> konnte nicht generiert werden. Ursache: <Ursache des SAP OData-Diensts> | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
CDF_SAP_ODATA_01533 | Die Metadaten für den angegebenen codierten Metadatenstring für den Dienst <SAP OData-Dienstname> konnten nicht decodiert werden. Ursache: <Ursache des SAP OData-Diensts> | Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen. |
Nächste Schritte
- Weitere Informationen zu Cloud Data Fusion
- Weitere Informationen zu SAP in Google Cloud.