SAP OData-Batchquelle

In dieser Anleitung wird beschrieben, wie Sie Datenpipelines, die das SAP OData-Plug-in verwenden, bereitstellen, konfigurieren und ausführen.

Sie können SAP als Quelle für die Batch-basierte Datenextraktion in Cloud Data Fusion mit dem Open Data Protocol (OData) verwenden. Mit dem SAP OData-Plug-in können Sie Datenübertragungen aus den SAP OData Catalog-Diensten ohne Programmieren konfigurieren und ausführen.

Weitere Informationen zu den unterstützten SAP OData Catalog-Diensten und Datenquellen finden Sie in den Supportdetails. Weitere Informationen zu SAP in Google Cloud finden Sie in der Übersicht über SAP in Google Cloud.

Lernziele

• SAP-ERP-System konfigurieren (DataSources in SAP aktivieren)
• Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
• SAP-Transport von Cloud Data Fusion herunterladen und in SAP installieren

• Verwenden Sie Cloud Data Fusion und SAP OData, um Datenpipelines zur Einbindung von SAP-Daten zu erstellen.

Hinweise

Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:

• Pipelines in Cloud Data Fusion erstellen
• Zugriffsverwaltung mit IAM
• SAP Cloud und lokale ERP-Systeme (Enterprise Resource Planning) konfigurieren

Nutzerrollen

Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:

Nutzertyp	Beschreibung
Google Cloud-Administrator	Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten.
Cloud Data Fusion-Nutzer	Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Sie haben mindestens die Rolle Data Fusion-Betrachter“ (roles/datafusion.viewer). Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
SAP-Administrator	Nutzer mit dieser Rolle sind Administratoren des SAP-Systems. Sie können Software von der SAP-Dienstwebsite herunterladen. Es ist keine IAM-Rolle.
SAP-Nutzer	Nutzer mit dieser Rolle sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Es ist keine IAM-Rolle.

Voraussetzungen für die OData-Extraktion

1. Der OData Catalog-Dienst muss im SAP-System aktiviert sein.

2. Die Daten müssen im OData-Dienst eingefügt werden.

Voraussetzungen für Ihr SAP-System

• In SAP NetWeaver 7.02 für SAP NetWeaver-Version 7.31 werden die Funktionen von OData und SAP-Gateway mit den folgenden SAP-Softwarekomponenten bereitgestellt:

  • IW_FND
  • GW_CORE
  • IW_BEP

• In SAP NetWeaver-Version 7.40 und höher sind alle Funktionen in der Komponente SAP_GWFND verfügbar, die in SAP NetWeaver verfügbar sein muss.

Optional: SAP-Transportdateien installieren

Die für Load-Balancing-Aufrufe an SAP erforderlichen SAP-Komponenten werden als SAP-Transportdateien bereitgestellt und als ZIP-Datei archiviert (eine Transportanfrage, die aus einer Co-Datei und einer Datendatei besteht). Mit diesem Schritt können Sie mehrere parallele Aufrufe von SAP basierend auf den verfügbaren Arbeitsprozessen in SAP begrenzen.

Die heruntergeladene ZIP-Datei ist verfügbar, wenn Sie das Plug-in im Cloud Data Fusion Hub bereitstellen.

ZIP-Datei für den SAP ODATA-Transport herunterladen

Die SAP-Transportanfrage-IDs und die zugehörigen Dateien sind in der folgenden Tabelle aufgeführt:

Transport-ID	Cofile	Datendatei	Inhaltsverzeichnis
ED1K900360	K900360.ED1	R900360.ED1	Über OData bereitgestellte RFC-Funktionsmodule

Wenn Sie die Transportdateien in SAP importieren, werden die folgenden SAP OData-Projekte erstellt:

• OData-Projekte

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• ICF-Dienstknoten: GOOG

So installieren Sie den SAP-Transport:

Schritt 1: Transportanfragedateien hochladen

1. Melden Sie sich beim Betriebssystem der SAP-Instanz an.
2. Verwenden Sie den SAP-Transaktionscode AL11, um den Pfad für den Ordner DIR_TRANS abzurufen. In der Regel lautet der Pfad /usr/sap/trans/.
3. Kopieren Sie die Dateien in den Ordner DIR_TRANS/cofiles.
4. Kopieren Sie die Datendateien in den Ordner DIR_TRANS/data.
5. Legen Sie für Nutzer und Gruppe von Daten und Datei <sid>adm und sapsys fest.

Schritt 2: Transportanfragedateien importieren

Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:

Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren

1. Melden Sie sich im SAP-System als SAP-Administrator an.
2. Geben Sie die Transaktions-STMS ein.
3. Klicken Sie auf Übersicht > Importe.
4. Doppelklicken Sie in der Spalte Queue auf die aktuelle SID.
5. Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
6. Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
7. Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
8. Geben Sie die Clientnummer ein.

9. Wählen Sie auf dem Tab Optionen die Option Originale überschreiben und Ungültige Komponentenversion ignorieren aus (falls verfügbar).

   Optional: Wenn Sie einen Reimport der Transporte für einen späteren Zeitpunkt planen möchten, wählen Sie Transportanfragen für späteren Import in Warteschlange belassen und Transportanfragen noch einmal importieren aus. Dies ist nützlich für SAP-Systemupgrades und Sicherungswiederherstellungen.

10. Klicken Sie auf Weiter.

11. Verwenden Sie zum Prüfen des Imports Transaktionen wie SE80 oder SU01.

Option 2: Transportanfragedateien auf Betriebssystemebene importieren

1. Melden Sie sich im SAP-System als SAP-Systemadministrator an.

2. Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu, indem Sie den folgenden Befehl ausführen:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Beispiel: tp addtobuffer IB1K903958 DD1

3. Importieren Sie die Transportanfragen mit dem folgenden Befehl:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Ersetzen Sie NNN durch die Clientnummer. Beispiel: tp import IB1K903958 DD1 client=800 U1238

   Hinweis: U1238 gibt an, dass die in den Schritten 9–10 unter Option 1 beschriebenen Optionen festgelegt werden sollen. Die Zahlen geben die entsprechende Bestellnummer in der SAP-GUI an, die je nach System variieren kann. Die Nummern müssen von Ihrem SAP-Administrator angepasst werden.

4. Prüfen Sie mit den entsprechenden Transaktionen wie SE80 und SU01, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Liste der filterbaren Spalten für einen SAP-Katalogdienst abrufen

Für das Filtern von Bedingungen können nur einige DataSource-Spalten verwendet werden. Dies ist eine SAP-Einschränkung.

So rufen Sie eine Liste der filterbaren Spalten für einen SAP-Katalogdienst ab:

1. Melden Sie sich im SAP-System an.
2. Rufen Sie den T-Code SEGW auf.

3. Geben Sie den Namen des OData-Projekts ein, das ein Teilstring des Dienstnamens ist. Beispiel:

   • Dienstname: MM_PUR_POITEMS_MONI_SRV
   • Projektname: MM_PUR_POITEMS_MONI

4. Drücken Sie die Eingabetaste.

5. Rufen Sie die Entität auf, die Sie filtern möchten, und wählen Sie Eigenschaften aus.

   Sie können die unter Eigenschaften angezeigten Felder als Filter verwenden. Unterstützte Vorgänge sind Gleich und Zwischen (Bereich).

   

Eine Liste der Operatoren, die in der Ausdruckssprache unterstützt werden, finden Sie in der Open-Source-Dokumentation URI-Konventionen (OData Version 2.0).

Beispiel-URI mit Filtern:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

SAP-ERP-System konfigurieren

Der SAP-Administrator führt die Aufgaben in diesem Abschnitt aus.

Das SAP OData-Plug-in verwendet einen OData-Dienst, der auf jedem SAP-Server aktiviert ist, aus dem die Daten extrahiert werden. Dieser OData-Dienst kann ein von SAP bereitgestellter Standard oder ein benutzerdefinierter OData-Dienst sein, der auf Ihrem SAP-System entwickelt wurde.

Schritt 1: SAP Gateway 2.0 installieren

Der SAP-Administrator (Basis) muss prüfen, ob die Komponenten von SAP Gateway 2.0 im SAP-Quellsystem verfügbar sind, abhängig vom NetWeaver-Release. Weitere Informationen zur Installation von SAP Gateway 2.0 finden Sie, wenn Sie sich beim SAP ONE Support Launchpad anmelden und den Hinweis 1569624 (Anmeldung erforderlich) lesen.

Schritt 2: OData-Dienst aktivieren

Aktivieren Sie den erforderlichen OData-Dienst im Quellsystem. Weitere Informationen finden Sie unter Frontend-Server: OData-Dienste aktivieren.

Schritt 3: Autorisierungsrolle erstellen

Erstellen Sie eine Autorisierungsrolle mit den erforderlichen Autorisierungen in SAP und gewähren Sie sie dann dem SAP-Nutzer, um eine Verbindung zur DataSource herzustellen.

So erstellen Sie die Autorisierungsrolle in SAP:

1. Geben Sie in der SAP-GUI den Transaktionscode PFCG ein, um das Fenster Rollenwartung zu öffnen.

2. Geben Sie im Feld Rolle einen Namen für die Rolle ein.

   Beispiel: ZODATA_AUTH

3. Klicken Sie auf Einzelne Rolle.

   Das Fenster Rollen erstellen wird geöffnet.

4. Geben Sie eine Beschreibung in das Feld Beschreibung ein und klicken Sie auf Speichern.

   Beispiel: Authorizations for SAP OData plugin.

5. Klicken Sie auf den Tab Autorisierungen. Der Titel des Fensters ändert sich in Rollen ändern.

6. Klicken Sie unter Autorisierungsdaten bearbeiten und Profile generieren auf Autorisierungsdaten ändern.

   Das Fenster Vorlage auswählen wird geöffnet.

7. Klicken Sie auf Vorlagen nicht auswählen.

   Das Fenster Rolle ändern: Autorisierungen wird geöffnet.

8. Klicken Sie auf Manuell.

9. Geben Sie die Berechtigungen in der folgenden SAP-Autorisierungstabelle an.

10. Klicken Sie auf Speichern.

11. Klicken Sie auf das Symbol Generieren, um die Autorisierungsrolle zu aktivieren.

SAP-Autorisierungen

Objektklasse	Text der Objektklasse	Autorisierungsobjekt	Text des Autorisierungsobjekts	Autorisierung	Text	Wert
AAAB	Anwendungsübergreifende Autorisierungsobjekte	S_SERVICE	Zu Beginn externer Dienste prüfen	SRV_NAME	Name des Programm-, Transaktions- oder Funktionsmoduls	*
AAAB	Anwendungsübergreifende Autorisierungsobjekte	S_SERVICE	Zu Beginn externer Dienste prüfen	SRV_TYPE	Typ der Prüf-Flag- und Autorisierungs-Standardwerte	HT
FI	Finanzbuchhaltung	F_UNI_HIER	Universeller Hierarchiezugriff	ACTVT	Aktivität	03
FI	Finanzbuchhaltung	F_UNI_HIER	Universeller Hierarchiezugriff	HRYTYPE-Definition	Hierarchietyp	*
FI	Finanzbuchhaltung	F_UNI_HIER	Universeller Hierarchiezugriff	HRYID	Hierarchie-ID	*

Zum Erstellen und Ausführen einer Datenpipeline in Cloud Data Fusion (als Cloud Data Fusion-Nutzer) benötigen Sie SAP-Nutzeranmeldedaten (Nutzername und Passwort), um das Plug-in für die Verbindung zur DataSource zu konfigurieren.

Der SAP-Nutzer muss vom Typ Communications oder Dialog sein. Der Typ Communications wird empfohlen, um die Verwendung von SAP-Dialogressourcen zu vermeiden. Nutzer können mit dem SAP-Transaktionscode SU01 erstellt werden.

Optional: Schritt 4: Verbindung sichern

Sie können die Kommunikation zwischen Ihrer privaten Cloud Data Fusion-Instanz und SAP über das Netzwerk sichern.

Hinweis: Für diese Aufgabe ist ein X.509-Zertifikat erforderlich.

So sichern Sie die Verbindung:

1. Der SAP-Administrator muss ein X509-Zertifikat generieren. Informationen zum Generieren des Zertifikats finden Sie unter SSL-Server-PSE erstellen.
2. Der Google Cloud-Administrator muss die X509-Datei in einen lesbaren Cloud Storage-Bucket im selben Projekt wie die Cloud Data Fusion-Instanz kopieren und den Bucket-Pfad an den Cloud Data Fusion-Nutzer weitergeben, der ihn bei der Konfiguration des Plug-ins eingibt.
3. Der Google Cloud-Administrator muss dem Cloud Data Fusion-Nutzer, der Pipelines entwirft und ausführt, Lesezugriff auf die X509-Datei gewähren.

Optional: Schritt 5: Benutzerdefinierte OData-Dienste erstellen

Sie können anpassen, wie Daten extrahiert werden. Dazu erstellen Sie in SAP benutzerdefinierte OData-Dienste:

• Weitere Informationen zum Erstellen benutzerdefinierter OData-Dienste finden Sie unter Erstellung von OData-Diensten für Anfänger.
• Informationen zum Erstellen benutzerdefinierter OData-Dienste mit Ansichten der Hauptdienste (Core Data Services, CDS) finden Sie unter OData-Dienst erstellen und CDS-Ansichten als OData-Dienst verfügbar machen.
• Jeder benutzerdefinierte OData-Dienst muss $top-, $skip- und $count-Abfragen unterstützen. Mit diesen Abfragen kann das Plug-in die Daten für die sequenzielle und parallele Extraktion partitionieren. Wenn sie verwendet werden, müssen auch die Abfragen $filter, $expand oder $select unterstützt werden.

Cloud Data Fusion einrichten

Der Cloud Data Fusion-Nutzer führt die Aufgaben in diesem Abschnitt aus.

Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine weitere Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Schritt 1: Cloud Data Fusion-Umgebung einrichten

So konfigurieren Sie Ihre Cloud Data Fusion-Umgebung für das Plug-in:

1. Rufen Sie die Instanzdetails auf:

   1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

   2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

      Zur Seite „VM-Instanzen“

2. Prüfen Sie, ob ein Upgrade der Instanz auf Version 6.4.0 oder höher durchgeführt wurde. Wenn die Instanz eine ältere Version hat, müssen Sie ein Upgrade ausführen.

3. Klicken Sie auf Instanz ansehen. Klicken Sie auf der Benutzeroberfläche von Cloud Data Fusion auf Hub.

4. Wählen Sie den Tab SAP > SAP OData aus.

   Wenn der SAP-Tab nicht sichtbar ist, finden Sie weitere Informationen unter Fehlerbehebung bei SAP-Integrationen.

5. Klicken Sie auf Deploy SAP OData Plugin (SAP OData-Plug-in bereitstellen).

   Das Plug-in wird jetzt auf der Studio-Seite im Menü Quelle angezeigt.

   

Schritt 2: Plug-in konfigurieren

Das SAP OData-Plug-in liest den Inhalt einer SAP-Datenquelle.

Zum Filtern der Einträge können Sie die folgenden Attribute auf der Seite „SAP OData-Attribute“ konfigurieren.

Eigenschaft	Beschreibung
Einfach
Referenzname	Name, der zur eindeutigen Identifizierung dieser Quelle für die Herkunft, das Annotieren von Metadaten usw. verwendet wird.
SAP OData Base-URL	OData Base-URL des SAP-Gateways (verwenden Sie den vollständigen URL-Pfad, ähnlich wie https://ADDRESS:PORT/sap/opu/odata/sap/).
OData-Version	Unterstützte SAP OData-Version.
Dienstname	Name des SAP OData-Dienstes, aus dem Sie eine Entität extrahieren möchten.
Name der Entität	Name der Entität, die extrahiert wird, z. B. Results. Sie können ein Präfix wie C_PurchaseOrderItemMoni/Results verwenden. Dieses Feld unterstützt „Kategorie“- und „Entitätsparameter“. Beispiele: Ein Parameter für die Kategorie: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Ein Parameter für die Entität: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Ein Parameter für Kategorie und Entität: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Schaltfläche Get Schema (Schema abrufen)	Generiert ein Schema anhand der Metadaten aus SAP, wobei SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet werden (dieselbe Funktion wie die Schaltfläche Validieren).
Anmeldedaten^*
SAP-Typ	Basic (über Nutzername und Passwort).
SAP-Anmeldename	SAP-Nutzername Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort	SAP-Nutzerpasswort Empfohlen: Verwenden Sie sichere Makros für sensible Werte wie Passwörter.
SAP X.509-Clientzertifikat (siehe X.509-Clientzertifikate auf SAP NetWeaver Application Server für ABAP verwenden).
GCP-Projekt-ID	Eine global eindeutige Kennung für Ihr Projekt. Dieses Feld ist erforderlich, wenn das Feld Cloud Storage-Pfad des X.509-Zertifikats keinen Makrowert enthält.
GCS-Pfad	Der Cloud Storage-Bucket-Pfad, der das vom Nutzer hochgeladene X.509-Zertifikat enthält, der dem SAP-Anwendungsserver für sichere Aufrufe gemäß Ihren Anforderungen entspricht (siehe Schritt Verbindung sichern).
Passphrase	Passphrase, die dem angegebenen X.509-Zertifikat entspricht.
Erweitert
Filteroptionen	Gibt den Wert an, den ein Feld gelesen werden muss. Verwenden Sie diese Filterbedingung, um das Ausgabedatenvolumen einzuschränken. Beispiel: Mit „Price Gt 200“ werden die Datensätze ausgewählt, deren Feldwert „Preis“ größer als „200“ ist. Weitere Informationen finden Sie unter Liste filterbarer Spalten für einen SAP-Katalogdienst abrufen.
Felder auswählen	Felder, die in den extrahierten Daten beibehalten werden sollen (z. B. Kategorie, Preis, Name, Lieferant/Adresse).
Felder maximieren	Liste komplexer Felder, die in den extrahierten Ausgabedaten erweitert werden sollen (z. B. Produkte/Lieferanten).
Anzahl der zu überspringenden Zeilen	Gesamtzahl der Zeilen, die übersprungen werden sollen (z. B. 10).
Anzahl der abzurufenden Zeilen	Gesamtzahl der zu extrahierenden Zeilen.
Anzahl der zu generierenden Aufteilungen	Die Anzahl der Splits, die zum Partitionieren der Eingabedaten verwendet werden. Mehr Partitionen erhöhen den Grad der Parallelität, erfordern aber mehr Ressourcen und Aufwand. Wenn Sie das Feld leer lassen, wählt das Plug-in einen optimalen Wert aus (empfohlen).
Batchgröße	Anzahl der Zeilen, die bei jedem Netzwerkaufruf an SAP abgerufen werden sollen. Eine geringe Größe führt zu häufigen Netzwerkaufrufen, bei denen der damit verbundene Aufwand wiederholt wird. Eine große Größe kann den Datenabruf verlangsamen und eine übermäßige Ressourcennutzung in SAP verursachen. Wenn der Wert auf 0 gesetzt ist, ist der Standardwert 2500 und die maximale Anzahl von Zeilen, die in jedem Batch abgerufen werden können, ist 5000.

^* Makros werden in den Attributen für Anmeldedaten unterstützt. Damit lassen sich SAP-Verbindungen zentral verwalten. Sie können zum Beispiel Werte zur Laufzeit entweder mithilfe von Laufzeitparametern oder einem Argument-Setter-Plug-in festlegen.

Unterstützte OData-Typen

Die folgende Tabelle zeigt die Zuordnung zwischen OData v2-Datentypen, die in SAP-Anwendungen verwendet werden, und den Cloud Data Fusion-Datentypen.

OData-Typ	Beschreibung (SAP)	Cloud Data Fusion-Datentyp
Numerisch
SByte	Signierter 8-Bit-Ganzzahlwert	int
Byte	8-Bit-Ganzzahlwert ohne Vorzeichen	int
Int16	Signierter 16-Bit-Ganzzahlwert	int
Int32	Signierter 32-Bit-Ganzzahlwert	int
Int64	Signierter 64-Bit-Ganzzahlwert mit dem folgenden Zeichen: „L“ Beispiele: 64L, -352L	long
Einzelner	7-stellige Gleitkommazahl, die Werte mit einem ungefähren Bereich von ± 1,18e –38 bis ± 3,40e +38 darstellen kann, an den das Zeichen „f“ angehängt wird Beispiel: 2.0f	float
Double	15-stellige Gleitkommazahl, die Werte mit ungefähren Bereichen von ± 2,23e -308 bis ± 1,79e +308 darstellen kann, angefügt mit dem Zeichen „d“ Beispiele: 1E+10d, 2.029d, 2.0d	double
Dezimal	Numerische Werte mit fester Genauigkeit und Skalierung, die einen numerischen Wert beschreiben, der von negativ 10^255 + 1 bis positiv 10^255 -1 reicht, wobei das Zeichen „M“ oder „m“ angehängt wird. Beispiel: 2.345M	decimal
Zeichen
Anleitung	Eine eindeutige 16-Byte-Kennung (128 Bit), die mit dem Zeichen „GU“ beginnt Beispiel: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	In UTF-8 codierte Zeichendaten mit fester oder variabler Länge	string
Byte
Binär	Binäre Daten mit fester oder variabler Länge, die mit „X“ oder „binär“ beginnen (beide wird zwischen Groß- und Kleinschreibung unterschieden) Beispiel: X'23AB', binary'23ABFF'	bytes
Logisch
Boolesch	Mathematisches Konzept der binärwertigen Logik	boolean
Datum/Uhrzeit
Datum/Uhrzeit	Datum und Uhrzeit mit Werten zwischen 00:00:00 Uhr am 1. Januar 1753 und 23:59:59 Uhr am 31. Dezember 9999	timestamp
Zeit	Tageszeit mit Werten zwischen 0:00:00.x und 23:59:59.y, wobei „x“ und „y“ von der Genauigkeit abhängen	time
DateTimeOffset	Datum und Uhrzeit als Offset, in Minuten ab GMT mit Werten zwischen 00:00:00 Uhr am 1. Januar 1753 und 23:59:59 Uhr am 31. Dezember 9999	timestamp
Komplex
Navigations- und Nicht-Navigationseigenschaften (Vielfalt = *)	Sammlungen eines einfachen Typs mit einer Vielzahl von 1:n-Beziehungen.	array, string, int usw.
Eigenschaften (Multiplikator = 0,1)	Verweise auf andere komplexe Typen mit einer Vielfalt von 1:1-Angaben	record

Validierung

Klicken Sie oben rechts auf Validieren oder Schema abrufen.

Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.

Datenpipeline ausführen

1. Nachdem Sie die Pipeline bereitgestellt haben, klicken Sie im oberen Bereich der Seitenleiste auf Konfigurieren.
2. Wählen Sie Ressourcen aus.
3. Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
4. Klicken Sie auf Speichern.
5. Klicken Sie zum Starten der Datenpipeline auf Ausführen.

Leistung

Das Plug-in verwendet die Parallelisierungsfunktionen von Cloud Data Fusion. Die folgenden Richtlinien können dabei helfen, die Laufzeitumgebung zu konfigurieren, damit die Laufzeit-Engine genügend Ressourcen bereitstellt, um den gewünschten Grad an Parallelität und Leistung zu erreichen.

Hinweis: Zur Laufzeit liest das Plug-in die Anzahl der verfügbaren SAP-Arbeitsprozesse und den pro SAP-Arbeitsprozess zugewiesenen Arbeitsspeicher, um die Anzahl der Teilungen und die Batchgröße automatisch anzupassen, wenn Sie diese Werte nicht angegeben haben.

Plug-in-Konfiguration optimieren

Empfohlen:Wenn Sie nicht mit den Arbeitsspeichereinstellungen Ihres SAP-Systems vertraut sind, lassen Sie die Felder Number of Splits to Generates und Batchgröße leer (nicht angegeben).

Verwenden Sie die folgenden Konfigurationen, um eine bessere Leistung beim Ausführen der Pipeline zu erzielen:

• Number of Splits to Generate (Anzahl der zu generierenden Teilungen): Es werden Werte zwischen 8 und 16 empfohlen. Sie können jedoch mit entsprechenden Konfigurationen auf SAP-Seite auf 32 oder sogar 64 erhöht werden (durch Zuweisung geeigneter Arbeitsspeicherressourcen für die Arbeitsprozesse in SAP). Diese Konfiguration verbessert die Parallelität auf der Cloud Data Fusion-Seite. Die Laufzeit-Engine erstellt beim Extrahieren der Datensätze die angegebene Anzahl von Partitionen (und SAP-Verbindungen).

  • Wenn der Konfigurationsdienst (der beim Importieren der SAP-Transportdatei im Lieferumfang des Plug-ins enthalten ist) verfügbar ist, verwendet das Plug-in standardmäßig die Konfiguration des SAP-Systems. Die Aufteilungen machen 50% der verfügbaren Dialogarbeitsprozesse in SAP aus. Hinweis: Der Konfigurationsdienst kann nur aus S4HANA-Systemen importiert werden.

  • Wenn der Konfigurationsdienst nicht verfügbar ist, werden standardmäßig 7-Aufteilungen verwendet.

  • Wenn Sie einen anderen Wert angeben, hat der von Ihnen angegebene Wert in beiden Fällen Vorrang vor dem standardmäßigen Aufteilungswert, mit der Ausnahme, dass er durch die verfügbaren Dialogprozesse in SAP abzüglich zwei Aufteilungen begrenzt wird.

  • Wenn die Anzahl der zu extrahierenden Datensätze kleiner als 2500 ist, beträgt die Anzahl der Splits 1.

• Batchgröße: Dies ist die Anzahl der Datensätze, die bei jedem Netzwerkaufruf an SAP abgerufen werden sollen. Eine kleinere Batchgröße führt zu häufigen Netzwerkaufrufen und damit verbundener Aufwand. Standardmäßig beträgt die Mindestanzahl 1000 und die maximale Anzahl 50000.

Weitere Informationen finden Sie unter Limits für OData-Entitäten.

Cloud Data Fusion-Ressourceneinstellungen

Empfohlen:Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese im Dialogfeld > Ressourcen konfigurieren fest.

Dataproc-Clustereinstellungen

Empfohlen:Weisen Sie mindestens CPUs (den einzelnen Workern) zu, die größer als die vorgesehene Anzahl von Splits sind (siehe Plug-in-Konfiguration).

Jedem Worker muss pro CPU in den Dataproc-Einstellungen mindestens 6,5 GB Arbeitsspeicher zugewiesen sein.Pro Cloud Data Fusion Executor sind mindestens 4 GB verfügbar. Für andere Einstellungen können die Standardwerte übernommen werden.

Empfohlen: Verwenden Sie einen nichtflüchtigen Dataproc-Cluster, um die Laufzeit der Datenpipeline zu reduzieren. Dadurch entfällt der Bereitstellungsschritt, der einige Minuten oder länger dauern kann. Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.

Beispielkonfigurationen und Durchsatz

Beispielentwicklungs- und Testkonfigurationen

• Dataproc-Cluster mit 8 Workern mit jeweils 4 CPUs und 26 GB Arbeitsspeicher Es können bis zu 28 Aufteilungen generiert werden.
• Dataproc-Cluster mit 2 Workern mit jeweils 8 CPUs und 52 GB Arbeitsspeicher Bis zu 12 Aufteilungen generieren.

Beispiele für Produktionskonfigurationen und Durchsatz

• Dataproc-Cluster mit 8 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher Generieren Sie bis zu 32 Splits (die Hälfte der verfügbaren CPUs).
• Dataproc-Cluster mit 16 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher Bis zu 64 Splits generieren (die Hälfte der verfügbaren CPUs).

Beispieldurchsatz für ein SAP S4HANA 1909-Quellsystem für die Produktion

Die folgende Tabelle enthält einen Beispieldurchsatz. Der angezeigte Durchsatz enthält keine Filteroptionen, sofern nicht anders angegeben. Wenn Sie Filteroptionen verwenden, wird der Durchsatz verringert.

Batchgröße	Splits	OData-Dienst	Zeilen insgesamt	Zeilen extrahiert	Durchsatz (Zeilen pro Sekunde)
1000	4	ZACDOCA_CDS	5,37 Mio.	5,37 Mio.	1069
2.500	10	ZACDOCA_CDS	5,37 Mio.	5,37 Mio.	3384
5.000	8	ZACDOCA_CDS	5,37 Mio.	5,37 Mio.	4.630
5.000	9	ZACDOCA_CDS	5,37 Mio.	5,37 Mio.	4817

Beispieldurchsatz für ein SAP S4HANA-Quellsystem für die Cloud-Produktion

Batchgröße	Splits	OData-Dienst	Zeilen insgesamt	Zeilen extrahiert	Durchsatz (GB/Stunde)
2.500	40	TEST_04_UOM_ODATA_CDS/	201 Mio.	10 Mio.	25,48
5.000	50	TEST_04_UOM_ODATA_CDS/	201 Mio.	10 Mio.	26,78

Supportdetails

Unterstützte SAP-Produkte und -Versionen

• Zu den unterstützten Quellen gehören SAP S4/HANA 1909 und höher, S4/HANA in der SAP-Cloud und jede SAP-Anwendung, die OData-Dienste verfügbar machen kann.

• Die Transportdatei, die den benutzerdefinierten OData-Dienst für das Load-Balancing der SAP-Aufrufe enthält, muss in S4/HANA 1909 und höher importiert werden. Der Dienst hilft dabei, die Anzahl der Splits (Datenpartitionen) zu berechnen, die das Plug-in parallel lesen kann (siehe Anzahl der Splits).

• OData Version 2 wird unterstützt.

• Das Plug-in wurde mit SAP S/4HANA-Servern getestet, die in Google Cloud bereitgestellt wurden.

SAP OData Catalog-Dienste werden für die Extraktion unterstützt

Das Plug-in unterstützt die folgenden DataSource-Typen:

• Transaktionsdaten
• CDS-Ansichten, die über OData bereitgestellt werden

• Masterdaten

  • Attribute
  • Texte
  • Hierarchien

Hinweis :Operative OData APIs werden für die Extraktion nicht unterstützt (z. B. Schnittstellen für das Erstellen von Bestellungen oder Aufträgen).

SAP-Hinweise

Vor der Extraktion sind keine SAP-Hinweise erforderlich, aber im SAP-System muss SAP Gateway verfügbar sein. Weitere Informationen finden Sie im Hinweis 1560585 (für diese externe Website ist eine SAP-Anmeldung erforderlich).

Beschränkungen des Datenvolumens oder der Datensatzbreite

Es gibt keine festgelegte Grenze für das extrahierte Datenvolumen. Beim Testen wurden bis zu 6 Millionen Zeilen in einem Aufruf extrahiert. Die Rekordbreite beträgt 1 KB. Für SAP S4/HANA in der Cloud haben wir bis zu 10 Millionen Zeilen mit einer Rekordbreite von 1 KB getestet, die in einem Aufruf extrahiert wurden.

Erwarteter Plug-in-Durchsatz

Für eine Umgebung, die gemäß den Richtlinien im Abschnitt Leistung konfiguriert wurde, kann das Plug-in etwa 38 GB pro Stunde extrahieren. Die tatsächliche Leistung kann je nach Cloud Data Fusion- und SAP-Systemlast oder Netzwerkverkehr variieren.

Delta-Extraktion (geänderte Daten)

Die Deltaextraktion wird nicht unterstützt.

Fehlerszenarien

Zur Laufzeit schreibt das Plug-in Logeinträge in das Log der Cloud Data Fusion-Datenpipeline. Diese Einträge haben das Präfix CDF_SAP, um sie leicht zu identifizieren.

Hinweis: Klicken Sie auf Erweiterte Logs, um alle in Cloud Data Fusion protokollierten Nachrichten aufzurufen.

Wenn Sie bei der Entwicklung die Plug-in-Einstellungen prüfen, werden Meldungen auf dem Tab Eigenschaften angezeigt und rot hervorgehoben.

In der folgenden Tabelle sind einige häufige Fehlermeldungen aufgeführt (Text in wird zur Laufzeit durch tatsächliche Werte ersetzt):

Nachrichten-ID	Meldung	Empfohlene Maßnahmen
Keine	Erforderliches Attribut „“ für den Verbindungstyp „“.	Geben Sie einen tatsächlichen Wert oder eine Makrovariable ein.
Keine	Ungültiger Wert für Property "".	Geben Sie eine nicht negative ganze Zahl (0 oder größer, ohne Dezimalzahl) oder eine Makrovariable ein.
CDF_SAP_ODATA_01505	Das Cloud Data Fusion-Ausgabeschema konnte nicht vorbereitet werden. Prüfen Sie den Wert für das angegebene Laufzeitmakro.	Prüfen Sie, ob die angegebenen Makrowerte korrekt sind.
–	Das SAP X509-Zertifikat „<UI input in GCS Path>“ fehlt. Achten Sie darauf, dass das erforderliche X509-Zertifikat in den angegebenen Google Cloud Storage-Bucket „<GCS bucket name>“ hochgeladen wird.	Prüfen Sie, ob der angegebene Cloud Storage-Pfad korrekt ist.
CDF_SAP_ODATA_01532	Generischer Fehlercode im Zusammenhang mit SAP OData-Verbindungsproblemen Der angegebene SAP OData-Dienst konnte nicht aufgerufen werden. Ursache: <Ursache des SAP OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01534	Generischer Fehlercode, der sich auf einen SAP OData-Dienstfehler bezieht. Dienstvalidierung fehlgeschlagen. Ursache: Ursache des AP-OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01503	Die Gesamtzahl der verfügbaren Datensätze konnte nicht von <Name der SAP OData-Dienstentität> abgerufen werden. Ursache: <Ursache für den SAP Odata-Dienst>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01506	Es wurden keine Datensätze zum Extrahieren in <Name der SAP OData-Dienstentität> gefunden. Achten Sie darauf, dass die angegebene Entität Datensätze enthält.	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01537	Einträge für <Name der SAP OData-Dienstentität> konnten nicht verarbeitet werden. Ursache: <Ursache des SAP OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01536	Es konnten keine Einträge aus <Name der SAP OData-Dienstentität> abgerufen werden. Ursache: <Ursache des SAP OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01504	Der codierte Metadatenstring für den angegebenen OData-Dienst <Name des SAP OData-Dienstes> konnte nicht generiert werden. Ursache: <Ursache des SAP OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_ODATA_01533	Die Metadaten für den angegebenen codierten Metadatenstring für den Dienst <SAP OData-Dienstname> konnten nicht decodiert werden. Ursache: <Ursache des SAP OData-Diensts>	Prüfen Sie die in der Meldung angegebene Ursache und ergreifen Sie entsprechende Maßnahmen.

Nächste Schritte

• Weitere Informationen zu Cloud Data Fusion
• Weitere Informationen zu SAP in Google Cloud.