SAP OData-Batchquelle

In diesem Leitfaden wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das SAP OData-Plug-in.

Sie können SAP als Quelle für die Batch-basierte Datenextraktion in Cloud Data Fusion verwenden mit dem Open Data Protocol (OData). Mit dem SAP OData-Plug-in können Sie Daten konfigurieren und ausführen Übertragungen von SAP OData Catalog Services ganz ohne Programmierung.

Weitere Informationen zu den unterstützten SAP OData Catalog Services und Datenquellen finden Sie in den Supportdetails. Weitere Informationen zu SAP finden Sie Google Cloud, siehe Übersicht über SAP in Google Cloud

Lernziele

  • SAP-ERP-System konfigurieren (DataSources in SAP aktivieren)
  • Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
  • SAP-Transport von Cloud Data Fusion herunterladen und in SAP installieren
  • Mit Cloud Data Fusion und SAP OData können Sie Datenpipelines zur Integration von SAP-Daten.

Hinweise

Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:

  • Pipelines in Cloud Data Fusion erstellen
  • Zugriffsverwaltung mit IAM
  • SAP Cloud und lokale ERP-Systeme (Enterprise Resource Planning) konfigurieren

Nutzerrollen

Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:

Nutzertyp Beschreibung
Google Cloud-Administrator Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten.
Cloud Data Fusion-Nutzer Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Sie haben mindestens die Rolle Data Fusion-Betrachter“ (roles/datafusion.viewer). Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
SAP-Administrator Nutzer mit dieser Rolle sind Administratoren des SAP-Systems. Sie können Software von der SAP-Dienstwebsite herunterladen. Es ist keine IAM-Rolle.
SAP-Nutzer Nutzer mit dieser Rolle sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Es ist keine IAM-Rolle.

Voraussetzungen für die OData-Extraktion

  1. Der OData Catalog-Dienst muss im SAP-System aktiviert sind.

  2. Die Daten müssen im OData-Dienst eingefügt werden.

Voraussetzungen für Ihr SAP-System

  • In SAP NetWeaver 7.02 zu SAP NetWeaver Release 7.31 werden OData und SAP Gateway-Funktionen werden mit der folgenden SAP-Software bereitgestellt Komponenten:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • In SAP NetWeaver Release 7.40 und höher sind alle Funktionen in der Komponente SAP_GWFND verfügbar, die in SAP zur Verfügung gestellt werden muss NetWeaver.

Optional: SAP-Transportdateien installieren

Die SAP-Komponenten, die für Load-Balancing-Aufrufe an SAP benötigt werden, werden bereitgestellt. als SAP-Transportdateien, die als ZIP-Datei archiviert werden (eine Transportanfrage, die aus einer Cofile und einer Datendatei besteht. Mit diesem Schritt können Sie basierend auf den verfügbaren Arbeitsprozessen in SAP mehrere parallele Aufrufe an SAP senden.

Der Download der ZIP-Datei ist verfügbar, wenn Sie Plug-in im Cloud Data Fusion Hub bereitstellen

ZIP-Datei für SAP ODATA-Transport herunterladen

Die SAP-Transport-Anfrage-IDs und die zugehörigen Dateien sind im Folgenden angegeben: Tabelle:

Transport-ID Cofile Datendatei Inhalt
ED1K900360 K900360.ED1 R900360.ED1 Über OData bereitgestellte RFC-Funktionsmodule

Beim Importieren der Transportdateien in SAP werden die folgenden SAP OData-Projekte erstellt:

  • OData-Projekte

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • ICF-Dienstknoten: GOOG

So installieren Sie den SAP-Transport:

Schritt 1: Transportanfragedateien hochladen

  1. Melden Sie sich beim Betriebssystem der SAP-Instanz an.
  2. Verwenden Sie den SAP-Transaktionscode AL11, um den Pfad für den Ordner DIR_TRANS abzurufen. In der Regel lautet der Pfad /usr/sap/trans/.
  3. Kopieren Sie die Dateien in den Ordner DIR_TRANS/cofiles.
  4. Kopieren Sie die Datendateien in den Ordner DIR_TRANS/data.
  5. Legen Sie für Nutzer und Gruppe von Daten und Datei <sid>adm und sapsys fest.

Schritt 2: Transportanfragedateien importieren

Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:

Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
  1. Melden Sie sich im SAP-System als SAP-Administrator an.
  2. Geben Sie die Transaktions-STMS ein.
  3. Klicken Sie auf Übersicht > Importe.
  4. Doppelklicken Sie in der Spalte Warteschlange auf die aktuelle SID.
  5. Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
  6. Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
  7. Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie auf Anfrage > Importieren.
  8. Geben Sie die Clientnummer ein.

  9. Wählen Sie auf dem Tab Optionen die Optionen Originale überschreiben und Ignorieren ungültige Komponentenversion (falls verfügbar).

    Optional: Wenn Sie einen Reimport des Transports zu einem späteren Zeitpunkt planen möchten, wählen Sie Transportanfragen in der Warteschlange für einen späteren Import belassen und Transportanfragen noch einmal importieren aus. Dies ist nützlich für SAP-Systemupgrades und Sicherungswiederherstellungen.

  10. Klicken Sie auf Weiter.

  11. Verwenden Sie zum Prüfen des Imports Transaktionen wie SE80 oder SU01.

Option 2: Transportanfragedateien auf Betriebssystemebene importieren
  1. Melden Sie sich im SAP-System als SAP-Systemadministrator an.

  2. Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu, indem Sie den folgenden Befehl ausführen:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Beispiel: tp addtobuffer IB1K903958 DD1

  3. Importieren Sie die Transportanfragen mit dem folgenden Befehl:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Ersetzen Sie NNN durch die Clientnummer. Beispiel: tp import IB1K903958 DD1 client=800 U1238

  4. Prüfen Sie mit den entsprechenden Transaktionen wie SE80 und SU01, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Liste der filterbaren Spalten für einen SAP-Katalogdienst abrufen

Für das Filtern von Bedingungen können nur einige DataSource-Spalten verwendet werden. Dies ist eine SAP-Einschränkung.

So rufen Sie eine Liste der filterbaren Spalten für einen SAP-Katalogdienst ab: Schritte:

  1. Melden Sie sich im SAP-System an.
  2. Rufen Sie den T-Code SEGW auf.

  3. Geben Sie den Namen des OData-Projekts ein. Dies ist eine Teilzeichenfolge des Dienstnamens. Beispiel:

    • Dienstname: MM_PUR_POITEMS_MONI_SRV
    • Projektname: MM_PUR_POITEMS_MONI

  4. Drücken Sie die Eingabetaste.

  5. Rufen Sie die Entität auf, die Sie filtern möchten, und wählen Sie Eigenschaften aus.

    Sie können die in den Eigenschaften angezeigten Felder als Filter verwenden. Unterstützte Vorgänge sind Gleich und Zwischen (Bereich).

    Attribute in SAP

Eine Liste der in der Ausdruckssprache unterstützten Operatoren finden Sie im offenen Quelldokumentation: URI Conventions (OData Version 2.0) (URI-Konventionen (OData Version 2.0)).

Beispiel-URI mit Filtern:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

SAP ERP-System konfigurieren

<ph type="x-smartling-placeholder">

Das SAP OData-Plug-in verwendet einen OData-Dienst, der aktiviert ist auf jeden SAP-Server, aus dem die Daten extrahiert werden. Dieser OData-Dienst kann ein der von SAP bereitgestellt wird, oder einem benutzerdefinierten OData-Dienst, der auf Ihrem SAP-System entwickelt wurde.

Schritt 1: SAP Gateway 2.0 installieren

Der SAP-Administrator (Basis) muss prüfen, ob das SAP Gateway 2.0 Komponenten im SAP-Quellsystem verfügbar sind, je nach NetWeaver Veröffentlichung. Weitere Informationen zur Installation von SAP Gateway 2.0 finden Sie in SAP ONE Support Launchpad und siehe Hinweis 1569624 (Anmeldung erforderlich)

Schritt 2: OData-Dienst aktivieren

Aktivieren Sie den erforderlichen OData-Dienst im Quellsystem. Weitere Informationen Siehe Frontend-Server: OData-Dienste aktivieren

Schritt 3: Autorisierungsrolle erstellen

Um eine Verbindung zur DataSource herzustellen, erstellen Sie eine Autorisierungsrolle mit den erforderlichen Autorisierungen in SAP ein und gewähren sie dann dem SAP-Nutzer.

So erstellen Sie die Autorisierungsrolle in SAP:

  1. Geben Sie in der SAP-GUI den Transaktionscode PFCG ein, um das Fenster Rollenwartung zu öffnen.

  2. Geben Sie im Feld Rolle einen Namen für die Rolle ein.

    Beispiel: ZODATA_AUTH

  3. Klicken Sie auf Einzelne Rolle.

    Das Fenster Rollen erstellen wird geöffnet.

  4. Geben Sie eine Beschreibung in das Feld Beschreibung ein und klicken Sie auf Speichern.

    Beispiel: Authorizations for SAP OData plugin.

  5. Klicken Sie auf den Tab Autorisierungen. Der Titel des Fensters ändert sich in Rollen ändern.

  6. Klicken Sie unter Autorisierungsdaten bearbeiten und Profile generieren auf Autorisierungsdaten ändern.

    Das Fenster Vorlage auswählen wird geöffnet.

  7. Klicken Sie auf Vorlagen nicht auswählen.

    Das Fenster Rolle ändern: Autorisierungen wird geöffnet.

  8. Klicken Sie auf Manuell.

  9. Geben Sie die Berechtigungen in der folgenden SAP-Autorisierungstabelle an.

  10. Klicken Sie auf Speichern.

  11. Klicken Sie auf das Symbol Generieren, um die Autorisierungsrolle zu aktivieren.

SAP-Autorisierungen

Objektklasse Text der Objektklasse Autorisierungsobjekt Text des Autorisierungsobjekts Autorisierung Text Wert
AAAB Anwendungsübergreifende Autorisierungsobjekte S_SERVICE Beim Start externer Services prüfen SRV_NAME Name des Programm-, Transaktions- oder Funktionsmoduls *
AAAB Anwendungsübergreifende Autorisierungsobjekte S_SERVICE Beim Start externer Services prüfen SRV_TYPE Typ des Prüf-Flags und Standardwerts für die Autorisierung HT
FI Finanzbuchhaltung F_UNI_HIER Universeller Hierarchiezugriff ACTVT Aktivität 03
FI Finanzbuchhaltung F_UNI_HIER Universeller Hierarchiezugriff HRYTYPE Hierarchietyp *
FI Finanzbuchhaltung F_UNI_HIER Universeller Hierarchiezugriff HRYID Hierarchie-ID *

Zum Entwerfen und Ausführen einer Datenpipeline in Cloud Data Fusion (als die Cloud Data Fusion-Nutzer), benötigen Sie SAP-Nutzeranmeldedaten (Nutzername und Passwort), um das Plug-in für die Verbindung zur DataSource zu konfigurieren.

Der SAP-Nutzer muss vom Typ Communications oder Dialog sein. Um die Verwendung von SAP-Dialogressourcen – der Typ Communications wird empfohlen. Nutzende können die mit dem SAP-Transaktionscode SU01 erstellt wurden.

Optional: Schritt 4: Verbindung sichern

Sie können die Kommunikation über das Netzwerk zwischen Ihrem privaten Cloud Data Fusion-Instanz und SAP.

<ph type="x-smartling-placeholder">

So sichern Sie die Verbindung:

  1. Der SAP-Administrator muss ein X509-Zertifikat generieren. Um den erhalten Sie unter SSL-Server-PSE erstellen.
  2. Der Google Cloud-Administrator muss die X509-Datei in einen lesbaren Cloud Storage-Bucket im selben Projekt wie die Cloud Data Fusion-Instanz und geben Sie den Bucket-Pfad zur Cloud Data Fusion-Nutzer, der den Code beim Konfigurieren des Plug-ins eingibt.
  3. Der Google Cloud-Administrator muss dem Nutzer Lesezugriff auf die X509-Datei gewähren. Cloud Data Fusion-Nutzer, der Pipelines entwirft und ausführt.

Optional: Schritt 5: Benutzerdefinierte OData-Dienste erstellen

Sie können anpassen, wie Daten extrahiert werden, indem Sie benutzerdefinierte OData-Dienste erstellen in SAP:

  • Informationen zum Erstellen benutzerdefinierter OData-Dienste finden Sie unter Erstellen von OData-Diensten für Anfänger.
  • Informationen zum Erstellen benutzerdefinierter OData-Dienste mithilfe von CDS-Ansichten (Core Data Services) finden Sie unter OData-Dienst erstellen und CDS-Ansichten als OData-Dienst verfügbar machen
  • Jeder benutzerdefinierte OData-Dienst muss $top-, $skip- und $count-Abfragen unterstützen. Mit diesen Abfragen kann das Plug-in die Daten für die sequenzielle und parallele Extraktion partitionieren. Bei Verwendung müssen auch die Abfragen $filter, $expand oder $select unterstützt werden.

Cloud Data Fusion einrichten

<ph type="x-smartling-placeholder">

Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine weitere Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.

Schritt 1: Cloud Data Fusion-Umgebung einrichten

So konfigurieren Sie Ihre Cloud Data Fusion-Umgebung für das Plug-in:

  1. Rufen Sie die Instanzdetails auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

      Zur Seite „VM-Instanzen“

  2. Prüfen Sie, ob ein Upgrade der Instanz auf Version 6.4.0 oder höher durchgeführt wurde. Wenn die Instanz eine ältere Version hat, müssen Sie ein Upgrade ausführen.

  3. Klicken Sie auf Instanz ansehen. Wenn die Cloud Data Fusion-Benutzeroberfläche geöffnet wird, klicken Sie auf Hub

  4. Wählen Sie den Tab SAP &gt; SAP OData aus.

    Wenn der SAP-Tab nicht sichtbar ist, finden Sie weitere Informationen unter Fehlerbehebung bei SAP-Integrationen.

  5. Klicken Sie auf Deploy SAP OData Plugin (SAP OData-Plug-in bereitstellen).

    Das Plug-in wird jetzt auf der Studio-Seite im Menü Quelle angezeigt.

    OData im Menü „Quelle“ auf der Data Fusion Studio-Seite

Schritt 2: Plug-in konfigurieren

Das SAP OData-Plug-in liest den Inhalt einer SAP DataSource.

Zum Filtern der Datensätze können Sie die folgenden Attribute auf der SAP OData-Seite „Properties“ konfigurieren.

Eigenschaft Beschreibung
Einfach
Referenzname Name, mit dem diese Quelle für die Herkunft eindeutig identifiziert wird Anmerkungen zu Metadaten usw.
URL der SAP OData-Basis OData-Base-URL von SAP Gateway (verwenden Sie den vollständigen URL-Pfad, ähnlich wie https://ADDRESS:PORT/sap/opu/odata/sap/.
OData-Version Unterstützte SAP OData-Version.
Dienstname Name des SAP OData-Dienstes, aus dem Sie eine Datei extrahieren möchten Entität.
Name der Entität Name der Entität, die extrahiert wird, z. B. Results. Sie können ein Präfix wie C_PurchaseOrderItemMoni/Results verwenden. Dieses Feld unterstützt Kategorie- und Entitätsparameter. Beispiele:
  • Ein Parameter für die Kategorie: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Ein Parameter für die Entität: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Parameter für Kategorie und Entität: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Schaltfläche Get Schema (Schema abrufen) Generiert ein Schema basierend auf den Metadaten aus SAP mit automatischer Zuordnung von SAP-Datentypen zu entsprechenden Cloud Data Fusion-Daten (dieselbe Funktion wie die Schaltfläche Validieren).
Anmeldedaten*
SAP-Typ Einfach (über Nutzername und Passwort).
Nutzername für SAP-Anmeldung SAP-Nutzername
empfohlen: wenn der SAP-Anmeldenutzername sich regelmäßig ändert, verwenden Sie Makro.
SAP-Anmeldepasswort SAP-Nutzerpasswort
Empfohlen: Verwenden sichere Makros für sensible Werte wie Passwörter.
SAP X.509-Clientzertifikat
(siehe X.509-Clientzertifikate unter SAP NetWeaver verwenden Anwendungsserver für ABAP.
GCP-Projekt-ID Eine global eindeutige Kennung für Ihr Projekt. Dieses Feld muss ausgefüllt werden. der Cloud Storage-Pfad für das X.509-Zertifikat enthält keinen Makrowert.
GCS-Pfad Der Pfad zum Cloud Storage-Bucket, der die vom Nutzer hochgeladenen Daten enthält X.509-Zertifikat, das dem SAP-Anwendungsserver für sichere Anrufe basierend auf Ihren Anforderungen (siehe Verbindung sichern).
Passphrase Passphrase für das bereitgestellte X.509-Zertifikat
Erweitert
Filteroptionen Gibt den Wert an, den ein Feld gelesen werden muss. Diesen Filter verwenden , um das Ausgabedatenvolumen zu begrenzen. Beispiel: „Preis Gt 200“ Wählt die Datensätze mit einem Wert im Feld "Preis" größer als "200" aus. (Siehe Liste der filterbaren Spalten für ein SAP-Objekt abrufen Katalogdienst.
Felder auswählen Felder, die in den extrahierten Daten beibehalten werden sollen (z. B. Kategorie, Preis, Name, Lieferant/Adresse).
Felder erweitern Liste der komplexen Felder, die in den extrahierten Ausgabedaten erweitert werden sollen (z. B. Produkte/Lieferanten).
Anzahl der zu überspringenden Zeilen Gesamtzahl der zu überspringenden Zeilen (z. B. 10).
Anzahl der abzurufenden Zeilen Gesamtzahl der zu extrahierenden Zeilen.
Anzahl der zu generierenden Splits Die Anzahl der Splits, die zum Partitionieren der Eingabedaten verwendet werden. Weitere Partitionen den Grad der Parallelität erhöhen, aber auch mehr Ressourcen und koordiniert.
Wenn Sie das Feld leer lassen, wählt das Plug-in einen optimalen Wert aus (empfohlen).
Batchgröße Anzahl der Zeilen, die in jedem Netzwerkaufruf an SAP abgerufen werden sollen. Eine geringe Größe führt zu Häufige Netzwerkaufrufe, die den zugehörigen Overhead wiederholen. Ein großes Format kann den Datenabruf verlangsamen und eine übermäßige Ressourcennutzung in SAP verursachen. Wenn der Wert auf 0 festgelegt ist, ist der Standardwert 2500 und das Limit der abzurufenden Zeilen pro Batch liegt bei 5000

<ph type="x-smartling-placeholder"></ph> * Makros werden in den Anmeldedaten unterstützt Eigenschaften. Damit können Sie Ihre SAP-Verbindungen zentral verwalten. Für Sie können Werte zur Laufzeit entweder mit Laufzeitparametern oder einem Argument-Setter-Plug-in

Unterstützte OData-Typen

Die folgende Tabelle zeigt die Zuordnung zwischen OData v2-Datentypen die in SAP-Anwendungen und Cloud Data Fusion-Datentypen verwendet werden.

OData-Typ Beschreibung (SAP) Datentyp „Cloud Data Fusion“
Numerisch
SByte Vorzeichenbehafteter 8-Bit-Ganzzahlwert int
Byte Vorzeichenloser 8-Bit-Ganzzahlwert int
Int16 Vorzeichenbehafteter 16-Bit-Ganzzahlwert int
Int32 Vorzeichenbehafteter 32-Bit-Ganzzahlwert int
INT64 Vorzeichenbehafteter 64-Bit-Ganzzahlwert, an den das Zeichen „L“ angehängt wird
Beispiele: 64L, -352L		 long
Einzelner Gleitkommazahl mit siebenstelliger Genauigkeit, die Werte darstellen kann mit einem ungefähren Bereich von ± 1,18e -38 bis ± 3,40e +38, addiert mit dem Zeichen „f“
Beispiel: 2.0f		 float
Doppelt Gleitkommazahl mit 15-stelliger Genauigkeit, die Werte darstellen kann mit ungefähren Bereichen von ± 2,23e -308 bis ± 1,79e +308, angehängt. mit dem Zeichen „d“
Beispiele: 1E+10d, 2.029d, 2.0d		 double
Dezimal Numerische Werte mit fester Genauigkeit und Skalierung, die einen numerischen Wert beschreiben im Bereich von minus 10^255 + 1 bis positiv 10^255 -1, angehängt mit Zeichen: 'M' oder „m“
Beispiel: 2.345M		 decimal
Zeichen
Anleitung Ein eindeutiger 16-Byte-(128-Bit)-ID-Wert, beginnend mit Zeichen: 'guid'
Beispiel: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
String In UTF-8 codierte Zeichendaten mit fester oder variabler Länge string
Byte
Binär Binärdaten mit fester oder variabler Länge, die mit „X“ beginnen oder 'binär' [binär] (Groß- und Kleinschreibung wird berücksichtigt)
Beispiel: X'23AB', binary'23ABFF'		 bytes
Logisch
Boolesch Mathematisches Konzept der binärwertigen Logik boolean
Datum/Uhrzeit
Datum/Uhrzeit Datum und Uhrzeit mit Werten zwischen 00:00:00 Uhr am 1. Januar 1753 und 23:59:59 Uhr am 31. Dezember 9999 timestamp
Zeit Tageszeit mit Werten im Bereich von 0:00:00.x bis 23:59:59.y, wobei „x“ und „y“ von Precision abhängig. time
DateTimeOffset Datum und Uhrzeit als Offset in Minuten von GMT mit Werten zwischen von 00:00:00 Uhr am 1. Januar 1753 bis 23:59:59 Uhr, 31. Dezember 9999 timestamp
Komplex
Navigations- und Nicht-Navigationseigenschaften (Multiplizität = *) Sammlungen eines einfachen Typs mit mehreren 1:n-Beziehungen. array,
string,
int usw.
Eigenschaften (Multiplizität = 0,1) Verweise auf andere komplexe Typen mit einer Vielzahl von 1:1-Beziehungen record

Validierung

Klicken Sie oben rechts auf Validieren oder Schema abrufen.

Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.

Datenpipeline ausführen

  1. Nachdem Sie die Pipeline bereitgestellt haben, klicken Sie im oberen Bereich der Seitenleiste auf Konfigurieren.
  2. Wählen Sie Ressourcen aus.
  3. Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
  4. Klicken Sie auf Speichern.
  5. Klicken Sie zum Starten der Datenpipeline auf Ausführen.

Leistung

Das Plug-in verwendet die Parallelisierungsfunktionen von Cloud Data Fusion. Die folgenden Richtlinien können dabei helfen, die Laufzeitumgebung zu konfigurieren, damit die Laufzeit-Engine genügend Ressourcen bereitstellt, um den gewünschten Grad an Parallelität und Leistung zu erreichen.

Plug-in-Konfiguration optimieren

Empfohlen:Wenn Sie nicht mit den Behalten Sie in den Speichereinstellungen Ihres SAP-Systems den Wert unter Number of Splits to Generate (Anzahl der zu generierenden Splits) bei. und Batch-Größe leer (nicht angegeben).

Verwenden Sie Folgendes, um die Leistung beim Ausführen Ihrer Pipeline zu verbessern: Konfigurationen:

  • Anzahl der zu generierenden Aufteilungen: Die Werte zwischen 8 und 16 sind wird empfohlen. Sie können jedoch auf 32 oder sogar 64 erhöht werden, wobei geeignete Konfigurationen auf der SAP-Seite (die Zuweisung von entsprechendem Arbeitsspeicher Ressourcen für die Arbeitsprozesse in SAP). Diese Konfiguration verbessert Parallelität der Cloud Data Fusion-Seite. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Datensätze.

    • Wenn der Konfigurationsdienst, der beim Importieren der SAP-Transportdatei im Plug-in enthalten ist, verfügbar ist, verwendet das Plug-in standardmäßig die Konfiguration des SAP-Systems. Die Aufteilungen machen 50% der verfügbaren Prozesse für den Dialog in SAP aus. Hinweis: Der Konfigurationsdienst kann nur aus S4HANA-Systemen importiert werden.

    • Wenn der Konfigurationsdienst nicht verfügbar ist, werden standardmäßig 7-Aufteilungen verwendet.

    • Wenn Sie einen anderen Wert angeben, hat der angegebene Wert in beiden Fällen Vorrang vor dem standardmäßigen Aufteilungswert, außer dass er durch die verfügbaren Dialogprozesse in SAP begrenzt wird, abzüglich zwei Aufteilungen.

    • Wenn die Anzahl der Datensätze, Extrakt kleiner als 2500 ist, ist die Anzahl der Splits 1.

  • Batchgröße: die Anzahl der Datensätze, die in jedem Netzwerk abgerufen werden sollen an SAP zu senden. Eine kleinere Batchgröße führt zu häufigen Netzwerkaufrufen, den damit verbundenen Aufwand. Standardmäßig ist die Mindestanzahl 1000 und der Wert Der Höchstwert ist 50000.

Weitere Informationen finden Sie unter Limits für OData-Entitäten.

Cloud Data Fusion-Ressourceneinstellungen

Empfohlen: Verwenden Sie pro Executor 1 CPU und 4 GB Arbeitsspeicher (dieser Wert) für jeden Executor-Prozess gilt). Legen Sie diese im Dialogfeld > Ressourcen konfigurieren fest.

Ressourceneinstellungen im Konfigurationsfenster von Cloud Data Fusion optimieren

Dataproc-Clustereinstellungen

Empfohlen: Weisen Sie mindestens insgesamt CPUs (für alle Worker) zu, die größer als vorgesehen sind Anzahl der Splits (siehe Plug-in-Konfiguration)

Jedem Worker müssen pro CPU mindestens 6,5 GB Arbeitsspeicher in der Dataproc-Einstellungen (davon sind mindestens 4 GB verfügbar) pro Cloud Data Fusion-Executor). Andere Einstellungen können auf der Standardeinstellung beibehalten werden. Werte.

Empfohlen: Verwenden Sie einen persistenten Dataproc-Cluster, um den Datenpipeline-Laufzeit. Dadurch entfällt der Schritt "Bereitstellung", der möglicherweise ein paar Minuten oder länger). Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.

Beispielkonfigurationen und Durchsatz

Beispiele für Entwicklungs- und Testkonfigurationen

  • Dataproc-Cluster mit 8 Workern mit jeweils 4 CPUs und 26 GB Arbeitsspeicher. Sie können bis zu 28 Aufteilungen generieren.
  • Dataproc-Cluster mit 2 Workern mit jeweils 8 CPUs und 52 GB Arbeitsspeicher. Es lassen sich bis zu zwölf Aufteilungen generieren.

Beispiele für Produktionskonfigurationen und Durchsatz

  • Dataproc-Cluster mit 8 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher. Bis zu 32 Splits generieren (die Hälfte der verfügbaren CPUs).
  • Dataproc-Cluster mit 16 Workern mit jeweils 8 CPUs und 32 GB Arbeitsspeicher. Generieren Sie bis zu 64 Splits (die Hälfte der verfügbaren CPUs).

Stichprobendurchsatz für ein SAP S4HANA 1909-Produktionsquellsystem

Die folgende Tabelle enthält einen Beispieldurchsatz. Der angezeigte Durchsatz ist ohne Filter Optionen, sofern nicht anders angegeben. Bei Verwendung von Filteroptionen ist der Durchsatz reduziert.

Batchgröße Splits OData-Dienst Zeilen insgesamt Zeilen extrahiert Durchsatz (Zeilen pro Sekunde)
1000 4 ZACDOCA_CDS 5,37 Mio. 5,37 Mio. 1069
2.500 10 ZACDOCA_CDS 5,37 Mio. 5,37 Mio. 3384
5.000 8 ZACDOCA_CDS 5,37 Mio. 5,37 Mio. 4.630
5.000 9 ZACDOCA_CDS 5,37 Mio. 5,37 Mio. 4817

Stichprobendurchsatz für ein SAP S4HANA-Cloud-Produktionsquellsystem

Batchgröße Splits OData-Dienst Zeilen insgesamt Zeilen extrahiert Durchsatz (GB/Stunde)
2.500 40 TEST_04_UOM_ODATA_CDS/ 201 Mio. 10 Mio. 25,48
5.000 50 TEST_04_UOM_ODATA_CDS/ 201 Mio. 10 Mio. 26,78

Supportdetails

Unterstützte SAP-Produkte und -Versionen

  • Unterstützte Quellen sind SAP S4/HANA 1909 und höher, S4/HANA in SAP Cloud und jede SAP-Anwendung, die OData-Dienste verfügbar machen kann.

  • Die Transportdatei, die den benutzerdefinierten OData-Dienst für das Load-Balancing der Aufrufe an SAP enthält, muss in S4/HANA 1909 oder höher importiert werden. Der Dienst hilft bei der Berechnung der Anzahl der Splits (Datenpartitionen), die das Plug-in parallel lesen kann (siehe Anzahl der Splits).

  • OData Version 2 wird unterstützt.

  • Das Plug-in wurde mit SAP S/4HANA-Servern getestet, die in Google Cloud bereitgestellt wurden.

SAP OData Catalog Services werden für die Extraktion unterstützt

Das Plug-in unterstützt die folgenden DataSource-Typen:

  • Transaktionsdaten
  • CDS-Ansichten, die über OData bereitgestellt werden

  • Masterdaten

    • Attribute
    • Texte
    • Hierarchien

SAP-Hinweise

Vor der Extraktion sind keine SAP-Hinweise erforderlich, aber im SAP-System muss SAP Gateway verfügbar sein. Weitere Informationen finden Sie unter Note 1560585 Für diese externe Website ist eine SAP-Anmeldung erforderlich.

Limits für das Datenvolumen oder die Eintragsbreite

Das Volumen der extrahierten Daten ist nicht begrenzt. Wir haben mit bis zu 6 Millionen Zeilen in einem Aufruf extrahiert, mit einer Rekordbreite von 1 KB. Wir haben SAP S4/HANA in der Cloud mit bis zu 10 Millionen Zeilen mit einer Datensatzbreite von 1 KB extrahiert.

Erwarteter Plug-in-Durchsatz

Für eine Umgebung, die gemäß den Richtlinien im Leistung können Sie mit dem Plug-in etwa 38 GB pro Stunde. Die tatsächliche Leistung kann mit Cloud Data Fusion und SAP variieren Systemlasten oder Netzwerkverkehr.

Delta-Extraktion (geänderte Daten)

Die Delta-Extraktion wird nicht unterstützt.

Fehlerszenarien

Während der Laufzeit schreibt das Plug-in Logeinträge in die Cloud Data Fusion-Datenpipeline Protokoll. Diese Einträge haben das Präfix CDF_SAP, um sie leicht zu identifizieren.

Wenn Sie die Plug-in-Einstellungen überprüfen, werden Meldungen bei der Entwicklung in Eigenschaften und sind rot markiert.

In der folgenden Tabelle sind einige häufige Fehlermeldungen aufgeführt. Der Text in wird durch tatsächliche Werte zur Laufzeit ersetzt werden:

Nachrichten-ID Meldung Empfohlene Maßnahmen
Keine Erforderliche Property "" für Verbindung Geben Sie ein. Geben Sie einen tatsächlichen Wert oder eine Makrovariable ein.
Keine Ungültiger Wert für Property "". Geben Sie eine nicht negative ganze Zahl ein (0 oder größer, ohne Dezimalzahl) oder Makro-Variable.
CDF_SAP_ODATA_01505 Das Ausgabeschema von Cloud Data Fusion konnte nicht vorbereitet werden. Bitte überprüfe die hat den Wert der Laufzeitmakros angegeben. Überprüfen Sie, ob die angegebenen Makrowerte korrekt sind.
– SAP X509-Zertifikat „<UI input in GCS Path>“ fehlt. Bitte stellen Sie sicher, dass das erforderliche X509-Zertifikat Google Cloud Storage-Bucket '<GCS bucket name>'. Prüfen Sie, ob der angegebene Cloud Storage-Pfad korrekt ist.
CDF_SAP_ODATA_01532 Allgemeiner Fehlercode für alle Probleme im Zusammenhang mit SAP OData-Konnektivitätsproblemen
Angegebener SAP OData-Dienst konnte nicht aufgerufen werden. Ursache: <SAP OData Ursache der Dienstmeldung>		 Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01534 Allgemeiner Fehlercode für alle Fragen im Zusammenhang mit dem SAP OData-Dienstfehler.
Dienstvalidierung fehlgeschlagen. Ursache: <sAP OData-Dienststamm Grund für Nachricht></s		 Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01503 Fehler beim Abrufen der Gesamtzahl der verfügbaren Datensätze von <SAP OData-Dienst Entitätsname>. Ursache: <Grundursache des SAP Odata-Dienstes Nachricht> Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01506 Keine zu extrahierenden Einträge in <SAP OData service entity name>. Die angegebene Entität muss Datensätze enthalten. Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01537 Die Datensätze für <Name der Entitätsname des SAP OData-Dienstes> konnten nicht verarbeitet werden. Ursache: <Nachricht zur Ursache des SAP OData-Dienstes> Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01536 Fehler beim Abrufen der Datensätze von <Name der Entität des SAP OData-Dienstes>. Stamm Ursache: <Nachricht zur Ursache des SAP OData-Dienstes> Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01504 Der codierte Metadatenstring für den angegebenen OData-Dienst konnte nicht generiert werden <SAP OData-Dienstname>. Ursache: <SAP OData-Dienststammstamm Grund für die Meldung> Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.
CDF_SAP_ODATA_01533 Fehler beim Decodieren der Metadaten aus dem angegebenen codierten Metadatenstring für Dienst <SAP OData-Dienstname>. Ursache: <SAP OData Ursache der Dienstmeldung> Sehen Sie sich die in der Mitteilung angegebene Ursache an und ergreifen Sie entsprechende Maßnahmen. Aktion ausführen.

Nächste Schritte