SAP Table Batch Source-Plug-in verwenden

In dieser Anleitung wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das Batch Source-Plug-in SAP Table verwenden.

Das Plug-in SAP Source Batch Source ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen in Cloud Data Fusion. Sie können Bulk-Datenübertragungen aus SAP-Tabellen und -Ansichten ohne Programmierung konfigurieren und ausführen.

Weitere Informationen zu unterstützten SAP-Anwendungen, -Tabellen und -Ansichten finden Sie unter FAQ. Weitere Informationen zu SAP in Google Cloud finden Sie in der Übersicht über SAP in Google Cloud.

Ziele

  • SAP-ERP-System konfigurieren (SAP-Transport installieren)
  • Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
  • Erstellen Sie mit Cloud Data Fusion und SAP Table Batch Source Datenpipelines für die Integration von SAP-Daten.

Hinweis

Um dieses Plug-in verwenden zu können, benötigen Sie Fachkenntnisse in folgenden Bereichen:

Nutzerrollen

Die Konfigurationsaufgaben auf dieser Seite erfordern Änderungen in Ihrem SAP-System und in Google Cloud. Sie müssen mit den Administratoren für diese Systeme zusammenarbeiten, um die Konfigurationen durchzuführen.

Tabelle 1: Nutzerrollen

Nutzertyp Beschreibung
SAP-Administrator Nutzer, denen diese Rolle zugewiesen ist, sind Administratoren des SAP-Systems. Dieser Nutzer hat Zugriff auf die SAP-Dienstwebsite zum Herunterladen von Software.
GCP-Administrator Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten.
CDF-Nutzer Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen.
SAP-Nutzer Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, eine Verbindung zu einem SAP-System herzustellen.

SAP ERP-System konfigurieren

Die Batchquelle von SAP-Tabellen verwendet ein Remote Function Module (RFM), das auf jedem SAP-Server installiert werden muss, auf dem Daten extrahiert werden. Diese RFM wird als SAP-Transport bereitgestellt.

So konfigurieren Sie Ihr SAP-System:

  1. Der Cloud Data Fusion-Nutzer muss die ZIP-Datei mit dem SAP-Transport herunterladen und dem SAP-Administrator zur Verfügung stellen. Klicken Sie zum Herunterladen auf den Link im Plug-in im Hub. Siehe Cloud Data Fusion einrichten.
  2. Der SAP-Administrator muss den SAP-Transport in das SAP-System importieren und die erstellten Objekte prüfen. Weitere Informationen zur Installation finden Sie unter SAP-Transport installieren.

SAP-Transport installieren

Die SAP-Komponenten sind zum Entwerfen und Ausführen von Datenpipelines in Cloud Data Fusion erforderlich. Sie werden als SAP-Transportdateien gesendet, die als ZIP-Datei archiviert werden (eine Transportanfrage, die aus einer Cofile und einer Datendatei besteht).

Die Transportanfrage-ID und die zugehörigen Dateien finden Sie in der folgenden Tabelle:

Tabelle 2: SAP-Transport

Transport-ID Cofile Datendatei
ABAK900043 K900043.ABA R900043.ABA,

Nachdem der Transport in das SAP-System importiert wurde, prüfen Sie, ob das RFC-fähige Funktionsmodul /GOOG/RFC_READ_TABLE erstellt wurde.

So installieren Sie den SAP-Transport:

Schritt 1: Transportanfragedateien hochladen

  1. Melden Sie sich beim SAP-System als SAP-Systemadministrator an.
  2. Kopieren Sie die Cofile in den Ordner /usr/sap/trans/cofiles.
  3. Kopieren Sie die Datendatei in den Ordner /usr/sap/trans/data.

Schritt 2: Transportanfragedateien importieren

Der SAP-Administrator kann die Dateien mit den Transportanfragen mit einer der folgenden Optionen importieren:

Option 1: Transportanfragedateien mit dem SAP-Transportverwaltungssystem importieren
  1. Melden Sie sich im SAP-System als SAP-Administrator an.
  2. Geben Sie die Transaktions-STMS ein.
  3. Klicken Sie auf Übersicht > Importe.
  4. Klicken Sie in der Spalte "Warteschlange" doppelt auf die aktuelle SID.
  5. Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
  6. Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
  7. Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
  8. Geben Sie die Clientnummer ein.
  9. Wählen Sie auf dem Tab Optionen die Optionen Originale überschreiben und Ungültige Komponentenversion ignorieren aus (falls verfügbar).

    (Optional) Wenn Sie einen neuen Import der Transportdaten für einen späteren Zeitpunkt planen möchten, wählen Sie Transportanfragen in der Warteschlange für späteren Import lassen und Transportanfragen noch einmal importieren aus. Dies ist nützlich für SAP-Systemupgrades und Sicherungswiederherstellungen.

  10. Klicken Sie auf Weiter.

  11. Prüfen Sie den Import mit einer beliebigen Transaktion wie SE80 und SU01.

Option 2: Transportanfragedateien auf Betriebssystemebene importieren
  1. Melden Sie sich beim SAP-System als SAP-Systemadministrator an.
  2. Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu. Führen Sie dazu den folgenden Befehl aus:

    tp addtobuffer TRANSPORT_REQUEST_ID SID
    

    Beispiel: tp addtobuffer IB1K903958 DD1

  3. Importieren Sie die Transportanfragen mit dem folgenden Befehl:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
    

    Ersetzen Sie NNN durch die Clientnummer. Beispiel: tp import IB1K903958 DD1 client=800 U1238

  4. Prüfen Sie mit geeigneten Transaktionen wie SE80 und SU01, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Erforderliche SAP-Autorisierungen

Zum Ausführen einer Datenpipeline in Cloud Data Fusion benötigen Sie einen SAP-Nutzer. Der SAP-Nutzer muss den Typ Communications oder Dialog haben. Der Typ Communications wird empfohlen, um die Verwendung von SAP-Dialogressourcen zu vermeiden. Nutzer können mit dem SAP-Transaktionscode SU01 erstellt werden.

So erstellen Sie die Autorisierungsrolle in SAP:

  1. Geben Sie in der SAP-GUI den Transaktionscode PFCG ein, um das Fenster Rollenwartung zu öffnen.
  2. Geben Sie im Feld Rolle einen Namen für die Rolle ein.

    Beispiel: zcdf_role

  3. Klicken Sie auf Einzelne Rolle.

    Das Fenster Rollen erstellen wird geöffnet.

  4. Geben Sie im Feld Beschreibung eine Beschreibung ein und klicken Sie auf Speichern.

    Beispiel: Authorizations for Cloud Data Fusion SAP Table plugin.

  5. Klicken Sie auf den Tab Autorisierungen. Der Titel des Fensters ändert sich in Rollen ändern.

  6. Klicken Sie unter Autorisierungsdaten bearbeiten und Profile generieren auf Autorisierungsdaten ändern.

    Das Fenster Vorlage auswählen wird geöffnet.

  7. Klicken Sie auf Keine Vorlagen auswählen.

    Das Fenster Rolle ändern: Autorisierungen wird geöffnet.

  8. Klicken Sie auf Manuell.

  9. Geben Sie die Autorisierungen an, die in der folgenden SAP-Autorisierungstabelle angezeigt werden.

  10. Klicken Sie auf Speichern.

  11. Klicken Sie auf das Symbol Generate (Generieren), um die Autorisierungsrolle zu aktivieren.

Tabelle 3: SAP-Autorisierungen

Objektklasse Text der Objektklasse Autorisierungsobjekt Autorisierungsobjekttext Autorisierung Text Wert
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC. Anwendungsübergreifende Autorisierungsobjekte RFC_TYPE Typ des RFC-Objekts, auf das Zugriff gewährt werden soll WISSENSWERT
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC. Anwendungsübergreifende Autorisierungsobjekte RFC_NAME Name des RFC-Objekts, auf das der Zugriff zulässig ist DDIF_FIELDINFO_GET,
RFCPING,
RFC_GET_FUNCTION_INTERFACE,
/GOOG/RFC_READ_TABLE,
SAPTUNE_GET_summary_STATISTIC,
TH_WPINFO
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC. Anwendungsübergreifende Autorisierungsobjekte Logo: ACTVT Aktivität 16
AAAB Anwendungsübergreifende Autorisierungsobjekte S_TCODE Prüfung des Transaktionscodes beim Start der Transaktion TCD Transaktionscode SM50
BC_A Grundlage: Verwaltung S_TABU_NAM (S_TABU_NAM) Tabellenzugriff durch generische Standardtools Logo: ACTVT Aktivität 03
BC_A Grundlage: Verwaltung S_TABU_NAM (S_TABU_NAM) Tabellenzugriff durch generische Standardtools TABELLE Tabellenname *
BC_A Grundlage: Verwaltung S_ADMI_FCD Systemautorisierungen S_ADMI_FCD Systemverwaltungsfunktion ST0

Cloud Data Fusion einrichten

Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Führen Sie unbedingt die Schritte zum Netzwerk-Peering für private Cloud Data Fusion-Instanzen aus.

So konfigurieren Sie die Cloud Data Fusion-Umgebung für das Plug-in:

  1. Der Cloud Data Fusion-Nutzer muss das Batch Source-Plug-in SAP Table Batch vom Hub herunterladen. Das Plug-in ist ab Version 6.3.0 verfügbar.

    1. Optional: Wenn Sie vor dem 22. März 2021 eine Instanz mit der Version 6.3.0 erstellt haben, wird das Plug-in eventuell nicht im Hub angezeigt. Führen Sie den folgenden Befehl aus, um sie zu aktivieren.

      Verwenden Sie die Variable HUB_URLS für den SAP Hub. Wenn Sie den Healthcare-Beschleuniger verwenden, fügen Sie die Variable HUB_URLS ein. Weitere Informationen finden Sie in den Kommentaren im Befehl.

      # Enter values for these variables
      PROJECT=PROJECT_ID
      REGION=REGION_CODE
      INSTANCE=INSTANCE
      
      # Select one of the following HUB_URLS
      HUB_URLS="https://hub-cdap-io.storage.googleapis.com/sap-hub"
      # HUB_URLS="https://hub-cdap-io.storage.googleapis.com/sap-hub+https://storage.googleapis.com/b999ec76-9e36-457b-bf30-753cb13a8c98" # Uncomment this line if the Healthcare accelerator is enabled
      
      # Run these commands (NOTE: This restarts your instance after the update)
      curl -X PATCH -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://datafusion.googleapis.com/v1/projects/$PROJECT/locations/$REGION/instances/$INSTANCE -d "{ 'options':{'market.base.urls':\"$HUB_URLS\"}}"
      sleep 300 # Wait for update operation to succeed
      curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" https://datafusion.googleapis.com/v1/projects/$PROJECT/locations/$REGION/instances/$INSTANCE:restart
      
    2. Klicken Sie auf HUB und wählen Sie den Tab SAP aus.

    3. Stellen Sie das Batch Source-Plug-in für SAP Table bereit.

  2. Prüfen Sie, ob das Plug-in in der Palette im Abschnitt "Source" (Quelle) angezeigt wird.

  3. Der SAP-Administrator muss die folgenden JCo-Artefakte von der SAP-Support-Website herunterladen und dem GCP-Administrator zur Verfügung stellen.

    Die unterstützte Mindestversion von JCo ist 3.1.2.

    • Eine plattformunabhängige Ausführung (sapjco3.jar)
    • Eine plattformabhängige (libsapjco3.so)

    So laden Sie die Dateien herunter:

    1. Gehen Sie zu SAP-Connectors.
    2. Klicken Sie auf SAP Java Connector/Tools and Services. Sie finden plattformspezifische Links für den Download.
    3. Wählen Sie die Plattform aus, auf der Ihre CDF-Instanz ausgeführt wird:
      1. Wenn Sie für die VMs in Ihrem Cluster Standard-Google Cloud-Images verwenden (Standardeinstellung für Cloud Data Fusion), wählen Sie Linux für Intel-kompatible 66-Bit-Prozessoren aus.
      2. Wenn Sie ein benutzerdefiniertes Image verwenden, wählen Sie die entsprechende Plattform aus.
  4. Der GCP-Administrator muss die JCo-Dateien in einen lesbaren Cloud Storage-Bucket kopieren. Geben Sie dem Cloud Data Fusion-Nutzer den Bucket-Pfad an.

  5. Der GCP-Administrator muss dem Cloud Data Fusion-Dienstkonto für die Designumgebung und dem Dataproc-Dienstkonto für die Ausführungsumgebung Lesezugriff für die beiden Dateien gewähren. Weitere Informationen finden Sie unter Cloud Data Fusion-Dienstkonten.

  6. Der Bucket-Pfad muss im entsprechenden Plug-in-Attribut SAP JCo Library GCS Path angegeben werden.

Plug-in konfigurieren

Das Plug-in SAP Table Batch Source liest den Inhalt einer SAP-Tabelle oder -Ansicht. Weitere Unterstützung finden Sie im Abschnitt "FAQ". Es stehen verschiedene Filteroptionen zur Verfügung. Der folgende Screenshot zeigt alle im Plug-in verfügbaren Attribute:

SAP-Tabellenattribute

Sie können die folgenden Attribute für die Batchquelle der SAP-Tabelle konfigurieren.

Basic

Referenzname: Name zur eindeutigen Identifizierung dieser Quelle für die Herkunft, zum Annotieren von Metadaten usw.
SAP-Client: Der zu verwendende SAP-Client. (z. B. 100.
SAP-Sprache: SAP-Anmeldesprache (z.B. EN.
Verbindungstyp: SAP-Verbindungstyp (direkt oder Load-Balancing). Wenn Sie einen Typ auswählen, werden die folgenden verfügbaren Felder geändert:

Für direkte Verbindungen

SAP Application Server Host: Der Name oder die IP-Adresse des SAP-Servers.
SAP-Systemnummer: Die SAP-Systemnummer (z.B. 00).
SAP Router: Der Routerstring.

Für Load-Balancing

SAP Message Server Host: Name oder IP-Adresse des SAP Message Server.
SAP Message Server Service oder Portnummer: Der SAP Message Server-Service oder die Portnummer (z.B. sapms02.
SAP-System-ID (SID): Die SAP-System-ID (z.B. N75.
SAP-Anmeldegruppenname: Der SAP-Anmeldegruppenname (z.B. PUBLIC.
SAP-Tabellen-/Ansichtsname: Der Name der SAP-Tabelle/Ansicht (z.B. MARA).

Schaltfläche Schema abrufen: Das Plug-in generiert ein Schema auf der Grundlage der SAP-Metadaten, mit automatischer Zuordnung der SAP-Datentypen zu den entsprechenden Cloud Data Fusion-Datentypen (gleiche Funktion wie Validieren).

Anmeldedaten

Nutzername für SAP-Anmeldung: SAP-Nutzername Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort: SAP-Nutzerpasswort. Empfohlen: Verwenden Sie sichere Makros für sensible Werte wie Nutzerpasswort.

Details zu SAP JCo

GCP-Projekt-ID: Google Cloud-Projekt-ID, die ein Projekt eindeutig identifiziert. Sie finden sie im Dashboard in der Google Cloud Console.
GCS-Pfad der SAP JCo-Bibliothek: der Cloud Storage-Pfad, der die vom Nutzer hochgeladenen SAP JCo-Bibliotheksdateien enthält.

Erweitert

Filteroptionen: Bedingungen, die in der OpenSQL-Syntax angegeben sind und als Filterbedingungen in der SQL-Klausel WHERE verwendet werden (z.B. KEY6 LT '25'). Datensätze können basierend auf Bedingungen extrahiert werden, z. B. bestimmte Spalten mit einem definierten Satz von Werten oder einem Wertebereich.

Number of Rows to Fetch (Anzahl der abzurufenden Zeilen): Hiermit wird die Anzahl der extrahierten Datensätze begrenzt. Geben Sie eine positive ganze Zahl ein. Wenn 0 oder leer gelassen wird, werden alle Datensätze aus der angegebenen Tabelle extrahiert. Wenn ein positiver Wert angegeben wird, der größer als die auf Grundlage der Filteroptionen verfügbare Anzahl von Einträgen ist, werden nur die verfügbaren Datensätze extrahiert.

Number of Splits to Generate: Hiermit können Sie Partitionen erstellen, um Tabellendatensätze parallel zu extrahieren. Geben Sie eine positive ganze Zahl ein. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) und extrahiert dabei die Tabelleneinträge. Seien Sie vorsichtig, wenn Sie dieses Attribut auf eine Zahl größer als 16 setzen, da eine höhere Parallelität die gleichzeitige Verbindung mit SAP erhöht. Werte zwischen 8 und 16 werden empfohlen.

Wenn der Wert 0 ist oder leer bleibt, wählt das System automatisch einen geeigneten Wert basierend auf der Anzahl der verfügbaren SAP-Arbeitsprozesse, den zu extrahierenden Datensätzen und der Paketgröße aus.

Paketgröße: Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Netzwerkextraktionsaufruf im Arbeitsspeicher speichert. Mehrere Datenpipelines, über die Daten extrahiert werden, können die Speicherauslastung maximieren und können aufgrund von Out of Memory-Fehlern zu Fehlern führen. Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen.

Geben Sie eine positive ganze Zahl ein. Wenn 0 oder leer gelassen wird, verwendet das Plug-in den Standardwert 70000 oder einen entsprechend berechneten Wert, wenn die Anzahl der zu extrahierenden Datensätze unter 70.000 liegt.

Wenn die Datenpipeline mit Out of Memory-Fehlern fehlschlägt, verringern Sie entweder die Paketgröße oder erhöhen Sie den für Ihre SAP-Arbeitsprozesse verfügbaren Speicher.

Datentypzuordnung

Tabelle 4: Zuordnung von SAP-Datentypen zu Cloud Data Fusion-Typen

ABAP-Typ Beschreibung (SAP) CDAP-Datentyp
Numerisch
b 1-Byte-Ganzzahl (INT1) INT
s 2-Byte-Ganzzahl (INT2) INT
i 4-Byte-Ganzzahl (INT4) INT
(int8)
8
8-Byte-Ganzzahl (INT8) LANG
p Verpackte Nummer im BCD-Format (DEC) DECIMAL
(decfloat16)
a
Dezimal-Gleitkomma mit 8 Byte IEEE 754r (DF16_DEC, DF16_RAW) DECIMAL
(decfloat34)
e
Dezimales Gleitkomma mit 16 Byte (IEEE 754r) (DF34_DEC, DF34_RAW) DECIMAL
f Binäre Gleitkommazahl (FLTP) DOUBLE
Zeichen
c Zeichenstring (CHAR/LCHR) STRING
string Zeichenstring (SSTRING, GEOM_EWKB) STRING
string Zeichenstring CLOB (STRING) BYTES
n Numerischer Text (NUMC/ACCP) STRING
Byte
x Binärdaten (RAW/LRAW) BYTES
xstring Byte string BLOB (RAWSTRING) BYTES
Datum/Uhrzeit
d Datum (DATS) DATE
t Zeit (TIMS) TIME
utclong/utcl Zeitstempel TIMESTAMP

Validierung

Klicken Sie rechts oben auf Validieren oder auf Schema abrufen.

Das Plug-in generiert ein Schema auf Basis der Metadaten aus SAP. SAP-Datentypen werden automatisch den entsprechenden Cloud Data Fusion-Datentypen zugeordnet.

Datenpipeline ausführen

  1. Nach der Bereitstellung der Pipeline klicken Sie im oberen mittleren Bereich auf Konfigurieren.
  2. Wählen Sie Ressourcen aus.
  3. Ändern Sie bei Bedarf die Werte Executor CPU und Memory anhand der gesamten Datengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
  4. Klicken Sie auf Speichern.
  5. Klicken Sie zum Starten der Datenpipeline auf Run (Ausführen).

Leistungsoptimierung

Das Plug-in verwendet die Parallelisierungsfunktionen von Cloud Data Fusion. Die folgenden Richtlinien helfen Ihnen bei der Konfiguration der Laufzeitumgebung, sodass die Laufzeit-Engine genügend Ressourcen bereitstellt, um die vorgesehene Parallelität und Leistung zu erreichen.

SAP-Konfiguration

Empfohlen: Verwenden Sie einen SAP Communication-Nutzer anstelle eines Dialognutzers (dadurch werden weniger SAP-Systemressourcen belegt). Wenn ein Message Server in Ihrer Umgebung verfügbar ist, verwenden Sie außerdem eine SAP-Verbindung mit Load-Balancing anstelle einer direkten Verbindung.

Wenn Sie Werte für die Anzahl der Aufteilungen und die Paketgröße angeben, kann das Plug-in diese Werte anpassen, um die verfügbaren SAP-Arbeitsprozesse und den verfügbaren Arbeitsspeicher nicht zu erschöpfen. Dies sind die Obergrenzen der verwendeten SAP-Ressourcen:

  • 50% der verfügbaren Arbeitsprozesse
  • 70% des verfügbaren Arbeitsspeichers pro Arbeitsvorgang

Plug-in-Konfiguration

Empfohlen: Lassen Sie die Number of Splits to Generate und die Package Size leer, sofern Sie nicht mit den Speichereinstellungen Ihres SAP-Systems vertraut sind. Standardmäßig werden diese Werte automatisch so optimiert, dass eine bessere Leistung erzielt wird.

Verwenden Sie die folgenden Attribute, um eine optimale Leistung beim Ausführen der Pipeline zu gewährleisten:

  • Number of Splits to Generate (Anzahl der zu generierenden Aufteilungen): Dadurch wird die Parallelverarbeitung auf der Seite von Cloud Data Fusion direkt gesteuert. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) und extrahiert dabei die Tabelleneinträge. Werte zwischen 8 und 16 werden empfohlen, können aber mit der entsprechenden Konfiguration auf SAP-Seite bis zu 30 oder sogar 64 erhöhen. Dazu werden geeignete Speicherressourcen für die Arbeitsprozesse in SAP zugewiesen.

    Wenn der Wert 0 ist oder leer bleibt, wählt das System automatisch einen geeigneten Wert basierend auf der Anzahl der verfügbaren SAP-Arbeitsprozesse, den zu extrahierenden Datensätzen und der Paketgröße aus.

  • Paketgröße: Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Extrahieraufruf im Arbeitsspeicher speichert. Erhöhen Sie den Standardwert (70000), wenn Ihr SAP-System genügend Arbeitsspeicher für die Arbeitsprozesse zuweist. In den meisten Standardkonfigurationen können Sie bis zu 100000 erhöhen. Bei größeren Größen muss jedoch möglicherweise das SAP-System neu konfiguriert werden.

Cloud Data Fusion-Ressourceneinstellungen

Empfohlen: Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor (dieser Wert gilt für jeden Executor-Prozess). Legen Sie diese im Dialogfeld > Ressourcen konfigurieren fest.

Dataproc-Clustereinstellungen

Empfohlen: Weisen Sie mindestens (mehrere Worker) mehr CPUs zu als beabsichtigt auf (siehe Abschnitt Plug-in-Konfiguration). Wenn Sie beispielsweise 16 Aufteilungen haben, definieren Sie für alle Worker insgesamt mindestens 20 CPUs (für die Koordination sind 4 CPUs erforderlich).

FAQ

Welche SAP-Produkte und -Versionen werden unterstützt?

Unterstützte Quellen sind SAP ERP6/NW7.5 sowie SAP S4HANA 1909 und 2020.

Welche SAP-Tabellen und -Ansichten werden für die Extraktion unterstützt?

Das Plug-in unterstützt transparente SAP-Tabellen und -Ansichten sowie CDS- und HANA-Ansichten.Die Objekte werden über die SAP-Anwendungsebene und nicht über die Datenbankebene gelesen. Pool- und Clustertabellen werden nicht unterstützt.

Gibt es eine Beschränkung für das Datenvolumen oder die Datensatzbreite?

Die unterstützte Zeilenbreite ist auf 30 KB begrenzt. Die Anzahl der extrahierten Datensätze und die Tabellengröße sind unbegrenzt.

Wie hoch ist der erwartete Plug-in-Durchsatz?

Für eine entsprechend konfigurierte Umgebung kann das Plug-in ca. 9.000 Zeilen/s aus einer mittelgroßen Tabelle wie EKKO und 6.500 Zeilen/s aus einer großen Tabelle wie ACDOCA extrahieren.

Wie kann ich die Extraktionsleistung optimieren?

Siehe Leistung optimieren.

Wird die Deltaextraktion unterstützt?

Delta-Extraktion (Daten seit der letzten Ausführung) wird im Plug-in nicht direkt unterstützt. Sie können Datenpipelines definieren, die Datensätze nach Zeitstempelfeldern in Transaktionstabellen filtern (z.B. Feld TIMESTAMP in Tabelle ACDOCA, Feld AEDAT in Tabelle EKKO). Verwenden Sie das Plug-in-Attribut Filteroptionen, um die Filterbedingung anzugeben.

Beispiel: TIMESTAMP >= '20210130100000' AND TIMESTAMP <= ' 20210226000000' (Wählt Datensätze in der Tabelle aus, ACDOCA mit TIMESTAMP zwischen dem 30. Januar 2021 10:00 UTC und 26. Februar 2021 00:00 UTC)

Fehlerszenarien

Zur Laufzeit schreibt das Plug-in Logeinträge in das Datenpipeline-Log von Cloud Data Fusion. Diese Einträge haben das Präfix CDF_SAP, um sie leicht zu identifizieren.

Wenn der Nutzer die Plug-in-Einstellungen validiert, werden die Nachrichten während der Entwicklung im Bereich Eigenschaften rot angezeigt. Einige spezifische Meldungen zur Attributvalidierung werden direkt unter dem Nutzereingabefeld für die Attribute angezeigt und in Rot dargestellt. Diese Fehlermeldungen bei der Attributvalidierung haben keine bestimmte Nachrichten-ID.

Beispiel für allgemeine Fehlermeldung:

Fehlermeldung

In der folgenden Tabelle sind einige häufig auftretende Fehlermeldungen aufgeführt (der Platzhaltertext wird durch tatsächliche Werte zur Laufzeit ersetzt):

Nachrichten-ID Meldung Empfohlene Maßnahme
– (Benutzeroberfläche) Required property UI_CONNECTION_PROPERTY_LABEL for connection type UI_CONNECTION_TYPE_RADIO_OPTION. Geben Sie einen tatsächlichen Wert oder eine Makrovariable ein.
– (Benutzeroberfläche) Invalid value for property UI_ADVANCED_OPTIONAL_PROPERTY_LABEL. Geben Sie eine nicht negative ganze Zahl (0 oder größer, ohne Dezimalzahl) oder die Makrovariable ein.
CDF_SAP_01412 One or more SAP JCo library files are missing or of incompatible version. Achten Sie darauf, dass die erforderliche JCo-Bibliothek (sapjco3.jar) und die zugehörige vom Betriebssystem abhängige gemeinsam genutzte Bibliothek (z.B. libsapjco3.so) derselben Version entsprechen und in Cloud Data Fusion hochgeladen wurden, wie im Nutzer dokumentiert Leitfaden.
CDF_SAP_01500 Unable to retrieve SAP destination from Destination Manager. Cannot initiate connectivity test with SAP.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Prüfen Sie die Ursache in der Nachricht und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01404 SAP connection test failed. Please verify the connection parameters.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Prüfen Sie die Ursache in der Nachricht und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01512 Unable to retrieve JCo Repository from SAP Destination.
Root Cause: SAP_ERROR_CODE - SAP root cause message
Prüfen Sie die Ursache in der Nachricht und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01513 Unable to retrieve JCo Function for SAP_RFM_NAME from SAP Repository.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Prüfen Sie die Ursache in der Nachricht und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01501 Die RFM SAP_RFM_NAME wurde nicht gefunden. Prüfen Sie, ob die entsprechende Transportanfrage korrekt in SAP importiert wurde.
CDF_SAP_01406 Error while executing RFM SAP_RFM_NAME.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Prüfen Sie, ob dem SAP-Nutzer die entsprechenden Autorisierungen zugewiesen sind.
CDF_SAP_01516 Table or View SAP_TABLE/VIEW_NAME could not be found. Die Tabelle oder Ansicht muss in SAP vorhanden und aktiv sein.
CDF_SAP_01517 SAP_TABLE/VIEW_NAME is not of type table or view. Achten Sie darauf, dass es sich um eine gültige Tabelle oder Ansicht handelt und keine Struktur in SAP.
CDF_SAP_1532 Filter Options syntax is not valid. Prüfen Sie, ob die korrekte OpenSQL-Syntax eingehalten wird und stellen Sie Filterbedingungen bereit.
CDF_SAP_1534 Data buffer in SAP exceeded while extracting records from table/view SAP_TABLE/VIEW_NAME. Verringern Sie die Paketgröße und/oder Anzahl der Splits. Alternativ können Sie den SAP-Administrator bitten, die auf dem SAP-Server verfügbaren Speicherressourcen zu erhöhen.
CDF_SAP_1403 User is not authorized to access SAP_TABLE/VIEW_NAME table/view data in SAP. Prüfen Sie, ob die entsprechende Leseautorisierung für den Tabellen-/Ansichtsnamen TableSAP-Tabelle/Ansicht“ für den SAP-Nutzer zugewiesen ist.
CDF_SAP_1535 Query for the table/view AP_TABLE/VIEW_NAME failed to execute successfully. Prüfen Sie, ob in der Filterbedingung gültige Spaltennamen verwendet werden.
CDF_SAP_01520 Failed to extract records #FROM_RECORD_INDEX to #TO_RECORD_INDEX, even after MAX_RETRY_COUNT retries. Kommunikationsfehler mit dem SAP-Server Prüfen Sie die Netzwerkverbindung und die Zugänglichkeit des SAP-Servers aus Cloud Data Fusion.

Nächste Schritte