Übersicht über das SAP Table Batch Source-Plug-in

In dieser Anleitung wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das SAP Table Batch Source-Plug-in verwenden.

Das SAP Table Batch Source-Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit Cloud Data Fusion. Sie können Bulk-Datenübertragungen aus SAP-Tabellen und -Ansichten ohne Programmierung konfigurieren und ausführen.

Informationen zu unterstützten SAP-Anwendungen, -Tabellen und -Ansichten für die Extraktion finden Sie in den FAQ. Weitere Informationen zu SAP in Google Cloud.

Lernziele

  • Configure the SAP ERP system (activate DataSources in SAP).
  • Deploy the plugin in your Cloud Data Fusion environment.
  • Download the SAP transport from Cloud Data Fusion and install it in SAP.
  • Verwenden Sie Cloud Data Fusion und SAP Table Batch Source zum Erstellen von Datenpipelines für die Integration von SAP-Daten.

Hinweis

Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:

  • Pipelines in Cloud Data Fusion erstellen
  • Zugriffsverwaltung mit IAM
  • SAP Cloud und lokale ERP-Systeme (Enterprise Resource Planning) konfigurieren

Nutzerrollen

Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:

Nutzertyp Beschreibung
Google Cloud-Administrator Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten.
Cloud Data Fusion-Nutzer Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Sie haben mindestens die Rolle Data Fusion-Betrachter“ (roles/datafusion.viewer). Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
SAP-Administrator Nutzer mit dieser Rolle sind Administratoren des SAP-Systems. Sie können Software von der SAP-Dienstwebsite herunterladen. Es ist keine IAM-Rolle.
SAP-Nutzer Nutzer mit dieser Rolle sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Es ist keine IAM-Rolle.

SAP-ERP-System konfigurieren

Die SAP Table Batch Source verwendet ein Remote Function Module (RFM), das auf jedem SAP-Server installiert werden muss, auf dem Daten extrahiert werden. Dieses RFM wird als SAP-Transport bereitgestellt.

So konfigurieren Sie Ihr SAP-System:

  1. Der Cloud Data Fusion-Nutzer muss die ZIP-Datei, die den SAP-Transport enthält, herunterladen und für den SAP-Administrator bereitstellen. Verwenden Sie den Link, der mit dem Plug-in im Hub bereitgestellt wird, um den Transport herunterzuladen. Siehe Cloud Data Fusion einrichten.
  2. Der SAP-Administrator muss den SAP-Transport in das SAP-System importieren und die erstellten Objekte prüfen. Weitere Informationen zur Installation finden Sie unter SAP-Transport installieren.

SAP-Transport installieren

Die SAP-Komponenten sind erforderlich, um Datenpipelines in Cloud Data Fusion zu entwerfen und auszuführen. Sie werden als SAP-Transportdateien bereitgestellt, die als ZIP-Datei archiviert wurden (eine Transportanfrage, die aus einer Cofile und einer Datendatei besteht).

Die Transportanfrage-ID und die zugehörigen Dateien finden Sie in der folgenden Tabelle:

Tabelle 2: SAP-Transport

Transport-ID Cofile Datendatei
ABAK900043 K900043.ABA R900043.ABA

Nachdem der Transport in das SAP-System importiert wurde, prüfen Sie die Erstellung des RFC-fähigen Funktionsmoduls /GOOG/RFC_READ_TABLE.

So installieren Sie den SAP-Transport:

Schritt 1: Transportanfragedateien hochladen

  1. Melden Sie sich im SAP-System als SAP-Systemadministrator an.
  2. Kopieren Sie die Cofile in den Ordner /usr/sap/trans/cofiles.
  3. Kopieren Sie die Datendatei in den Ordner /usr/sap/trans/data.

Schritt 2: Transportanfragedateien importieren

Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:

Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
  1. Melden Sie sich im SAP-System als SAP-Administrator an.
  2. Geben Sie die Transaktions-STMS ein.
  3. Klicken Sie auf Übersicht > Importe.
  4. Doppelklicken Sie in der Spalte „Warteschlange” auf die aktuelle SID.
  5. Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
  6. Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
  7. Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
  8. Geben Sie die Clientnummer ein.
  9. Wählen Sie auf dem Tab Optionen die Optionen Originale überschreiben und Ungültige Komponentenversion ignorieren aus (falls verfügbar).

    Optional: Wählen Sie Transportanfragen in der Warteschlange für einen späteren Import verlassen und Transportanfragen noch einmal importieren aus, um einen erneuten Import der Transporte zu planen. Dies ist nützlich für SAP-Systemupgrades und Sicherungswiederherstellungen.

  10. Klicken Sie auf Weiter.

  11. Verwenden Sie zum Prüfen des Imports Transaktionen wie SE80 oder SU01.

Option 2: Transportanfragedateien auf Betriebssystemebene importieren
  1. Melden Sie sich im SAP-System als SAP-Systemadministrator an.
  2. Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu, indem Sie den folgenden Befehl ausführen:

    tp addtobuffer TRANSPORT_REQUEST_ID SID
    

    Beispiel: tp addtobuffer IB1K903958 DD1

  3. Importieren Sie die Transportanfragen mit dem folgenden Befehl:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
    

    Ersetzen Sie NNN durch die Clientnummer. Beispiel: tp import IB1K903958 DD1 client=800 U1238

  4. Prüfen Sie mit den entsprechenden Transaktionen wie SE80 und SU01, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.

Erforderliche SAP-Autorisierungen

Zum Ausführen einer Datenpipeline in Cloud Data Fusion benötigen Sie einen SAP-Nutzer. Der SAP-Nutzer muss den Typ Communications oder Dialog haben. Der Communications-Typ wird empfohlen, um die Verwendung von SAP-Dialogressourcen zu vermeiden. Nutzer können mit dem SAP-Transaktionscode SU01 erstellt werden.

So erstellen Sie die Autorisierungsrolle in SAP:

  1. Geben Sie in der SAP-GUI den Transaktionscode PFCG ein, um das Fenster Rollenwartung zu öffnen.
  2. Geben Sie im Feld Rolle einen Namen für die Rolle ein.

    Beispiel: zcdf_role

  3. Klicken Sie auf Einzelne Rolle.

    Das Fenster Rollen erstellen wird geöffnet.

  4. Geben Sie eine Beschreibung in das Feld Beschreibung ein und klicken Sie auf Speichern.

    Beispiel: Authorizations for Cloud Data Fusion SAP Table plugin.

  5. Klicken Sie auf den Tab Autorisierungen. Der Titel des Fensters ändert sich in Rollen ändern.

  6. Klicken Sie unter Autorisierungsdaten bearbeiten und Profile generieren auf Autorisierungsdaten ändern.

    Das Fenster Vorlage auswählen wird geöffnet.

  7. Klicken Sie auf Vorlagen nicht auswählen.

    Das Fenster Rolle ändern: Autorisierungen wird geöffnet.

  8. Klicken Sie auf Manuell.

  9. Geben Sie die Berechtigungen in der folgenden SAP-Autorisierungstabelle an.

  10. Klicken Sie auf Speichern.

  11. Klicken Sie auf das Symbol Generieren, um die Autorisierungsrolle zu aktivieren.

Tabelle 3: SAP-Autorisierungen

Objektklasse Text der Objektklasse Autorisierungsobjekt Text des Autorisierungsobjekts Autorisierung Text Wert
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC Anwendungsübergreifende Autorisierungsobjekte RFC_TYPE Typ des RFC-Objekts, auf das Zugriff gewährt werden soll FUNC
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC Anwendungsübergreifende Autorisierungsobjekte RFC_NAME Name des RFC-Objekts, auf das Zugriff gewährt wird DDIF_FIELDINFO_GET,
RFCPING,
RFC_GET_FUNCTION_INTERFACE,
/GOOG/RFC_READ_TABLE,
SAPTUNE_GET_SUMMARY_STATISTIC,
TH_WPINFO
AAAB Anwendungsübergreifende Autorisierungsobjekte S_RFC Anwendungsübergreifende Autorisierungsobjekte ACTVT Aktivität 16
AAAB Anwendungsübergreifende Autorisierungsobjekte S_TCODE Transaktionscodeprüfung beim Start der Transaktion TCD Transaktionscode SM50
BC_A Grundlage: Verwaltung S_TABU_NAM Tabellenzugriff nach generischen Standardtools ACTVT Aktivität 03
BC_A Grundlage: Verwaltung S_TABU_NAM Tabellenzugriff nach generischen Standardtools TABELLE Tabellenname *
BC_A Grundlage: Verwaltung S_ADMI_FCD Systemautorisierungen S_ADMI_FCD Systemverwaltungsfunktion ST0R

Cloud Data Fusion einrichten

Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Folgen Sie den Netzwerk-Peering-Schritten für private Cloud Data Fusion-Instanzen.

So konfigurieren Sie die Cloud Data Fusion-Umgebung für das Plug-in:

  1. Der Cloud Data Fusion-Nutzer muss das SAP Table Batch Source-Plug-in vom Hub herunterladen. Das Plug-in ist ab Version 6.3.0 verfügbar.

    1. Optional: Wenn Sie vor dem 22. März 2021 eine 6.3.0-Instanz erstellt haben, wird das Plug-in möglicherweise nicht im Hub angezeigt. Führen Sie den folgenden Befehl aus, um es zu aktivieren.

      Verwenden Sie die Variable HUB_URLS für den SAP Hub. Wenn Sie den Healthcare-Beschleuniger verwenden, fügen Sie dessen Variable HUB_URLS ein (siehe Kommentare im Befehl).

      # Enter values for these variables
      PROJECT=PROJECT_ID
      REGION=REGION_CODE
      INSTANCE=INSTANCE
      
      # Select one of the following HUB_URLS
      HUB_URLS="https://hub-cdap-io.storage.googleapis.com/sap-hub"
      # HUB_URLS="https://hub-cdap-io.storage.googleapis.com/sap-hub+https://storage.googleapis.com/b999ec76-9e36-457b-bf30-753cb13a8c98" # Uncomment this line if the Healthcare accelerator is enabled
      
      # Run these commands (NOTE: This restarts your instance after the update)
      curl -X PATCH -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://datafusion.googleapis.com/v1/projects/$PROJECT/locations/$REGION/instances/$INSTANCE -d "{ 'options':{'market.base.urls':\"$HUB_URLS\"}}"
      sleep 300 # Wait for update operation to succeed
      curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" https://datafusion.googleapis.com/v1/projects/$PROJECT/locations/$REGION/instances/$INSTANCE:restart
      
    2. Klicken Sie auf HUB und wählen Sie den Tab SAP aus.

    3. SAP Table Batch Source-Plug-in bereitstellen.

  2. Prüfen Sie, ob das Plug-in in der Palette im Bereich „Source” angezeigt wird.

  3. Der SAP-Administrator muss die folgenden JCo-Artefakte von der SAP-Supportwebsite herunterladen und an den GCP-Administrator senden.

    Die unterstützte Mindestversion von JCo ist 3.1.2.

    • One Platform-unabhängig (sapjco3.jar)
    • One Platform-abhängig (libsapjco3.so)

    So laden Sie die Dateien herunter:

    1. Rufen Sie SAP-Connectors auf.
    2. Klicken Sie auf SAP Java Connector/Tools und Dienste. Plattformspezifische Links für den Download stehen ebenfalls zur Verfügung.
    3. Wählen Sie die Plattform aus, auf der Ihre CDF-Instanz ausgeführt wird:
      1. Wenn Sie für die VMs in Ihrem Cluster Standard-Google Cloud-Images verwenden (Standardeinstellung für Cloud Data Fusion), wählen Sie Linux für Intel-kompatible Prozessoren 64-Bit x86 aus.
      2. Wenn Sie ein benutzerdefiniertes Image verwenden, wählen Sie die entsprechende Plattform aus.
  4. Der GCP-Administrator muss die JCo-Dateien in einen lesbaren Cloud Storage-Bucket kopieren. Geben Sie den Bucket-Pfad für den Cloud Data Fusion-Nutzer an.

  5. Der GCP-Administrator muss dem Cloud Data Fusion-Dienstkonto für die Designumgebung und das Dataproc-Dienstkonto für die Ausführungsumgebung Lesezugriff auf die beiden Dateien erteilen. Weitere Informationen finden Sie unter Cloud Data Fusion-Dienstkonten.

  6. Der Bucket-Pfad muss im entsprechenden Plug-in-Attribut SAP JCo Library GCS Path angegeben werden.

Plug-in konfigurieren

Das Plug-in SAP Table Batch Source liest den Inhalt einer SAP-Tabelle oder -Ansicht (weitere Informationen finden Sie im Abschnitt FAQ). Es stehen verschiedene Optionen zum Filtern von Datensätzen zur Verfügung.

Sie können die folgenden Attribute für die SAP Table Batch Source konfigurieren.

Basic

Referenzname: Name, mit dem diese Quelle eindeutig für die Datenverlaufskontrolle, das Annotieren von Metadaten usw. angegeben wird.
SAP-Client: Der zu verwendende SAP-Client, z. B. 100).
SAP-Sprache: SAP-Anmeldesprache (z. B. EN).
Verbindungstyp: SAP-Verbindungstyp (direkt oder Load-Balancing). Wenn Sie einen Typ auswählen, werden die folgenden verfügbaren Felder geändert:

Für direkte Verbindungen

Host des SAP-Anwendungsservers: Der Name oder die IP-Adresse des SAP-Servers.
SAP-Systemnummer: Die SAP-Systemnummer, z. B. 00.
SAP Router: Der Routerstring.

Für Verbindungen mit Load-Balancing

SAP Message Server Host: Der SAP Message-Host-Name oder die IP-Adresse.
SAP Message Server-Dienst oder Portnummer: Der SAP Message Server-Dienst oder die Portnummer, z. B. sapms02.
SAP-System-ID (SID): Die SAP-System-ID, z. B. N75.
Name der SAP-Anmeldegruppe: Der Name der SAP-Anmeldegruppe, z. B. PUBLIC.
SAP-Tabellen-/Ansichtsname: Der SAP-Tabellen-/Ansichtsname, z. B. MARA.

Schaltfläche Schema abrufen:: Das Plug-in generiert ein Schema auf Basis der Metadaten aus SAP mit automatischer Zuordnung der SAP-Datentypen zu den entsprechenden Cloud Data Fusion-Datentypen (gleiche Funktion wie die Schaltfläche Validieren).

Anmeldedaten

Nutzername für SAP-Anmeldung: SAP-Nutzername. Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro.
SAP-Anmeldepasswort: SAP-Nutzerpasswort. Empfohlen: Verwenden Sie sichere Makros für sensible Werte wie Nutzerpasswort.

SAP JCo-Details

GCP-Projekt-ID: Google Cloud-Projekt-ID, die ein Projekt eindeutig identifiziert. Sie finden sie im Dashboard in der Google Cloud Console.
GCS-Pfad zur SAP JCo-Bibliothek: Der Cloud Storage-Pfad, der die vom Nutzer hochgeladenen SAP JCo-Bibliotheksdateien enthält.

Erweitert

Filteroptionen: Bedingungen, die in der OpenSQL-Syntax angegeben sind und als Filterbedingungen in der SQL-Klausel WHERE verwendet werden (z. B. KEY6 LT '25'). Datensätze können basierend auf Bedingungen wie bestimmten Spalten mit einem definierten Satz von Werten oder einem Wertebereich extrahiert werden.

Anzahl der abzurufenden Zeilen: Verwenden Sie diese Option, um die Anzahl der extrahierten Datensätze zu begrenzen. Geben Sie eine positive ganze Zahl ein. Wenn 0 oder leer bleibt, werden alle Datensätze aus der angegebenen Tabelle extrahiert. Wenn ein positiver Wert angegeben wird, der größer als die tatsächliche Anzahl an Datensätzen ist, die basierend auf den Filteroptionen verfügbar ist, werden nur die verfügbaren Datensätze extrahiert.

Anzahl der zu generierenden Aufteilungen: Hiermit können Sie Partitionen erstellen, um Tabelleneinträge parallel zu extrahieren. Geben Sie eine positive ganze Zahl ein. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Tabelleneinträge. Seien Sie vorsichtig, wenn Sie dieses Attribut auf eine Zahl größer als 16 setzen, da eine höhere Parallelität gleichzeitige Verbindungen mit SAP erhöht. Werte zwischen 8 und 16 werden empfohlen.

Wenn der Wert 0 ist oder leer bleibt, wählt das System automatisch einen geeigneten Wert anhand der Anzahl der verfügbaren SAP-Arbeitsprozesse, der zu extrahierenden Datensätze und der Paketgröße aus.

Paketgröße: Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Netzwerkextraktionsaufruf im Speicher speichert. Mehrere Datenpipelines, die Daten extrahieren, können die Speicherauslastung erhöhen und zu Fehlfunktionen aufgrund von Out of Memory-Fehlern führen. Seien Sie vorsichtig, wenn Sie dieses Attribut festlegen.

Geben Sie eine positive ganze Zahl ein. Wenn 0 oder leer ist, verwendet das Plug-in den Standardwert 70000 oder einen entsprechend berechneten Wert, wenn die Anzahl der zu extrahierenden Datensätze weniger als 70.000 beträgt.

Wenn die Datenpipeline mit Out of Memory-Fehlern fehlschlägt, verringern Sie entweder die Paketgröße oder erhöhen Sie den für Ihre SAP-Arbeitsprozesse verfügbaren Speicher.

Datentypzuordnung

Tabelle 4: SAP-Datentypen, die Cloud Data Fusion-Typen zugeordnet sind

ABAP-Typ Beschreibung (SAP) Cloud Data Fusion-Datentyp
Numerisch
b 1-Byte-Ganzzahl (INT1) int
s 2-Byte-Ganzzahl (INT2) int
i 4-Byte-Ganzzahl (INT4) int
(int8)
8
8-Byte-Ganzzahl (INT8) long
p Nummer des Pakets im BCD-Format (DEC) decimal
(decfloat16)
a
Dezimales Gleitkomma 8 Byte IEEE 754r (DF16_DEC, DF16_RAW) decimal
(decfloat34)
e
Dezimales Gleitkomma 16 Byte IEEE 754r (DF34_DEC, DF34_RAW) decimal
f Binäre Gleitkommazahl (FLTP) double
Zeichen
c Zeichenstring (CHAR/LCHR) string
string Zeichenstring (SSTRING, GEOM_EWKB) string
string Zeichenstring CLOB (STRING) bytes
n Numerischer Text (NUMC/ACCP) string
Byte
x Binärdaten (RAW/LRAW) bytes
xstring Bytestring BLOB (RAWSTRING) bytes
Datum/Uhrzeit
d Datum (DATS) date
t Zeit (TIMS) time
utclong/utcl Zeitstempel timestamp

Validierung

Klicken Sie oben rechts auf Validieren oder Schema abrufen.

Das Plug-in generiert ein Schema auf Basis der Metadaten von SAP. SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.

Datenpipeline ausführen

  1. Nachdem Sie die Pipeline bereitgestellt haben, klicken Sie im oberen Bereich der Seitenleiste auf Konfigurieren.
  2. Wählen Sie Ressourcen aus.
  3. Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
  4. Klicken Sie auf Speichern.
  5. Klicken Sie zum Starten der Datenpipeline auf Ausführen.

Leistungsoptimierung

Das Plug-in verwendet die Parallelisierungsfunktionen von Cloud Data Fusion. Die folgenden Richtlinien können dabei helfen, die Laufzeitumgebung zu konfigurieren, damit die Laufzeit-Engine genügend Ressourcen bereitstellt, um den gewünschten Grad an Parallelität und Leistung zu erreichen.

SAP-Konfiguration

Empfohlen: Verwenden Sie einen SAP Communication-Nutzer anstelle eines Dialog-Nutzers (verwendet weniger SAP-Systemressourcen). Wenn ein Message Server in Ihrer Umgebung verfügbar ist, verwenden Sie außerdem eine SAP-Verbindung mit Load-Balancing anstelle einer direkten Verbindung.

Wenn Sie Werte für die Anzahl der Splits und die Paketgröße angeben, kann das Plug-in diese Werte anpassen, um die verfügbaren SAP-Arbeitsprozesse und den verfügbaren Arbeitsspeicher nicht auszuschöpfen. Dies sind die oberen Grenzen der verwendeten SAP-Ressourcen:

  • 50 % der verfügbaren Arbeitsprozesse
  • 70 % des verfügbaren Speichers pro Arbeitsvorgang

Plug-in-Konfiguration

Empfohlen: Lassen Sie Anzahl der zu generierenden Splits und Paketgröße leer, sofern Sie nicht mit den Speichereinstellungen Ihres SAP-Systems vertraut sind. Standardmäßig werden diese Werte automatisch optimiert, um eine bessere Leistung zu erzielen.

Verwenden Sie die folgenden Attribute, um eine optimale Leistung beim Ausführen der Pipeline zu erreichen:

  • Anzahl der zu generierenden Splits: Dadurch wird die Parallelität auf der Cloud Data Fusion-Seite direkt gesteuert. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen (und SAP-Verbindungen) beim Extrahieren der Tabelleneinträge. Empfohlen werden 8 bis 16 Werte. Sie können sie jedoch mit der entsprechenden Konfiguration auf SAP-Seite auf bis zu 30 oder sogar 64 erhöhen (die entsprechenden Speicherressourcen für die Arbeitsprozesse in SAP zuweisen).

    Wenn der Wert 0 ist oder leer bleibt, wählt das System automatisch einen geeigneten Wert anhand der Anzahl der verfügbaren SAP-Arbeitsprozesse, der zu extrahierenden Datensätze und der Paketgröße aus.

  • Paketgröße: Anzahl der Datensätze, die in einem einzelnen SAP-Netzwerkaufruf extrahiert werden sollen. Dies ist die Anzahl der Datensätze, die SAP bei jedem Extraktionsaufruf im Speicher speichert. Erhöhen Sie diesen Wert (aus dem Standardwert 70000), wenn Ihr SAP-System genügend Arbeitsspeicher für die Arbeitsprozesse zuweist. In den meisten Standardkonfigurationen können Sie auf bis zu 100000 erhöhen. Größere Größen erfordern jedoch möglicherweise eine Neukonfiguration des SAP-Systems.

Cloud Data Fusion-Ressourceneinstellungen

Empfohlen: Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese im Dialogfeld > Ressourcen konfigurieren fest.

Dataproc-Clustereinstellungen

Empfohlen: Weisen Sie mindestens eine Gesamtzahl von CPUs (über Worker) zu, die größer als die vorgesehene Anzahl von Splits ist (siehe Abschnitt Plug-in-Konfiguration). Wenn Sie beispielsweise 16 Splits haben, definieren Sie insgesamt 20 oder mehr CPUs für alle Worker. Es wird ein Overhead von vier CPUs für die Koordination verwendet.

FAQ

Welche SAP-Produkte und -Versionen werden unterstützt?

Unterstützte Quellen sind SAP ERP6/NW7.5 sowie SAP S4HANA 1909 und 2020.

Welche Arten von SAP-Tabellen und -Ansichten werden für die Extraktion unterstützt?

Das Plug-in unterstützt SAP-transparente Tabellen und Ansichten, CDS-Ansichten und HANA-Ansichten. Die Objekte werden über die SAP-Anwendungsebene und nicht über die Datenbankebene gelesen. Pool- und Clustertabellen werden nicht unterstützt.

Gibt es eine Beschränkung für das Datenvolumen oder die Datensatzbreite?

Die unterstützte Zeilenbreite ist auf 30 KB begrenzt. Die Anzahl der extrahierten Datensätze oder die Tabellengröße ist nicht begrenzt.

Wie hoch ist der erwartete Plug-in-Durchsatz?

Für eine entsprechend konfigurierte Umgebung kann das Plug-in etwa 9.000 Zeilen/s aus einer mittelgroßen Tabelle wie EKKO und 6500 Zeilen/s aus einer großen Tabelle wie ACDOCA extrahieren.

Wie kann ich die Extraktionsleistung optimieren?

Weitere Informationen finden Sie unter Leistungsoptimierung.

Wird die Deltaextraktion unterstützt?

Deltaextraktion (Daten seit der letzten Ausführung) wird nicht direkt im Plug-in unterstützt. Sie können Datenpipelines definieren, die Datensätze basierend auf Zeitstempelfeldern in Transaktionstabellen filtern (z. B. Feld TIMESTAMP in Tabelle ACDOCA, Feld AEDAT in Tabelle EKKO). Verwenden Sie die Plug-in-Attribut Filteroptionen, um die Filterbedingung anzugeben.

Beispiel: TIMESTAMP >= '20210130100000' AND TIMESTAMP <= ' 20210226000000' (Wählt Einträge in Tabelle ACDOCA mit TIMESTAMP aus, zwischen dem 30. Januar 2021 10:00 Uhr UTC und dem 26. Februar 2021 um 00:00 Uhr UTC).

Fehlerszenarien

Zur Laufzeit schreibt das Plug-in Logeinträge in das Log der Cloud Data Fusion-Datenpipeline. Diese Einträge haben das Präfix CDF_SAP, um sie leicht zu identifizieren.

Wenn der Nutzer während der Entwicklung die Plug-in-Einstellungen validiert, werden die Nachrichten im Bereich Attribute angezeigt und rot hervorgehoben. Einige Nachrichten zu Attributvalidierungen werden direkt unter dem Nutzereintragsfeld der Attribute angezeigt und rot hervorgehoben. Diese Fehlermeldungen zur Attributvalidierung haben keine bestimmte Nachrichten-ID.

Beispiel für eine allgemeine Fehlermeldung:

Fehlermeldung

In der folgenden Tabelle sind einige häufig auftretende Fehlermeldungen aufgeführt (der Platzhaltertext wird durch tatsächliche Werte zur Laufzeit ersetzt):

Nachrichten-ID Meldung Empfohlene Maßnahme
N/A (UI) Required property UI_CONNECTION_PROPERTY_LABEL for connection type UI_CONNECTION_TYPE_RADIO_OPTION. Geben Sie einen tatsächlichen Wert oder eine Makrovariable ein.
N/A (UI) Invalid value for property UI_ADVANCED_OPTIONAL_PROPERTY_LABEL. Geben Sie eine nicht negative ganze Zahl (0 oder höher ohne Dezimalzahl) oder eine Makrovariable ein.
CDF_SAP_01412 One or more SAP JCo library files are missing or of incompatible version. Achten Sie darauf, dass die erforderliche JCo-Bibliothek (sapjco3.jar) und die zugehörige betriebssystemabhängige freigegebene Bibliothek (z. B. libsapjco3.so) derselben Version entsprechen und in Cloud Data Fusion hochgeladen wurden, wie im Nutzerhandbuch dokumentiert.
CDF_SAP_01500 Unable to retrieve SAP destination from Destination Manager. Cannot initiate connectivity test with SAP.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Untersuchen Sie die in der Nachricht angezeigte Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01404 SAP connection test failed. Please verify the connection parameters.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Untersuchen Sie die in der Nachricht angezeigte Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01512 Unable to retrieve JCo Repository from SAP Destination.
Root Cause: SAP_ERROR_CODE - SAP root cause message
Untersuchen Sie die in der Nachricht angezeigte Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01513 Unable to retrieve JCo Function for SAP_RFM_NAME from SAP Repository.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Untersuchen Sie die in der Nachricht angezeigte Ursache und ergreifen Sie entsprechende Maßnahmen.
CDF_SAP_01501 RFM-SAP_RFM_NAME wurde nicht gefunden. Prüfen Sie, ob die entsprechende Transportanfrage in SAP korrekt importiert wurde.
CDF_SAP_01406 Error while executing RFM SAP_RFM_NAME.
Root Cause: SAP_ERROR_CODE - SAP_ROOT_CAUSE_MESSAGE
Prüfen Sie, ob dem SAP-Nutzer die entsprechenden Autorisierungen zugewiesen sind.
CDF_SAP_01516 Table or View SAP_TABLE/VIEW_NAME could not be found. Prüfen Sie, ob die Tabelle oder Ansicht in SAP vorhanden und aktiv ist.
CDF_SAP_01517 SAP_TABLE/VIEW_NAME is not of type table or view. Es muss sich um eine gültige Tabelle oder Ansicht handeln und nicht um eine Struktur in SAP.
CDF_SAP_1532 Filter Options syntax is not valid. Prüfen Sie, ob die OpenSQL-Syntax befolgt wird, während Sie Filterbedingungen angeben.
CDF_SAP_1534 Data buffer in SAP exceeded while extracting records from table/view SAP_TABLE/VIEW_NAME. Verringern Sie die Paketgröße und/oder die Anzahl der Splits. Alternativ können Sie den SAP-Administrator benachrichtigen, um die auf dem SAP-Server verfügbaren Speicherressourcen zu erhöhen.
CDF_SAP_1403 User is not authorized to access SAP_TABLE/VIEW_NAME table/view data in SAP. Prüfen Sie, ob dem SAP-Nutzer die entsprechende Leseautorisierung für die Tabelle/Ansicht des SAP-Tabellen-/Ansichtsnamens zugewiesen ist.
CDF_SAP_1535 Query for the table/view AP_TABLE/VIEW_NAME failed to execute successfully. Prüfen Sie, ob in der Filterbedingung gültige Spaltennamen verwendet werden.
CDF_SAP_01520 Failed to extract records #FROM_RECORD_INDEX to #TO_RECORD_INDEX, even after MAX_RETRY_COUNT retries. Kommunikationsfehler mit dem SAP-Server Prüfen Sie die Netzwerkkonnektivität und Zugänglichkeit des SAP-Servers über Cloud Data Fusion.

Weitere Informationen