In dieser Anleitung wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das SAP BW Open Hub Batch Source-Plug-in verwenden. Sie können SAP als Quelle für die Batch- und Deltabasierte Datenextraktion in Cloud Data Fusion über den BW Open Hub Service verwenden.
Dieses Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit Cloud Data Fusion. Sie können Bulk-Datenübertragungen aus SAP-DataSources ohne Codierung konfigurieren und ausführen.
Informationen zu unterstützten SAP-Anwendungen und -Objekten für die Extraktion finden Sie unter Supportdetails. Weitere Informationen zum Ausführen von SAP auf Google Cloudfinden Sie unter Übersicht über SAP auf Google Cloud.
Lernziele
- Konfigurieren Sie das SAP BW-System.
- Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
- Laden Sie den SAP-Transport aus Cloud Data Fusion herunter und installieren Sie ihn in SAP.
- Verwenden Sie Cloud Data Fusion und SAP BW Open Hub Batch Source, um Datenpipelines für die Integration von SAP-Daten zu erstellen.
Hinweis
Für die Verwendung dieses Plug-ins benötigen Sie Domainkenntnisse in folgenden Bereichen:
- Pipelines in Cloud Data Fusion erstellen
- SAP BW- oder BW4HANA-Systeme konfigurieren
Nutzerrollen
Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:
Nutzertyp | Beschreibung |
---|---|
Google Cloud-Administrator | Nutzer, denen diese Rolle zugewiesen wurde, sind Administratoren von Google Cloud-Konten. |
Cloud Data Fusion-Nutzer | Nutzer, denen diese Rolle zugewiesen wurde, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Ihnen wird mindestens die Rolle „Data Fusion-Betrachter“ (
roles/datafusion.viewer ) zugewiesen. Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
|
SAP-Administrator | Nutzer, denen diese Rolle zugewiesen wurde, sind Administratoren des SAP-Systems. Sie haben Zugriff auf den Download von Software von der SAP-Dienstwebsite. Dies ist keine IAM-Rolle. |
SAP-Nutzer | Nutzer, denen diese Rolle zugewiesen wurde, sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Dies ist keine IAM-Rolle. |
Voraussetzungen für SAP BW
Sie benötigen SAP HANA Studio, um Datenübertragungsprozesse und Prozessabfolgen zu erstellen und zu bearbeiten.
Voraussetzungen für Cloud Data Fusion
- Für das Erstellen einer Cloud Data Fusion-Instanz ist ein VPC-Netzwerk erforderlich.
- Eine Cloud Data Fusion-Instanz der Version 6.8.0 oder höher, beliebige Edition, ist erforderlich.
- Dem Dienstkonto, das der Cloud Data Fusion-Instanz zugewiesen ist, müssen die erforderlichen Rollen gewährt werden. Weitere Informationen finden Sie unter Berechtigungen für Dienstkontonutzer erteilen.
- Sie müssen eine Peering-Verbindung zwischen Ihrer VPC und dem freigegebenen VPC-Netzwerk von Google verwenden.
SAP BW-System konfigurieren
Die SAP BW Open Hub Batch Source verwendet ein Remote Function Module (RFM), das auf jedem SAP-Server installiert werden muss, auf dem Daten extrahiert werden. Dieses RFM wird als SAP-Transport bereitgestellt.
So konfigurieren Sie Ihr SAP-System:
- Der Cloud Data Fusion-Nutzer muss die ZIP-Datei, die den SAP-Transport enthält, herunterladen und für den SAP-Administrator bereitstellen. Weitere Informationen finden Sie unter Cloud Data Fusion einrichten.
- Der SAP-Administrator muss den SAP-Transport in das SAP-System importieren und die erstellten Objekte prüfen. Weitere Informationen finden Sie unter SAP-Transport installieren.
- Optional: Der SAP-Nutzer kann die SAP-Standardautorisierungsobjekte der bereitgestellten Rolle
/GOOG/BWOH_CDF_AUTH
gemäß den Sicherheitsrichtlinien seiner Organisation ändern.
SAP-Transportdateien installieren
Zum Entwerfen und Ausführen von Datenpipelines in Cloud Data Fusion werden die SAP-Komponenten in SAP-Transportdateien bereitgestellt, die in einer ZIP-Datei archiviert werden. Der Download ist verfügbar, wenn Sie das Plug-in im Cloud Data Fusion Hub bereitstellen.
So installieren Sie den SAP-Transport:
Schritt 1: Transportanfragedateien hochladen
- Melden Sie sich im Betriebssystem der SAP-Instanz an.
- Verwenden Sie den SAP-Transaktionscode
AL11
, um den Pfad für den OrdnerDIR_TRANS
abzurufen. Normalerweise ist der Pfad/usr/sap/trans/
. - Kopieren Sie die Cofiles in den Ordner
DIR_TRANS/cofiles
. - Kopieren Sie die Datendateien in den Ordner
DIR_TRANS/data
. - Legen Sie für die Daten- und Cofile die Nutzer- und Gruppenzuordnung auf
<sid>adm
undsapsys
fest.
Schritt 2: Transportanfragedateien importieren
Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:
Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
- Melden Sie sich im SAP-System als SAP-Administrator an.
- Geben Sie die Transaktions-STMS ein.
- Klicken Sie auf Übersicht > Importe.
- Doppelklicken Sie in der Spalte „Warteschlange” auf die aktuelle SID.
- Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
- Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
- Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
- Geben Sie die Clientnummer ein.
Wählen Sie auf dem Tab Optionen die Optionen Originale überschreiben und Ungültige Komponentenversion ignorieren aus.
Optional: Wählen Sie Transportanfragen in der Warteschlange für einen späteren Import belassen aus. Dadurch werden die Anfragen beim nächsten Import aller Anfragen wieder in der richtigen Reihenfolge importiert. Diese Option ist hilfreich, wenn Sie für einzelne Anfragen Vorabimporte vornehmen müssen.
Klicken Sie auf Weiter.
Prüfen Sie mit den entsprechenden Transaktionen wie
SE80
undPFCG
, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.
Option 2: Transportanfragedateien auf Betriebssystemebene importieren
- Melden Sie sich im SAP-System als SAP-Administrator an.
Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu:
tp addtobuffer TRANSPORT_REQUEST_ID SID
Beispiel:
tp addtobuffer BW1K900054 DD1
Importieren Sie die Transportanfragen:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
Ersetzen Sie
NNN
durch die Clientnummer. Beispiel:tp import BW1K900054 DD1 client=100 U1238
Prüfen Sie mit den entsprechenden Transaktionen wie
SE80
undPFCG
, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.
Erforderliche SAP-Autorisierungen
Zum Ausführen einer Datenpipeline in Cloud Data Fusion benötigen Sie einen SAP-Nutzer. Der SAP-Nutzer muss vom Typ Communications
oder Dialog
sein. Damit SAP-Dialogressourcen nicht verwendet werden, wird der Typ Communications
empfohlen. Der SAP-Administrator kann Nutzer mit dem SAP-Transaktionscode SU01
erstellen.
SAP-Autorisierungen sind erforderlich, um den Connector für SAP zu konfigurieren. Connectorspezifische SAP-Autorisierungsobjekte werden als Teil der Transportanfrage gesendet. Importieren Sie den Autorisierungsrollen-Transport wie unter SAP-Transport installieren beschrieben, um die Rolle in Ihr System aufzunehmen und sie aus dem Transaktionscode PFCG zu generieren.
Für standardmäßige SAP-Autorisierungsobjekte verwaltet Ihre Organisation Berechtigungen mit einem eigenen Sicherheitsmechanismus. Sie können Autorisierungsobjekte gemäß den Sicherheitsrichtlinien Ihrer Organisation verwalten.
Prozesskette (PC) und Datenübertragungsprozess (DTP) erstellen
Für die Erstellung einer Prozesskette und eines Datenübertragungsprozesses sind zusätzliche Fähigkeiten und Hintergrundwissen erforderlich.
Hintergrundkonzepte
Verwenden Sie SAP HANA Studio, um einen PC und ein DTP zu erstellen oder zu bearbeiten.
Vorausgesetzte Fähigkeiten
- Sie haben Transformationen verwendet, um den Datenfluss zwischen dem Quell- und dem Zielobjekt zu definieren.
- Sie sind mit den grundlegenden BW- und HANA-Konzepten wie DataStore-Objekten (DSO), Datentransformationen, InfoCubes, Abfrageoptimierung, HANA-Modellierung und HANA-Datenbankfunktionen mit HANA Studio vertraut. Weitere Informationen zu diesen Konzepten finden Sie in den SAP-Tutorials zu BW und HANA.
Extraktionstyp
Für einen Datenübertragungsprozess gibt es zwei Datenextraktionsmodi: „Vollständig“ und „Delta“.
Vollständig: Es werden alle in der Quelle verfügbaren Daten basierend auf den im DTP genannten Filterbedingungen ausgewählt. Wenn die Datenquelle einer der folgenden InfoProvider ist, ist nur der Modus „Vollständige Extraktion“ verfügbar:
- InfoObjects
- InfoSets
- DataStore-Objekte für die direkte Aktualisierung
Delta: Im Gegensatz zu InfoPackage erfordert die Deltaübertragung mit einem DTP keine explizite Initialisierung. Wenn ein DTP zum ersten Mal mit dem Delta-Extraktionsmodus ausgeführt wird, werden alle vorhandenen Anfragen bis zum Zeitpunkt der Extraktion aus der Quelle abgerufen und dann wird Delta automatisch initialisiert.
Für eine DTP mit dem Extraktionsmodus Delta sind die folgenden Optionen verfügbar:
- Delta nur einmal erhalten
- Alle neuen Datenanfragen nach Anfrage abrufen
- Bis keine neuen Daten mehr abgerufen werden
Paketgröße: Die Anzahl der Datensätze in einem einzelnen Datenpaket. Der Standardwert ist 50,000
.
Prozesskette erstellen
Verwenden Sie die Transaktion RSPC in der SAP-GUI, um eine Prozesskette (PC) zu erstellen. Definieren Sie einen Startprozess und fügen Sie dann die Prozessschritte und das DTP hinzu. Weitere Informationen finden Sie in der SAP-Dokumentation zum Erstellen von Prozessketten.
In HANA Studio stehen verschiedene Optionen zum Überwachen und Verwalten von PCs zur Verfügung. Weitere Informationen finden Sie unter SAP BW/4HANA-Prozessabfolgevorgänge.
Datenübertragungsprozess mit einer Prozesskette erstellen
Rufen Sie die Ansicht Planung der Prozesskette auf, die Sie für den Datenübertragungsprozess verwenden möchten. In der Ansicht Planung können Sie die DTP mit HANA Studio erstellen. Weitere Informationen finden Sie in der SAP-Dokumentation zum Erstellen eines Datenübertragungsprozesses.
Weitere Informationen zu den Konfigurationsoptionen finden Sie unter All about Data Transfer Process (DTP) – SAP BW 7.
RFC-Verbindung
Damit das Callback-System, z. B. das SAP BW Open Hub Batch Source-Plug-in, benachrichtigt wird, dass die Daten verfügbar sind, muss die Prozesskette so aktualisiert werden, dass ein RFC-Ziel verwendet wird:
Erstellen Sie in SM59 eine RFC-Verbindung vom Typ TCP/IP-Verbindungen, um das Zielsystem von BW aus zu benachrichtigen, sobald die Datenübertragung in BI abgeschlossen ist.
Prüfen Sie, ob die Programm-ID in der RFC-Verbindung konfiguriert ist. Klicken Sie dazu zweimal auf die RFC-Verbindung. Die Programm-ID muss für jedes RFC-Ziel eindeutig sein, um Konflikte bei der Laufzeiterkennung zu vermeiden.
Verwenden Sie die neu erstellte TCP/IP-Verbindung in der Prozesskette, um eine Benachrichtigung zu senden, dass ein Cloud Data Fusion-Batchjob abgeschlossen wurde. Bei dem Namen der Prozesskette wird die Groß- und Kleinschreibung nicht berücksichtigt. Sie muss im End-to-End-Integrationsprozess korrekt in Großbuchstaben angegeben werden.
Protokolle von Prozessketten und Datenübertragungsprozessen anzeigen
Rufen Sie den T-Code RSPC auf und klicken Sie auf Prozessabfolgen.
Klicken Sie mit der rechten Maustaste auf die Prozesskette, für die Sie Protokolle anzeigen möchten, und dann auf Protokolle anzeigen.
Dataproc-Cluster bei Verwendung der Prozesskette konfigurieren
Wenn Sie die Kommunikation über den RFC-Server aktivieren möchten, müssen Sie die SAP-Gateway-Porteinträge in der Datei /etc/services
in den Dataproc-Clusterknoten hinzufügen.
Es wird empfohlen, ein init action
zu verwenden, das Skript, das beim Initialisieren des Clusters ausgeführt werden soll. Weitere Informationen finden Sie unter Initialisierungsaktionen.
Erstellen Sie eine Scriptdatei und speichern Sie sie in einem Cloud Storage-Bucket. Das folgende Beispiel zeigt den Inhalt der Scriptdatei:
gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services
Beachten Sie im vorherigen Beispiel Folgendes:
Die Einträge haben das Format
sapgwxx 33xx/tcp
, wobeiXX
die SAP-Instanznummer ist.Die Ports für die SAP-Instanzen
00
bis04
werden hinzugefügt.
Führen Sie die folgenden Schritte aus, wenn Sie einen sitzungsspezifischen, einen neu erstellten nichtflüchtigen oder einen vorhandenen nichtflüchtigen Dataproc-Cluster verwenden.
Sitzungsspezifischer Dataproc-Cluster
Wenn Sie einen sitzungsspezifischen Dataproc-Cluster verwenden, fügen Sie den Pfad zum init
-Script zu den Clustereigenschaften hinzu:
- Klicken Sie im Job-Monitor auf der Pipelineseite in Cloud Data Fusion auf Konfigurieren.
- Wählen Sie das Compute-Profil aus und klicken Sie auf Anpassen.
- Geben Sie unter Erweiterte Einstellungen im Feld Initialisierungsaktionen den Pfad zum
init
-Script ein.
Neuer persistenter Dataproc-Cluster
Wenn Sie einen neu erstellten persistenten Dataproc-Cluster verwenden, verwenden Sie das init
-Script im gcloud-Befehl, um den Cluster zu erstellen. Beispiel:
gcloud dataproc clusters create cluster-name \
--region=${REGION} \
--initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
... other flags ...
Vorhandener persistenter Dataproc-Cluster
Wenn Sie einen vorhandenen persistenten Dataproc-Cluster verwenden, gehen Sie so vor:
Wenn der Cluster bereits ohne das init
-Script erstellt wurde, fügen Sie die Einträge sowohl auf den Master- als auch auf den Worker-Knoten des Dataproc-Clusters manuell hinzu.
- Stellen Sie eine SSH-Verbindung zum Master- und Clusterknoten her.
- Melden Sie sich mit der Root-Nutzer-ID an.
- Rufen Sie
/etc/
auf und öffnen Sie die Datei/etc/services
in einem VI-Editor. - Fügen Sie den Eintrag
sapgwxx 33xx/tcp
hinzu. Ersetzen Siexx
durch die Nummer Ihrer SAP-Instanz. - Speichern Sie die Datei
/etc/services
.
Cloud Data Fusion einrichten
Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine weitere Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.
Schritte für Cloud Data Fusion-Nutzer
- Rufen Sie die Instanzdetails auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.
- Prüfen Sie, ob die Instanz auf Version 6.8.0 oder höher aktualisiert wurde. Wenn die Instanz eine ältere Version hat, müssen Sie ein Upgrade ausführen.
- Öffnen Sie die Instanz. Klicken Sie beim Öffnen der Cloud Data Fusion-UI auf Hub.
- Wählen Sie den Tab SAP > SAP BW aus. Wenn der SAP-Tab nicht sichtbar ist, finden Sie weitere Informationen unter Fehlerbehebung bei SAP-Integrationen.
- Klicken Sie auf SAP BW-Plug-in bereitstellen. Das Plug-in wird auf der Studio-Seite im Menü Quelle angezeigt.
Schritte für SAP-Administratoren und Google Cloud -Administratoren
Der SAP-Administrator lädt die folgenden JCo-Artefakte von der SAP-Supportwebsite herunter und übergibt sie an den Google Cloud -Administrator.
- One Platform-unabhängig (
sapjco3.jar
) - One-Platform-abhängig (
libsapjco3.so
on Unix)
So laden Sie die Dateien herunter:
- Rufen Sie die Seite SAP-Connectors auf.
- Klicken Sie auf SAP Java Connector/Tools und Dienste. Sie können plattformspezifische Links für den Download auswählen.
Wählen Sie die Plattform aus, auf der Ihre Cloud Data Fusion-Instanz ausgeführt wird:
- Wenn Sie für die VMs in Ihrem Cluster Standard Google Cloud -Images verwenden (Standardeinstellung für Cloud Data Fusion), wählen Sie Linux für Intel-kompatible Prozessoren 64-Bit x86 aus.
- Wenn Sie ein benutzerdefiniertes Image verwenden, wählen Sie die entsprechende Plattform aus.
Der Google Cloud Administrator muss die JCo-Dateien in einen lesbaren Cloud Storage-Bucket kopieren. Geben Sie den Bucket-Pfad für den Cloud Data Fusion-Nutzer an, damit er ihn in das entsprechende Plug-in-Attribut in Cloud Data Fusion eingeben kann: GCS-Pfad zur SAP JCo-Bibliothek. Weitere Informationen finden Sie unter Plug-in konfigurieren.
Der Google Cloud -Administrator muss dem Cloud Data Fusion-Dienstkonto für die Designumgebung und dem Dataproc-Dienstkonto für die Ausführungsumgebung Lesezugriff auf die beiden Dateien erteilen. Weitere Informationen finden Sie unter Cloud Data Fusion-Dienstkonten.
Plug-in konfigurieren
Das SAP BW Open Hub Batch Source-Plug-in liest den Inhalt einer SAP-Datenquelle.
Zum Filtern der Einträge können Sie die folgenden Attribute für die SAP BW Open Hub Batch Source konfigurieren.
Die Felder werden mit den folgenden Indikatoren definiert:
- (M): Gibt an, dass Makros für das jeweilige Feld unterstützt werden
- (O): Optionales Feld
Label: Plug-in-Label auf dem Canvas.
Einfach
In der folgenden Liste der Eigenschaften bedeutet (M), dass die Option Makros unterstützt und diese zur zentralen Verwaltung der SAP-Verbindungen verwendet werden können. Sie können beispielsweise Makros für die Verbindungsattribute verwenden und die Werte zur Laufzeit mithilfe von Laufzeitparametern oder einem Argument Setter-Plug-in festlegen.
- Referenzname: Name, der dazu dient, diese Quelle eindeutig für die Datenverlaufskontrolle und das Annotieren von Metadaten zu identifizieren.
Verbindung verwenden (Ein/Aus-Schaltfläche): Gibt an, ob eine vorhandene Verbindung verwendet werden soll (siehe Verbindungen verwalten). Wenn Sie eine vorhandene Verbindung verwenden, müssen Sie keine SAP-Verbindungsdetails angeben.
Verbindung (Verbindungen durchsuchen): Wählen Sie die vorhandene Verbindung aus, die Sie verwenden möchten. Sie können auch die Makrofunktion
${conn(connection-name)}
verwenden.SAP-Client (M): Der zu verwendende SAP-Client. Beispiel:
100
.SAP-Sprache (M): SAP-Anmeldesprache. Beispiel:
EN
.Verbindungstyp: SAP-Verbindungstyp – direkt oder Load Balancing. Load Balanced-Verbindungen werden für die prozesskettenbasierte Extraktion nicht unterstützt. Weitere Informationen finden Sie unter Supportdetails.
Wenn Sie einen Verbindungstyp auswählen, ändern sich die verfügbaren Felder.
Für eine direkte Verbindung sind die folgenden Felder verfügbar:
- Host des SAP-Anwendungsservers (M): Der Name oder die IP-Adresse des SAP-Servers.
- SAP-Systemnummer (M): Die SAP-Systemnummer. Beispiel:
00
. - SAP-Router (M, O): Der Routerstring.
Für eine Verbindung mit Load Balancing sind die folgenden Felder verfügbar:
- SAP Message Server Host (M): Der Hostname oder die IP-Adresse des SAP-Nachrichtenservers.
- SAP Message Server-Dienst oder Portnummer (M): Der SAP Message Server-Dienst oder die Portnummer. Beispiel:
sapms02
. - SAP-System-ID (SID) (M): Die SAP-System-ID. Beispiel:
N75
. - Name der SAP-Anmeldegruppe (M): Der Name der SAP-Anmeldegruppe. Beispiel:
PUBLIC
.
Prozesskette verwenden (M): Dieses Feld enthält zwei Optionen.
Wenn Sie die Prozesskette mit der Option Ja aktivieren, werden die folgenden Eigenschaften aktiviert:
PC- und DTP-Fehler automatisch beheben: Steuert das Verhalten, wenn ein zuvor fehlgeschlagener Lauf erkannt wird. Wenn das Plug-in deaktiviert ist, schlägt die Pipeline mit entsprechenden Fehlern fehl. Wenn diese Option aktiviert ist (Standardeinstellung), prüft das Plug-in die Prozesskette und den Status des Datenübertragungsprozesses in SAP. Wenn einer der folgenden Fehler erkannt wird, versucht das Plug-in automatisch, ihn zu beheben:
Data Transfer Process in error state
: Das Plug-in löscht die vorherige Anfrage.Prozesskette im roten Status mit Fehler
previous request status has not been set
: Das Plug-in löscht die blockierende Anfrage, nachdem es die Anfrage-ID aus dem Prozesskettenprotokoll abgerufen hat, und versucht dann, die Prozesskette auszuführen.Wartezeit für die Benachrichtigung zum Prozesskettenstatus (in Minuten) (M, O): Wird die angegebene Zeit in Minuten abgewartet, bis die Prozesskette die Datenübernahme abgeschlossen hat und die Pipeline benachrichtigt wird, die Extraktion zu starten. Wenn Sie
0
angeben oder das Feld leer lassen, wird der Wert als 10 Minuten festgelegt, was dem Standardwert entspricht.Prozesskette (M): Der Name der SAP-Prozesskette. Beispiel:
PC_RFC
.
Wenn Sie die Prozesskette mit der Option Nein deaktivieren, werden die folgenden Eigenschaften aktiviert:
- Open Hub-Ziel (M): Name des Open Hub-Ziels, der gelesen werden soll.
- Anfrage-ID (M,O): Anfrage-ID für den bereits ausgeführten Datenübertragungsprozess.
Anmeldedaten
- Nutzername für SAP-Anmeldung (M): SAP-Nutzername. Empfohlen: Wenn sich der SAP-Anmeldename regelmäßig ändert, verwenden Sie ein Makro.
- SAP-Anmeldepasswort (M): SAP-Nutzerpasswort. Empfohlen: Verwenden Sie für sensible Werte wie Nutzerpasswort sichere Makros.
SAP JCo-Details
- GCP-Projekt-ID (M): Die Google Cloud Projekt-ID, die ein Projekt eindeutig identifiziert. Sie finden sie in der Google Cloud Console auf dem Dashboard.
- GCS-Pfad zur SAP JCo-Bibliothek (M): Der Cloud Storage-Pfad, der die vom Nutzer hochgeladenen SAP JCo-Bibliotheksdateien enthält.
- Schema abrufen: Klicken Sie auf diese Option, wenn das Plug-in ein Schema auf Grundlage der Metadaten von SAP generieren soll, wobei die SAP-Datentypen automatisch den entsprechenden Cloud Data Fusion-Datentypen zugeordnet werden. Die Funktionsweise entspricht der der Schaltfläche Validieren.
Weitere Informationen zu Clientzertifikaten finden Sie unter X.509-Clientzertifikate auf dem SAP NetWeaver Application Server für ABAP verwenden.
Erweitert
Anzahl der zu generierenden Aufteilungen (M, O): Mit dieser Option wird die Eingabedatenpartitionierung festgelegt. Mehr Partitionen erhöhen den Parallelitätsgrad, erfordern aber mehr Ressourcen und Overhead. Wenn der Wert bei einem On-Premise-SAP-System nicht in der Benutzeroberfläche angegeben ist, entsprechen die Splits 50% der verfügbaren Dialog-Arbeitsprozesse in SAP. Andernfalls werden die Aufteilungen zwischen dem vom Nutzer angegebenen Wert und 50% der verfügbaren Arbeitsprozesse optimiert.
Empfohlen: Lassen Sie das Attribut leer, sofern Sie nicht mit den Einstellungen Ihres SAP-Systems vertraut sind.
Zusätzliche SAP-Verbindungseigenschaften (M, O): Hier können Sie zusätzliche SAP JCo-Eigenschaften festlegen, die die SAP JCo-Standardwerte überschreiben. Wenn Sie beispielsweise
jco.destination.pool_capacity = 10
festlegen, wird die Standardkapazität des Verbindungspools überschrieben.In der folgenden Tabelle sind die unterstützten SAP JCo-Properties aufgeführt:
Attribut | Beschreibung |
---|---|
jco.destination.peak_limit |
Die maximale Anzahl aktiver Verbindungen, die gleichzeitig für ein Ziel erstellt werden können. |
jco.destination.pool_capacity |
Maximale Anzahl inaktiver Verbindungen, die vom Ziel offen gehalten werden. Ein Wert von 0 führt dazu, dass kein Verbindungs-Pooling verwendet wird. Das bedeutet, dass Verbindungen nach jeder Anfrage geschlossen werden. |
jco.destination.expiration_time |
Zeit in ms , nach der die vom internen Pool gehaltenen Verbindungen geschlossen werden können. |
jco.destination.expiration_check_period |
Intervall in ms , in dem der Zeitlimit-Prüf-Thread die Verbindungen im Pool auf Ablauf prüft. |
jco.destination.max_get_client_time |
Maximale Zeit in ms , die auf eine Verbindung gewartet werden kann, wenn die maximal zulässige Anzahl von Verbindungen von der Anwendung zugewiesen wurde. |
Verhalten der Datenextraktionsmodi
Der Datenextraktionsmodus wird über die Einstellungen für den Datenübertragungsprozess gesteuert. Das Verhalten unterscheidet sich, wenn Sie eine Prozesskette oder ein Open Hub-Ziel verwenden.
Bei Verwendung einer Prozesskette
Mit den Einstellungen auf Ebene des Datenübertragungsprozesses wird festgelegt, ob eine vollständige oder Delta-Ladung ausgeführt wird. Die Anfrage-ID wird als Benachrichtigung von SAP an das Plug-in gesendet. Das Plug-in liest Paketdaten, die mit dieser einzelnen Anfrage-ID verknüpft sind.
Open Hub-Ziel ohne Anfrage-ID verwenden
Vollständiges Laden: Wenn die Pipeline zum ersten Mal ausgeführt wird, werden alle verfügbaren Anfrage-IDs in der Open Hub-Tabelle abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Delta-Lade: Wenn Sie dieselbe Pipeline das nächste Mal ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der zuletzt abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Open Hub-Ziel mit Anfrage-ID verwenden
Vollständige Auslastung: Wenn die Pipeline zum ersten Mal ausgeführt wird, werden alle nächsten verfügbaren Anfrage-IDs abgerufen, die größer als die angegebene Anfrage-ID sind. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Delta-Lade: Wenn Sie dieselbe Pipeline das nächste Mal ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der zuletzt abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Datentypzuordnung
Die folgende Tabelle zeigt die Zuordnung zwischen den in SAP BW und Cloud Data Fusion verwendeten Datentypen.
BW-Datentyp | ABAP-Typ | Beschreibung (SAP) | Cloud Data Fusion-Datentyp | |
---|---|---|---|---|
Numerisch | ||||
INT1 | b |
1-Byte-Ganzzahl | integer |
|
INT2 | s |
2-Byte-Ganzzahl | integer |
|
INT4 | i |
4-Byte-Ganzzahl | integer |
|
INT8 | 8 |
8-Byte-Ganzzahl | long |
|
DEZ | p |
Nummer des Pakets im BCD-Format (DEC) | decimal |
|
DF16_DEC DF16_RAW |
a |
Dezimales Gleitkomma 8 Byte IEEE 754r | decimal |
|
DF34_DEC DF34_RAW |
e |
Dezimales Gleitkomma 16 Byte IEEE 754r | decimal |
|
FLTP | f |
Binäre Gleitkommazahl | double |
|
Zeichen | ||||
CHAR LCHR |
c |
Zeichenstring | string |
|
SSTRING GEOM_EWKB |
string |
Zeichenstring | string |
|
STRING | string |
Zeichenstring CLOB | bytes |
|
NUMC ACCP |
n |
Numerischer Text | string |
|
Byte | ||||
RAW LRAW |
x |
Binärdaten | bytes |
|
Rohstring | xstring |
Bytestring BLOB | bytes |
|
Datum/Uhrzeit | ||||
DATS | d |
Datum | date |
|
TIMS | t |
Zeit | time |
|
TIMESTAMP | utcl |
Zeitstempel Utclong |
timestamp |
Validierung
Klicken Sie auf Validieren oder Schema abrufen.
Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. Die SAP-Datentypen werden den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet.
Datenpipeline ausführen
- Klicken Sie nach dem Bereitstellen der Pipeline auf Konfigurieren.
- Wählen Sie Ressourcen aus.
- Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
- Klicken Sie auf Speichern.
- Klicken Sie zum Starten der Datenpipeline auf Ausführen.
Leistung optimieren
Plug-in-Konfiguration optimieren
Verwenden Sie die folgenden Attribute, um eine optimale Leistung beim Ausführen der Pipeline zu erreichen:
Anzahl der zu generierenden Splits in den Cloud Data Fusion-Plug-in-Eigenschaften: Dadurch wird die Parallelität auf der Cloud Data Fusion-Seite direkt gesteuert. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen und SAP-Verbindungen beim Extrahieren der Tabelleneinträge. Empfohlen werden Werte zwischen
8
und16
. Sie können sie jedoch mit der entsprechenden Konfiguration auf SAP-Seite auf bis zu32
oder sogar64
erhöhen, indem Sie den Arbeitsprozessen in SAP geeignete Speicherressourcen zuweisen.Wenn der Wert
0
ist oder leer bleibt (empfohlen), wählt das System automatisch einen geeigneten Wert anhand der Anzahl der verfügbaren SAP-Arbeitsprozesse, der zu extrahierenden Datensätze und der Paketgröße aus.Paketgröße in den Eigenschaften des BW-Datenübertragungsprozesses: Damit wird die Anzahl der Datensätze in einem einzelnen Datenpaket gesteuert. Der Standardwert ist
50,000
. Eine Erhöhung dieses Werts kann zu einer besseren Leistung, aber auch zu einer höheren Ressourcenauslastung führen. Wenn Sie bereits höhere Werte verwenden, verringern Sie sie, um eine bessere Parallelisierung der Datenextraktion zu ermöglichen.
Cloud Data Fusion-Ressourceneinstellungen
Empfohlen: Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese Werte im Dialogfeld Konfigurieren > Ressourcen fest.
Dataproc-Clustereinstellungen
Empfohlen: Weisen Sie mindestens eine Gesamtzahl von CPUs (über Worker) zu, die größer als die vorgesehene Anzahl von Splits ist. Weitere Informationen finden Sie unter Plugin-Konfiguration.
Wenn Sie beispielsweise 16 Splits haben, definieren Sie insgesamt 20 oder mehr CPUs für alle Worker. Für die Koordination wird ein Overhead von vier CPUs verwendet.
Empfohlen: Verwenden Sie einen nichtflüchtigen Dataproc-Cluster, um die Laufzeit der Datenpipeline zu reduzieren. Dadurch wird der Bereitstellungsschritt entfernt, der einige Minuten oder länger dauern kann. Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.
Supportdetails
Unterstützte SAP-Produkte und ‑Versionen
Unterstützte Quellen:
- SAP NW BW 7.5 und höher
- SAP BW4HANA 2.0 SP9 (für Open Hub Destination API; frühere Releases von BW4HANA unterstützen die Open Hub Destination API nicht)
Unterstützung für SAP-Verbindungen mit Load Balancing (Message Server)
Eine SAP-Load Balancing-Verbindung (Message Server) wird für die Open Hub-zielbasierte Extraktion unterstützt, bei der kein RFC-Server verwendet wird.
Eine SAP-Verbindung mit Load Balancing (Message Server) wird für die prozesskettenbasierte Extraktion nicht unterstützt. Der Grund dafür ist eine SAP-Einschränkung beim Senden einer data ready
-Benachrichtigung an das Clientsystem. Dazu muss der RFC-Server (Plug-in-Listener) auf jedem SAP-Server in der BW-Umgebung registriert werden. Dies erhöht den Footprint des Connectors und kann sich potenziell auf die SAP-Leistung und die Ressourcennutzung auswirken. Weitere Informationen finden Sie im SAP-Hinweis 2572564 (SAP-Supportanmeldung erforderlich).
Unterstützte SAP-Bereitstellungsmodelle
Das Plug-in wird mit SAP-Servern getestet, die auf Google Cloudbereitgestellt werden.
Unterstützte SAP-Objekte
Datenquellen für Open Hub-Ziel: InfoProvider (InfoObject, InfoCube, DataStore Object, Advanced Data Store Object, Composite Provider)
Prozessketten, um den Datenübertragungsprozess automatisch an das Open Hub-Ziel auszuführen.
Separate Lizenz für die Verwendung des Oracle HTTP-Servers zum Extrahieren von Daten aus SAP
Sie benötigen keine separate Lizenz, um den Oracle HTTP-Server (OHS) zum Extrahieren von Daten aus SAP zu verwenden. Erkundigen Sie sich jedoch bei Ihrem SAP-Ansprechpartner über Ihre spezifische Vereinbarung und Ihren Anwendungsfall.
Erwarteter Plug-in-Durchsatz
In einer Umgebung, die gemäß den Richtlinien im Abschnitt Leistung optimieren konfiguriert ist, kann das Plug-in ca. 38 GB pro Stunde extrahieren. Die tatsächliche Leistung kann je nach Cloud Data Fusion- und SAP-Systemlast oder Netzwerkverkehr variieren.
Nächste Schritte
- Weitere Informationen zu Cloud Data Fusion
- Weitere Informationen zu SAP auf Google Cloud