In dieser Anleitung wird beschrieben, wie Sie Datenpipelines bereitstellen, konfigurieren und ausführen, die das SAP BW Open Hub Batch Source-Plug-in verwenden. Sie können SAP als Quelle für die Batch- und Delta-basierte Datenextraktion in Cloud Data Fusion über den BW Open Hub Service verwenden.
Dieses Plug-in ermöglicht die Bulk-Datenintegration aus SAP-Anwendungen mit Cloud Data Fusion. Sie können Bulk-Datenübertragungen aus SAP-DataSources ohne Codierung konfigurieren und ausführen.
Informationen zu unterstützten SAP-Anwendungen und -Objekten für die Extraktion finden Sie unter Supportdetails. Weitere Informationen zum Ausführen von SAP in Google Cloud finden Sie unter Übersicht über SAP in Google Cloud.
Lernziele
- Konfigurieren Sie das SAP BW-System.
- Stellen Sie das Plug-in in Ihrer Cloud Data Fusion-Umgebung bereit.
- Laden Sie den SAP-Transport aus Cloud Data Fusion herunter und installieren Sie ihn in SAP.
- Mit Cloud Data Fusion und SAP BW Open Hub Batch Source Datenpipelines zur Einbindung von SAP-Daten erstellen
Hinweise
Zur Verwendung dieses Plug-ins sind Domänenkenntnisse in den folgenden Bereichen erforderlich:
- Pipelines in Cloud Data Fusion erstellen
- SAP BW- oder BW4HANA-Systeme konfigurieren
Nutzerrollen
Die Aufgaben auf dieser Seite werden von Personen mit den folgenden Rollen in Google Cloud oder in ihrem SAP-System ausgeführt:
Nutzertyp | Beschreibung |
---|---|
Google Cloud-Administrator | Nutzer mit dieser Rolle sind Administratoren von Google Cloud-Konten. |
Cloud Data Fusion-Nutzer | Nutzer, denen diese Rolle zugewiesen ist, sind berechtigt, Datenpipelines zu entwerfen und auszuführen. Sie haben mindestens die Rolle Data Fusion-Betrachter“ (roles/datafusion.viewer ). Wenn Sie die rollenbasierte Zugriffssteuerung verwenden, benötigen Sie möglicherweise zusätzliche Rollen.
|
SAP-Administrator | Nutzer mit dieser Rolle sind Administratoren des SAP-Systems. Sie können Software von der SAP-Dienstwebsite herunterladen. Es ist keine IAM-Rolle. |
SAP-Nutzer | Nutzer mit dieser Rolle sind berechtigt, eine Verbindung zu einem SAP-System herzustellen. Es ist keine IAM-Rolle. |
Voraussetzungen für SAP BW
Sie benötigen SAP HANA Studio, um Datenübertragungsprozesse und Prozessketten zu erstellen und zu bearbeiten.
Voraussetzungen für Cloud Data Fusion
- Zum Erstellen von Cloud Data Fusion-Instanzen ist ein VPC-Netzwerk erforderlich.
- Eine Cloud Data Fusion-Instanz der Version 6.8.0 oder höher sowie jede Version ist erforderlich.
- Die erforderlichen Rollen müssen dem Dienstkonto zugewiesen werden, das der Cloud Data Fusion-Instanz zugewiesen ist. Weitere Informationen finden Sie unter Dienstkontonutzerberechtigung gewähren.
- Sie müssen eine Peering-Verbindung zwischen Ihrer VPC und dem freigegebenen VPC-Netzwerk von Google verwenden.
SAP BW-System konfigurieren
Die SAP BW Open Hub Batch Source verwendet ein Remote Functions Module (RFM), das auf jedem SAP-Server installiert sein muss, auf dem Daten extrahiert werden. Dieser RFM wird als SAP-Transport bereitgestellt.
So konfigurieren Sie Ihr SAP-System:
- Der Cloud Data Fusion-Nutzer muss die ZIP-Datei, die den SAP-Transport enthält, herunterladen und für den SAP-Administrator bereitstellen. Weitere Informationen finden Sie unter Cloud Data Fusion einrichten.
- Der SAP-Administrator muss den SAP-Transport in das SAP-System importieren und die erstellten Objekte prüfen. Weitere Informationen finden Sie unter SAP-Transport installieren.
- Optional: Der SAP-Nutzer kann die SAP-Standardautorisierungsobjekte der bereitgestellten Rolle
/GOOG/BWOH_CDF_AUTH
gemäß den Sicherheitsrichtlinien ihrer Organisation ändern.
SAP-Transportdateien installieren
Zum Entwerfen und Ausführen von Datenpipelines in Cloud Data Fusion werden die SAP-Komponenten in SAP-Transportdateien bereitgestellt, die in einer ZIP-Datei archiviert werden. Der Download ist verfügbar, wenn Sie das Plug-in im Cloud Data Fusion Hub bereitstellen.
Laden Sie die Transport-ZIP-Datei für SAP BW OH herunter.
Die SAP-Transportanfrage-IDs und die zugehörigen Dateien sind in der folgenden Tabelle aufgeführt:
SAP-Transport
Transport-ID | Cofile | Datendatei | Inhaltsverzeichnis |
---|---|---|---|
BW1K900054 | K900054.BW1 | R900054.BW1 | BWOH Cloud Data Fusion Connector Version 1.0 Funktionsmodule: /GOOG/BWOH_GET_PC_LOG /GOOG/BWOH_GET_PRO_CHA_DETAILS /GOOG/BWOH_API_OHS_ETL_READ /GOOG/BWOH_GET_PC_RUNS /GOOG/BWOH_SET_LAST_RUN /GOOG/BWOH_GET_PC_OHD_LIST |
BW1K900055 | K900055.BW1 | R900055.BW1 | Autorisierungsrolle /GOOG/BWOH_CDF_AUTH |
So installieren Sie den SAP-Transport:
Schritt 1: Transportanfragedateien hochladen
- Melden Sie sich beim Betriebssystem der SAP-Instanz an.
- Verwenden Sie den SAP-Transaktionscode
AL11
, um den Pfad für den OrdnerDIR_TRANS
abzurufen. In der Regel lautet der Pfad/usr/sap/trans/
. - Kopieren Sie die Dateien in den Ordner
DIR_TRANS/cofiles
. - Kopieren Sie die Datendateien in den Ordner
DIR_TRANS/data
. - Legen Sie für Nutzer und Gruppe von Daten und Datei
<sid>adm
undsapsys
fest.
Schritt 2: Transportanfragedateien importieren
Der SAP-Administrator kann die Transportanfragedateien mit einer der folgenden Optionen importieren:
Option 1: Transportanfragedateien mit dem SAP-Transport-Management-System importieren
- Melden Sie sich im SAP-System als SAP-Administrator an.
- Geben Sie die Transaktions-STMS ein.
- Klicken Sie auf Übersicht > Importe.
- Doppelklicken Sie in der Spalte „Warteschlange” auf die aktuelle SID.
- Klicken Sie auf Extras > Sonstige Anfragen > Hinzufügen.
- Wählen Sie die Transportanfrage-ID aus und klicken Sie auf Weiter.
- Wählen Sie die Transportanfrage in der Importwarteschlange aus und klicken Sie dann auf Anfrage > Importieren.
- Geben Sie die Clientnummer ein.
Wählen Sie auf dem Tab Optionen die Option Originale überschreiben und Ungültige Komponentenversion ignorieren aus.
Optional: Wählen Sie Transportanfragen für den späteren Import in der Warteschlange belassen aus. Dadurch werden Anfragen beim nächsten Import aller Anfragen wieder in der richtigen Reihenfolge importiert. Diese Option ist nützlich, wenn Sie vorläufige Importe für einzelne Anfragen vornehmen müssen.
Klicken Sie auf Weiter.
Prüfen Sie, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden. Verwenden Sie dazu geeignete Transaktionen wie
SE80
undPFCG
.
Option 2: Transportanfragedateien auf Betriebssystemebene importieren
- Melden Sie sich im SAP-System als SAP-Administrator an.
Fügen Sie dem Importpuffer die entsprechenden Anfragen hinzu:
tp addtobuffer TRANSPORT_REQUEST_ID SID
Beispiel:
tp addtobuffer BW1K900054 DD1
Importieren Sie die Transportanfragen:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
Ersetzen Sie
NNN
durch die Clientnummer. Beispiel:tp import BW1K900054 DD1 client=100 U1238
Prüfen Sie mit den entsprechenden Transaktionen wie
SE80
undPFCG
, ob das Funktionsmodul und die Autorisierungsrollen erfolgreich importiert wurden.
Erforderliche SAP-Autorisierungen
Zum Ausführen einer Datenpipeline in Cloud Data Fusion benötigen Sie einen SAP-Nutzer. Der SAP-Nutzer muss vom Typ Communications
oder Dialog
sein. Damit SAP-Dialogressourcen nicht verwendet werden, wird der Typ Communications
empfohlen. Der SAP-Administrator kann Nutzer mit dem SAP-Transaktionscode SU01
erstellen.
Zum Konfigurieren des Connectors für SAP sind SAP-Autorisierungen erforderlich. Connector-spezifische SAP-Autorisierungsobjekte werden als Teil der Transportanfrage gesendet. Importieren Sie den Transport von Autorisierungsrollen wie unter SAP-Transport installieren beschrieben, um die Rolle in Ihr System zu importieren und die Rolle aus dem PFCG-Transaktionscode zu generieren.
Für standardmäßige SAP-Autorisierungsobjekte verwaltet Ihre Organisation Berechtigungen mit einem eigenen Sicherheitsmechanismus. Sie können Autorisierungsobjekte basierend auf den Sicherheitsrichtlinien Ihrer Organisation verwalten.
Prozesskette (PC) und Datenübertragungsprozess (DTP) erstellen
Das Erstellen einer Prozesskette und eines Datenübertragungsprozesses erfordert zusätzliche Fähigkeiten und Hintergrundkenntnisse.
Hintergrundkonzepte
Verwenden Sie SAP HANA Studio, um einen PC und DTP zu erstellen oder zu bearbeiten.
Erforderliche Fähigkeiten
- Sie haben Transformationen verwendet, um den Datenfluss zwischen der Quelle und dem Zielobjekt zu definieren.
- Sie sind gut mit grundlegenden BW- und HANA-Konzepten wie DataStore Objects (DSO), Datentransformationen, InfoCubes, Abfrageoptimierung, HANA-Modellierung und HANA-DB-Features mit HANA Studio vertraut. Weitere Informationen zu diesen Konzepten finden Sie in den SAP-Anleitungen zu BW und HANA.
Extraktionstyp
Es gibt zwei Modi der Datenextraktion für einen Datenübertragungsprozess: Full und Delta.
Full: Es werden alle in der Quelle verfügbaren Daten anhand der in der DTP genannten Filterbedingungen ausgewählt. Wenn die Datenquelle einer der folgenden InfoProvider ist, ist nur der Modus „Vollständige Extraktion“ verfügbar:
- InfoObjects
- InfoSets
- DataStore-Objekte für die direkte Aktualisierung
Delta: Im Gegensatz zu InfoPackage erfordert die Deltaübertragung mit einem DTP keine explizite Initialisierung. Wenn ein DTP zum ersten Mal mit dem Delta-Extraktionsmodus ausgeführt wird, werden alle vorhandenen Anfragen bis zum Extraktionszeitpunkt aus der Quelle abgerufen. Delta wird dann automatisch initialisiert.
Die folgenden Optionen sind für ein DTP mit dem Extraktionsmodus Delta verfügbar:
- Delta nur einmal erhalten
- Auf Anfrage alle neuen Daten abrufen
- Abrufen, bis keine neuen Daten mehr vorhanden sind
Paketgröße: Die Anzahl der Datensätze, die in einem einzelnen Datenpaket vorhanden sind. Der Standardwert ist 50,000
.
Eine Prozesskette erstellen
Verwenden Sie Transaktions-RSPC in SAP GUI, um eine Prozesskette (PC) zu erstellen. Definieren Sie einen Startprozess und fügen Sie dann die Prozessschritte und DTP hinzu. Weitere Informationen finden Sie in der SAP-Dokumentation Prozessketten erstellen.
In HANA Studio sind verschiedene Optionen zum Überwachen und Verwalten von PCs verfügbar. Weitere Informationen finden Sie unter SAP BW/4HANA-Prozesskettenvorgänge.
Datenübertragungsprozess mithilfe einer Prozesskette erstellen
Rufen Sie die Ansicht Planung der Prozesskette auf, die Sie für den Datenübertragungsprozess verwenden möchten. In der Ansicht Planung können Sie den DTP mit HANA Studio erstellen. Weitere Informationen finden Sie in der SAP-Dokumentation zum Erstellen eines Datenübertragungsprozesses.
Weitere Informationen zu den Konfigurationsoptionen finden Sie unter Alles über Data Transfer Process (DTP) – SAP BW 7.
RFC-Verbindung
Damit das Callback-System, z. B. das SAP BW Open Hub Batch Source-Plug-in, über die Verfügbarkeit der Daten informiert wird, muss die Verarbeitungskette für die Verwendung eines RFC-Ziels aktualisiert werden:
Erstellen Sie in SM59 eine RFC-Verbindung vom Typ TCP/IP Connections, um das Zielsystem aus BW zu benachrichtigen, sobald das Laden der Daten in BI abgeschlossen ist.
Prüfen Sie, ob die Programm-ID in der RFC-Verbindung konfiguriert ist. Klicken Sie dazu doppelt auf die RFC-Verbindung. Die Programm-ID muss für jedes RFC-Ziel eindeutig sein, um Laufzeit-Listener-Konflikte zu vermeiden.
Verwenden Sie die neu erstellte TCP/IP-Verbindung in der Verarbeitungskette, um Benachrichtigungen zu senden, damit ein Cloud Data Fusion-Batchjob abgeschlossen werden kann. Beim Namen der Prozesskette wird nicht zwischen Groß- und Kleinschreibung unterschieden. Er muss im End-to-End-Integrationsprozess in Großbuchstaben angegeben werden.
Logs von Prozessketten und Datenübertragungsprozessen aufrufen
Rufen Sie „Tcode : RSPC“ auf und klicken Sie auf Process Chains (Prozessketten).
Klicken Sie mit der rechten Maustaste auf die Prozesskette, für die Sie Logs anzeigen lassen möchten, und klicken Sie dann auf Logs anzeigen.
Dataproc-Cluster bei Verwendung der Prozesskette konfigurieren
Wenn Sie die Kommunikation über den RFC-Server aktivieren möchten, müssen Sie in der Datei /etc/services
auf den Dataproc-Clusterknoten die Porteinträge für SAP Gateway hinzufügen.
Es empfiehlt sich, das Skript init action
zu verwenden, das bei der Initialisierung des Clusters ausgeführt wird. Weitere Informationen finden Sie unter Initialisierungsaktionen.
Erstellen Sie eine Skriptdatei und speichern Sie sie in einem Cloud Storage-Bucket. Das folgende Beispiel zeigt den Inhalt der Skriptdatei:
gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services
Beachten Sie im vorherigen Beispiel Folgendes:
Die Einträge haben das Format
sapgwxx 33xx/tcp
, wobeiXX
die SAP-Instanznummer ist.Die Ports für SAP-Instanzen
00
bis04
wurden hinzugefügt.
Führen Sie die folgenden Schritte aus, wenn Sie einen sitzungsspezifischen, einen neu erstellten nichtflüchtigen oder einen vorhandenen nichtflüchtigen Dataproc-Cluster verwenden.
Sitzungsspezifischer Dataproc-Cluster
Wenn Sie einen sitzungsspezifischen Dataproc-Cluster verwenden, fügen Sie den Clusterattributen den Skriptpfad init
hinzu:
- Klicken Sie im Jobmonitor auf der Pipelineseite in Cloud Data Fusion auf Konfigurieren.
- Wählen Sie das Compute-Profil aus und klicken Sie auf Anpassen.
- Geben Sie unter Advanced Settings (Erweiterte Einstellungen) im Feld Initialisierungsaktionen den Pfad zum Skript
init
ein.
Neuer nichtflüchtiger Dataproc-Cluster
Wenn Sie einen neu erstellten nichtflüchtigen Dataproc-Cluster verwenden, erstellen Sie den Cluster mit dem Skript init
im gcloud-Befehl. Beispiel:
gcloud dataproc clusters create cluster-name \
--region=${REGION} \
--initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
... other flags ...
Vorhandener nichtflüchtiger Dataproc-Cluster
Wenn Sie einen vorhandenen nichtflüchtigen Dataproc-Cluster verwenden, gehen Sie so vor:
Wenn der Cluster bereits ohne das Skript init
erstellt wurde, fügen Sie die Einträge sowohl auf den Master- als auch auf den Worker-Knoten des Dataproc-Clusters manuell hinzu.
- SSH-Verbindung zum Master- und Clusterknoten.
- Melden Sie sich mit der Root-Nutzer-ID an.
- Gehen Sie zu
/etc/
und öffnen Sie die Datei/etc/services
in einem VI-Editor. - Fügen Sie den Eintrag
sapgwxx 33xx/tcp
hinzu. Ersetzen Siexx
durch Ihre SAP-Instanznummer. - Speichern Sie die Datei
/etc/services
.
Cloud Data Fusion einrichten
Achten Sie darauf, dass die Kommunikation zwischen der Cloud Data Fusion-Instanz und dem SAP-Server aktiviert ist. Richten Sie für private Instanzen Netzwerk-Peering ein. Nachdem das Netzwerk-Peering mit dem Projekt eingerichtet wurde, in dem die SAP-Systeme gehostet werden, ist keine zusätzliche Konfiguration erforderlich, um eine Verbindung zu Ihrer Cloud Data Fusion-Instanz herzustellen. Sowohl das SAP-System als auch die Cloud Data Fusion-Instanz müssen sich im selben Projekt befinden.
Schritte für Cloud Data Fusion-Nutzer
- Rufen Sie die Instanzdetails auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.
- Prüfen Sie, ob ein Upgrade der Instanz auf Version 6.8.0 oder höher durchgeführt wurde. Wenn sich die Instanz in einer früheren Version befindet, müssen Sie ein Upgrade durchführen.
- Öffnen Sie die Instanz. Klicken Sie beim Öffnen der Cloud Data Fusion-UI auf Hub.
- Wählen Sie den Tab SAP > SAP BW aus. Wenn der Tab „SAP“ nicht sichtbar ist, lesen Sie die Informationen unter Fehlerbehebung für SAP-Integrationen.
- Klicken Sie auf Deploy SAP BW Plugin (SAP BW-Plug-in bereitstellen). Das Plug-in wird im Menü Quelle auf der Studio-Seite angezeigt.
Schritte für SAP Admin und Google Cloud Admin
Der SAP-Administrator lädt die folgenden JCo-Artefakte von der SAP-Supportwebsite herunter und übergibt sie an den Google Cloud-Administrator.
- Eine plattformunabhängige (
sapjco3.jar
) - Eine plattformabhängig (
libsapjco3.so
unter Unix)
So laden Sie die Dateien herunter:
- Rufen Sie die Seite SAP-Connectors auf.
- Klicken Sie auf SAP Java Connector/Tools und Dienste. Sie können plattformspezifische Links für den Download auswählen.
Wählen Sie die Plattform aus, auf der Ihre Cloud Data Fusion-Instanz ausgeführt wird:
- Wenn Sie für die VMs in Ihrem Cluster Standard-Images von Google Cloud verwenden (dies ist die Standardeinstellung für Cloud Data Fusion), wählen Sie Linux für Intel-kompatible Prozessoren 64-Bit x86 aus.
- Wenn Sie ein benutzerdefiniertes Image verwenden, wählen Sie die entsprechende Plattform aus.
Der Google Cloud-Administrator muss die JCo-Dateien in einen lesbaren Cloud Storage-Bucket kopieren. Geben Sie den Bucket-Pfad für den Cloud Data Fusion-Nutzer an, um ihn in das entsprechende Plug-in-Attribut in Cloud Data Fusion einzugeben: SAP JCo Library GCS Path. Siehe Plug-in konfigurieren.
Der Google Cloud-Administrator muss dem Cloud Data Fusion-Dienstkonto für die Designumgebung und das Dataproc-Dienstkonto für die Ausführungsumgebung Lesezugriff auf die beiden Dateien erteilen. Weitere Informationen finden Sie unter Cloud Data Fusion-Dienstkonten.
Plug-in konfigurieren
Das SAP BW Open Hub Batch Source-Plug-in liest den Inhalt einer SAP DataSource.
Zum Filtern der Einträge können Sie die folgenden Attribute für die SAP BW Open Hub Batch Source konfigurieren.
Die folgenden Indikatoren werden verwendet, um die Felder zu definieren:
- (M): Gibt an, dass Makros für das jeweilige Feld unterstützt werden
- (O): Optionales Feld
Label: Plug-in-Label für den Canvas.
Einfach
In der folgenden Liste der Attribute bedeutet (M), dass die Option Makros unterstützt und sie zur zentralen Verwaltung der SAP-Verbindungen verwendet werden können. Sie können beispielsweise Makros für die Verbindungseigenschaften verwenden und die Werte zur Laufzeit mithilfe von Laufzeitparametern oder einem Argument Setter-Plug-in festlegen.
- Referenzname: Der Name, der zur eindeutigen Identifizierung dieser Quelle für die Herkunft und das Annotieren von Metadaten verwendet wird.
Verbindung verwenden (Ein/Aus-Schaltfläche): Gibt an, ob eine vorhandene Verbindung verwendet werden soll (siehe Verbindungen verwalten). Wenn Sie eine vorhandene Verbindung verwenden, müssen Sie keine SAP-Verbindungsdetails angeben.
Verbindung (Verbindungen durchsuchen): Wählen Sie die zu verwendende vorhandene Verbindung aus. Sie können auch die Makrofunktion
${conn(connection-name)}
verwenden.SAP-Client (M): Der zu verwendende SAP-Client. Beispiel:
100
.SAP Language (M): SAP-Anmeldesprache. Beispiel:
EN
.Verbindungstyp: SAP-Verbindungstyp – direkt oder Load-Balancing Load-Balancing-Verbindungen werden für die Extraktion auf Basis der Prozesskette nicht unterstützt. Weitere Informationen finden Sie unter Supportdetails.
Wenn Sie einen Verbindungstyp auswählen, ändern sich die verfügbaren Felder.
Für eine direkte Verbindung sind die folgenden Felder verfügbar:
- SAP Application Server Host (M): der Name oder die IP-Adresse des SAP-Servers.
- SAP-Systemnummer (M): Die SAP-Systemnummer. Beispiel:
00
. - SAP Router (M, O): Der Routerstring.
Für Verbindungen mit Load-Balancing sind die folgenden Felder verfügbar:
- SAP Message Server Host (M): Der Hostname oder die IP-Adresse der SAP-Nachricht.
- SAP Message Server-Dienst oder Portnummer (M): die SAP-Nachrichtenserver-Dienst- oder Portnummer. Beispiel:
sapms02
. - SAP-System-ID (SID) (M): Die SAP-System-ID. Beispiel:
N75
. - SAP Anmeldegruppenname (M): Der Name der SAP-Anmeldegruppe. Beispiel:
PUBLIC
.
Prozesskette verwenden (M): Dieses Feld enthält zwei Optionen.
Wenn Sie die Prozesskette mit der Option Ja aktivieren, werden die folgenden Eigenschaften aktiviert:
PC- und DTP-Fehler automatisch beheben: Steuert das Verhalten, wenn eine zuvor fehlgeschlagene Ausführung erkannt wird. Wenn diese Option deaktiviert ist, schlägt das Plug-in die Pipeline mit relevanten Fehlern fehl. Wenn das Plug-in aktiviert (Standardeinstellung) ist, prüft das Plug-in die Prozesskette und den Status des Data Transfer Process in SAP. Wenn einer der folgenden Fehler gefunden wird, versucht das Plug-in automatisch, diese zu beheben:
Data Transfer Process in error state
: Plug-in löscht die vorherige AnfrageProzesskette in rotem Status mit Fehler
previous request status has not been set
: Das Plug-in löscht die blockierende Anfrage, nachdem die Anfrage-ID aus dem Log der Prozesskette abgerufen wurde, und versucht dann, den PC auszuführen.Wartezeit für Statusbenachrichtigungen der Prozesskette (in Minuten) (M, O): Wartet auf die angegebene Zeit in Minuten, bis die Prozesskette das Daten-Staging abgeschlossen hat und die Pipeline benachrichtigt, die Extraktion zu starten. Wenn Sie
0
angeben oder das Feld leer lassen, wird der Wert als 10 Minuten verwendet. Dies ist die Standardeinstellung.Prozesskette (M): Der Name der SAP-Prozesskette. Beispiel:
PC_RFC
.
Wenn Sie die Prozesskette mit der Option Nein deaktivieren, werden die folgenden Eigenschaften aktiviert:
- Open Hub Target (M): Name des zu lesenden Open Hub-Ziels.
- Anfrage-ID (M,O): Anfrage-ID für den bereits ausgeführten Datenübertragungsprozess
Anmeldedaten
- SAP Login Username (M): SAP-Nutzername. Empfohlen: Wenn sich der Nutzername für die SAP-Anmeldung regelmäßig ändert, verwenden Sie ein Makro.
- SAP Anmeldepasswort (M): SAP-Nutzerpasswort. Empfohlen: Verwenden Sie für sensible Werte wie das Nutzerpasswort sichere Makros.
SAP JCo-Details
- GCP-Projekt-ID (M): Die Google Cloud-Projekt-ID, die ein Projekt eindeutig identifiziert. Sie finden sie auf dem Dashboard in der Google Cloud Console.
- GCS-Pfad der SAP JCo-Bibliothek (M): Der Cloud Storage-Pfad, der die vom Nutzer hochgeladenen Dateien der SAP JCo-Bibliothek enthält.
- Get Schema (Schema abrufen): Klicken Sie auf diese Schaltfläche, wenn das Plug-in ein Schema anhand der Metadaten aus SAP generieren soll, wobei SAP-Datentypen den entsprechenden Cloud Data Fusion-Datentypen automatisch zugeordnet werden. Diese Funktion hat dieselben Funktionen wie die Schaltfläche Validieren.
Weitere Informationen zu den Clientzertifikaten finden Sie unter X.509-Clientzertifikate auf SAP NetWeaver Application Server für ABAP verwenden.
Erweitert
Number of Splits to Generates (M, O): Die Anzahl der Splits, die zum Partitionieren der Eingabedaten verwendet werden. Mehr Partitionen erhöhen den Grad der Parallelität, erfordern aber mehr Ressourcen und Aufwand. Wenn bei einem lokalen SAP-System der Wert nicht in der UI angegeben ist, machen die Aufteilungen 50% der verfügbaren Dialogarbeitsprozesse in SAP aus. Andernfalls werden die Aufteilungen zwischen vom Nutzer angegebenen und 50% der verfügbaren Arbeitsprozesse optimiert.
Empfohlen: Lassen Sie das Attribut leer, sofern Sie nicht mit den SAP-Systemeinstellungen vertraut sind.
Zusätzliche SAP-Verbindungsattribute (M, O): Legen Sie zusätzliche SAP JCo-Attribute fest, die die SAP JCo-Standardwerte überschreiben. Die Einstellung
jco.destination.pool_capacity = 10
überschreibt beispielsweise die Standardkapazität des Verbindungspools.In der folgenden Tabelle sind die unterstützten SAP JCo-Attribute aufgeführt:
Attribut Beschreibung jco.destination.peak_limit
Maximale Anzahl aktiver Verbindungen, die gleichzeitig für ein Ziel erstellt werden können. jco.destination.pool_capacity
Maximale Anzahl inaktiver Verbindungen, die vom Ziel geöffnet bleiben. Der Wert 0
bewirkt, dass kein Verbindungs-Pooling vorhanden ist, d. h., Verbindungen werden nach jeder Anfrage geschlossen.jco.destination.expiration_time
Zeit in ms
, nach der die Verbindungen des internen Pools geschlossen werden können.jco.destination.expiration_check_period
Intervall in ms
, mit dem der Thread zur Zeitüberschreitung die Verbindungen im Pool auf ihren Ablauf prüft.jco.destination.max_get_client_time
Maximale Wartezeit in ms
für eine Verbindung, wenn die maximal zulässige Anzahl von Verbindungen von der Anwendung zugeteilt wird.
Verhalten von Datenextraktionsmodi
Der Datenextraktionsmodus wird über die Einstellungen für den Datenübertragungsprozess gesteuert. Das Verhalten unterscheidet sich bei Verwendung einer Prozesskette im Vergleich zur Verwendung eines offenen Hub-Ziels.
Bei Verwendung einer Prozesskette
Einstellungen auf der Ebene des Datenübertragungsvorgangs steuern, ob ein vollständiger Ladevorgang oder ein Deltaladevorgang ausgeführt wird. Die Anfrage-ID geht als Benachrichtigung von SAP beim Plug-in ein. Das Plug-in liest Paketdaten, die mit dieser einzelnen Anfrage-ID verknüpft sind.
Bei Verwendung des Open Hub-Ziels ohne Anfrage-ID
Vollständige Last: Wenn Sie die Pipeline zum ersten Mal ausführen, werden alle verfügbaren Anfrage-IDs in der Open Hub-Tabelle abgerufen. Das Plug-in liest die mit diesen Anfrage-IDs verknüpften Paketdaten.
Deltaladevorgang: Wenn Sie zum nächsten Mal dieselbe Pipeline ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der letzten abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Bei Verwendung des Open Hub-Ziels mit der Anfrage-ID
Volllast: Wenn Sie die Pipeline zum ersten Mal ausführen, werden alle nächsten verfügbaren Anfrage-IDs abgerufen, die größer als die angegebene Anfrage-ID sind. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Deltaladevorgang: Wenn Sie die gleiche Pipeline das nächste Mal ausführen, werden alle verfügbaren Delta-Anfrage-IDs nach der letzten abgerufenen Anfrage-ID abgerufen. Das Plug-in liest Paketdaten, die mit diesen Anfrage-IDs verknüpft sind.
Datentypzuordnung
Die folgende Tabelle zeigt die Zuordnung zwischen Datentypen, die in SAP BW und Cloud Data Fusion verwendet werden.
BW-Datentyp | ABAP-Typ | Beschreibung (SAP) | Cloud Data Fusion-Datentyp | |
---|---|---|---|---|
Numerisch | ||||
INT1 | b |
1-Byte-Ganzzahl | integer |
|
INT2 | s |
2-Byte-Ganzzahl | integer |
|
INT4 | i |
4-Byte-Ganzzahl | integer |
|
INT8 | 8 |
8-Byte-Ganzzahl | long |
|
DEZ | p |
Nummer des Pakets im BCD-Format (DEC) | decimal |
|
DF16_DEC DF16_RAW |
a |
Dezimales Gleitkomma, 8 Byte IEEE 754r | decimal |
|
DF34_DEC DF34_RAW |
e |
Dezimales Gleitkomma, 16 Byte IEEE 754r | decimal |
|
FLTP | f |
Binäre Gleitkommazahl | double |
|
Zeichen | ||||
CHAR LCHR |
c |
Zeichenstring | string |
|
SSTRING GEOM_EWKB |
string |
Zeichenstring | string |
|
STRING | string |
Zeichenstring CLOB | bytes |
|
NUMC ACCP |
n |
Numerischer Text | string |
|
Byte | ||||
RAW LRAW |
x |
Binärdaten | bytes |
|
Rohstring | xstring |
Bytestring BLOB | bytes |
|
Datum/Uhrzeit | ||||
DATS | d |
Datum | date |
|
TIMS | t |
Zeit | time |
|
TIMESTAMP | utcl |
Zeitstempel Utclong |
timestamp |
Validierung
Klicken Sie auf Validieren oder Schema abrufen.
Das Plug-in validiert die Attribute und generiert ein Schema anhand der Metadaten von SAP. Die SAP-Datentypen werden automatisch den entsprechenden Cloud Data Fusion-Datentypen zugeordnet.
Datenpipeline ausführen
- Klicken Sie nach dem Bereitstellen der Pipeline auf Konfigurieren.
- Wählen Sie Ressourcen aus.
- Ändern Sie bei Bedarf die Executor-CPU und den Arbeitsspeicher entsprechend der Gesamtdatengröße und der Anzahl der in der Pipeline verwendeten Transformationen.
- Klicken Sie auf Speichern.
- Klicken Sie zum Starten der Datenpipeline auf Ausführen.
Leistung optimieren
Plug-in-Konfiguration optimieren
Verwenden Sie die folgenden Attribute, um beim Ausführen der Pipeline eine optimale Leistung zu erzielen:
Anzahl der zu generierenden Teilungen in den Attributen des Cloud Data Fusion-Plug-ins: Damit wird die Parallelität auf der Cloud Data Fusion-Seite direkt gesteuert. Die Laufzeit-Engine erstellt die angegebene Anzahl von Partitionen und SAP-Verbindungen, während die Tabelleneinträge extrahiert werden. Werte zwischen
8
und16
werden empfohlen, Sie können sie aber mit der entsprechenden Konfiguration auf SAP-Seite auf32
oder64
erhöhen. Dazu weisen Sie den Arbeitsprozessen in SAP geeignete Arbeitsspeicherressourcen zu.Wenn der Wert
0
ist oder leer bleibt (empfohlen), wählt das System automatisch einen geeigneten Wert anhand der Anzahl der verfügbaren SAP-Arbeitsprozesse, der zu extrahierenden Datensätze und der Paketgröße aus.Paketgröße in den Eigenschaften des BW-Datenübertragungsprozesses: Hiermit wird die Anzahl der Datensätze festgelegt, die in einem einzelnen Datenpaket vorhanden sind. Der Standardwert ist
50,000
. Wenn Sie diesen Wert erhöhen, erzielen Sie möglicherweise eine bessere Leistung, aber auch eine höhere Ressourcenauslastung. Wenn Sie bereits höhere Werte verwenden, verringern Sie sie, um eine bessere Parallelisierung der Extraktion zu ermöglichen.
Cloud Data Fusion-Ressourceneinstellungen
Empfohlen: Verwenden Sie 1 CPU und 4 GB Arbeitsspeicher pro Executor. Dieser Wert gilt für jeden Executor-Prozess. Legen Sie diese Werte im Dialogfeld Konfigurieren > Ressourcen fest.
Dataproc-Clustereinstellungen
Empfohlen: Weisen Sie den Workern mindestens CPUs insgesamt zu, die größer als die vorgesehene Anzahl von Splits sind. Siehe Plug-in-Konfiguration.
Wenn Sie beispielsweise 16 Splits haben, definieren Sie für alle Worker insgesamt 20 oder mehr CPUs. Für die Koordination werden 4 CPUs verwendet.
Empfohlen: Verwenden Sie einen nichtflüchtigen Dataproc-Cluster, um die Laufzeit der Datenpipeline zu reduzieren. Dadurch entfällt der Bereitstellungsschritt, der einige Minuten oder länger dauern kann. Legen Sie dies im Abschnitt zur Compute Engine-Konfiguration fest.
Supportdetails
Unterstützte SAP-Produkte und -Versionen
Unterstützte Quellen:
- SAP NW BW 7.5 und höher
- SAP BW4HANA 2.0 SP9 (zur Einbindung der Open Hub Destination API; frühere Releases von BW4HANA unterstützen die Open Hub Destination API nicht)
Unterstützung für SAP-Verbindungen mit Load-Balancing (Nachrichtenserver)
Eine SAP-Verbindung mit Load-Balancing (Nachrichtenserver) wird für die auf Open Hub-Ziel basierende Extraktion unterstützt, bei der kein RFC-Server verwendet wird.
Eine SAP-Verbindung mit Load-Balancing (Nachrichtenserver) wird für die prozesskettenbasierte Extraktion nicht unterstützt. Der Grund ist eine SAP-Einschränkung, wenn data ready
-Benachrichtigungen an das Clientsystem gesendet werden. Dadurch muss der RFC Server (Plug-Listener) auf jedem SAP-Server in der BW-Landschaft registriert werden. Dadurch erhöht sich der Umfang des Connectors und beeinträchtigt möglicherweise die Leistung und Ressourcennutzung von SAP. Weitere Informationen finden Sie im SAP-Hinweis 2572564 (Anmeldung für SAP-Support zum Ansehen erforderlich).
Unterstützte SAP-Bereitstellungsmodelle
Das Plug-in wird mit SAP-Servern getestet, die in Google Cloud bereitgestellt werden.
Unterstützte SAP-Objekte
Datenquellen für das Open Hub-Ziel: InfoProviders (InfoObject, InfoCube, Datenspeicherobjekt, Advanced Data Store Object, zusammengesetzter Anbieter)
Prozessketten zur automatischen Ausführung des Datenübertragungsprozesses in das OpenHub-Ziel.
Separate Lizenz zur Verwendung von Oracle HTTP Server zum Extrahieren von Daten aus SAP
Sie benötigen keine separate Lizenz, um Oracle HTTP Server (OHS) zum Extrahieren von Daten aus SAP zu verwenden. Erkundigen Sie sich jedoch bei Ihrem SAP-Ansprechpartner nach Ihrer spezifischen Vereinbarung und Ihrem Anwendungsfall.
Erwarteter Plug-in-Durchsatz
Für eine Umgebung, die gemäß den Richtlinien unter Leistung optimieren konfiguriert wurde, kann das Plug-in etwa 38 GB pro Stunde extrahieren. Die tatsächliche Leistung kann je nach Cloud Data Fusion- und SAP-Systemlast oder Netzwerkverkehr variieren.
Nächste Schritte
- Weitere Informationen zu Cloud Data Fusion
- Weitere Informationen zu SAP in Google Cloud.