Version 2.0: BigQuery-Connector für SAP – Planungsleitfaden

In diesem Planungsleitfaden finden SAP- und Google Cloud-Administratoren die erforderlichen Informationen, um Replikationen von SAP-Daten in BigQuery mit der Version 2.0 oder 2.1 des BigQuery-Connectors für SAP und SAP LT Replication Server zu planen.

BigQuery-Connector für SAP wird in SAP Landscape Transformation Replication Server (SAP LT Replication Server) installiert und ermöglicht die Replikation von SAP-Daten direkt in BigQuery nahezu in Echtzeit.

Mit Ihren Daten in BigQuery können Sie Echtzeitanalysen mit künstlicher Intelligenz oder maschinellem Lernen für Live-SAP-Anwendungsdaten durchführen. In BigQuery können Sie Ihre SAP-Daten auch in Daten aus anderen Quellen einbinden.

In dieser Anleitung werden folgende Themen behandelt:

Eine detaillierte Anleitung zum Installieren und Konfigurieren von SAP LT Replication Server-Replikationen mit BigQuery-Connector für SAP finden Sie im Installations- und Konfigurationsleitfaden für BigQuery-Connector für SAP.

Weitere Informationen zu BigQuery finden Sie unter Was ist BigQuery?.

Informationen zu Lösungsbeschleunigern für die SAP-Datenmodellierung in BigQuery finden Sie unter Google Cloud Cortex Framework.

BigQuery-Connector für SAP – Übersicht

BigQuery-Connector für SAP verwendet die Standardschnittstellen und -funktionen von SAP Landscape Transformation Replication Server und unterstützt alle Datenquellen, die von SAP LT Replication Server unterstützt werden.

BigQuery-Connector für SAP wird von Google Cloud in Form von Transportdateien bereitgestellt, die Sie in SAP LT Replication Server installieren.

Laden Sie das Installationspaket herunter, das die Transportdateien enthält, bevor Sie BigQuery Connector für SAP installieren können. Obwohl BigQuery-Connector für SAP derzeit kostenlos angeboten wird, benötigen Sie ein Cloud-Rechnungskonto, um das Installationspaket zu erhalten. Weitere Informationen finden Sie unter Installationspaket herunterladen.

BigQuery-Connector für SAP ist eine Google Cloud-Implementierung eines SAP Business Add In (BAdI) für SAP LT Replication Server. BigQuery-Connector für SAP wird von Google Cloud gemäß dem SAP LT Replication Server SDK-Prozess entwickelt.

BigQuery-Connector für SAP nutzt die Change Data Capture-Funktion von SAP LT Replication Server.

Datenverarbeitung

BigQuery-Connector für SAP sendet die SAP-Datensätze direkt von SAP LT Replication Server an BigQuery, ohne zwischengeschaltete Datenintegrationsebenen oder -tools zu erfordern.

Nachdem die Datensätze empfangen wurden, hängt BigQuery sie im Nur-Einfügen-Modus an die Tabelle an. Wenn BigQuery ein Update für einen Datensatz erhält, der bereits in der BigQuery-Tabelle vorhanden ist, fügt BigQuery eine neue Instanz des Datensatzes in diese Tabelle ein, ohne die vorhandene Instanz zu ändern. Die zuletzt eingefügte Instanz des Datensatzes spiegelt den aktuellen Status des Datensatzes in der Quelltabelle wider.

BigQuery Connector für SAP ermöglicht nur eine minimale Datentransformation, was im Gegensatz zu einem Modell zum Extrahieren, Transformieren und Laden (ETL) einem Modell zum Extrahieren, Laden, Transformieren (ELT) entspricht. Weitere Informationen zu diesen Modellen finden Sie unter Verfahren und Muster für Datenpipelines.

BigQuery-Connector für SAP schlägt automatisch die Felder, Feldnamen und Datentypen für die Zieltabelle auf Basis der Quelldaten vor. Bevor die BigQuery-Zieltabelle erstellt wird, können Sie die vorgeschlagenen Werte nach Bedarf ändern.

Die vorgeschlagenen Namen für die Zielfelder basieren auf den Beschreibungen der Felder in der Quelltabelle. Weitere Informationen finden Sie unter Standardbenennungsoptionen für Felder.

Obwohl BigQuery Connector für SAP die BigQuery-Datentypen für die meisten Felder automatisch vorschlägt, können boolesche, Zeitstempel- und Hexadezimalwerte nicht automatisch interpretiert werden. Sie müssen sie also manuell zuordnen. Weitere Informationen finden Sie unter Datentypzuordnung.

BigQuery-Connector für SAP bietet mehrere Optimierungspunkte, an denen Sie Ihre eigenen benutzerdefinierte Optimierungen für BigQuery-Connector für SAP einfügen können. Weitere Informationen finden Sie unter Optimierungspunkte.

Wenn in BigQuery noch keine Zieltabelle vorhanden ist, wird von BigQuery-Connector für SAP eine solche erstellt.

Nach dem Start der Replikation werden SAP-Datensätze in einem Nur-Insert-Modus zu BigQuery hinzugefügt.

Sicherheit

Sie steuern den Zugriff auf BigQuery-Connector für SAP in SAP LT Replication Server mithilfe des rollenbasierten Autorisierungssystems für SAP LT Replication Server. Wenn Sie BigQuery-Connector für SAP installieren, enthalten die Transportdateien benutzerdefinierte Rollen für BigQuery-Connector für SAP. Weitere Informationen zu den benutzerdefinierten Rollen finden Sie unter SAP-Sicherheit.

Sie steuern den Zugriff auf Google Cloud und BigQuery mithilfe der IAM-Authentifizierung und Autorisierung und der BigQuery API-Authentifizierung. Weitere Informationen finden Sie unter Google Cloud-Sicherheit.

Für die Kommunikation zwischen BigQuery-Connector für SAP und BigQuery verwendet BigQuery-Connector für SAP die End-to-End-HTTPS-Kommunikation und SSL.

SAP-Informationen zur Autorisierung finden Sie im Sicherheitsleitfaden für Ihre Version von SAP LT Replication Server im SAP-Hilfeportal.

Skalierbarkeit

Für sehr große Mengen, wie z. B. Milliarden von Datensätzen mit Millionen von Deltas, verwendet BigQuery-Connector für SAP Skalierungs- und Partitionierungsfunktionen von SAP LT Replication Server, um die Datenextraktion im großen Umfang zu parallelisieren. Weitere Informationen finden Sie im Leitfaden zur Größenbemessung für Ihre Version von SAP LT Replication Server im SAP-Hilfeportal.

In BigQuery verwendet BigQuery-Connector für SAP die BigQuery Streaming API, um das Laden von Daten zu skalieren.

Installationsarchitektur

Sie installieren BigQuery-Connector für SAP als Business Add-In (BAdI) in einer SAP LT Replication Server-Instanz.

Die Instanz von SAP LT Replication Server kann sich in Google Cloud, lokal oder bei einem anderen Cloud-Anbieter befinden. SAP LT Replication Server sollte sich immer möglichst nahe am Quellsystem befinden. Arbeiten Sie mit Ihrem Netzwerkteam zusammen, um eine niedrige Latenz und einen hohen Durchsatz zwischen dem SAP-Quellsystem, SAP LT Replication Server und Ihrem BigQuery-Dataset zu gewährleisten.

In den folgenden Abschnitten werden allgemeine empfohlene Architekturen für BigQuery-Connector für SAP beschrieben.

Architektur für SAP-Datenquellen in Google Cloud

Das folgende Diagramm zeigt zwei Beispielinstallationen für SAP LT Replication Server in Google Cloud mit der SAP-Datenquelle in Google Cloud.

Um beide Architekturen zu veranschaulichen, verwendet eine der Beispielinstallationen eine eigenständige SAP LT Replication Server-Architektur, in der SAP LT Replication Server auf einem separaten Server installiert wird. Die andere Installation verwendet eine in SAP LT Replication Server-Architektur eingebundene Architektur, in der SAP LT Replication Server auf dem SAP-Quellsystemserver installiert ist.

Da die SAP LT Replication Server-Instanzen in Google Cloud installiert sind, stellt BigQuery-Connector für SAP direkt eine Verbindung zum BigQuery API-Endpunkt her, ohne eine Cloud Interconnect- oder Cloud VPN-Verbindung zu erfordern.

Im Diagramm sind die SAP-Systeme und BigQuery in verschiedenen Google Cloud-Projekten dargestellt. Sie können jedoch bei Bedarf dasselbe Projekt für beide verwenden.

Das Diagramm wird im vorhergehenden Text beschrieben.

Architektur für SAP-Datenquellen lokal oder bei einem anderen Cloud-Anbieter

Das folgende Diagramm zeigt zwei Beispielinstallationen für SAP LT Replication Server, die entweder lokal oder bei einem anderen Cloud-Anbieter ausgeführt werden.

Um beide Architekturen zu veranschaulichen, verwendet eine der Installationen eine eigenständige SAP LT Replication Server-Architektur und die andere eine eingebettete SAP LT Replication Server-Architektur.

In beiden Beispielen wird SAP LT Replication Server in derselben Umgebung wie die SAP-Datenquelle installiert.

Die Verbindung von BigQuery-Connector für SAP in SAP LT Replication Server zu BigQuery wird entweder über eine Cloud Interconnect-Verbindung oder über eine Cloud VPN-Verbindung bereitgestellt.

Das Diagramm wird im vorhergehenden Text beschrieben.

Detaillierte Architekturansicht des Datenflusses

Das folgende Diagramm zeigt, wo BigQuery-Connector für SAP in den Datenfluss von SAP LT Replication Server passt.

Die Ziffern im Diagramm werden im Anschluss an das Diagramm erläutert.

Das Diagramm wird im vorhergehenden Text beschrieben.

Die folgenden nummerierten Erläuterungen entsprechen den Ziffern im Diagramm:

  1. Nachdem SAP LT Replication Server initialisiert wurde, werden Änderungen durch Einfügen, Aktualisieren oder Löschen von Einträgen in den Quelltabellen in den Loggingtabellen der Datenbank aufgezeichnet.
  2. SAP LT Replication Server prüft die Logging-Tabellen kontinuierlich über RFC-Aufrufe auf neue Einträge.
  3. Wenn SAP LT Replication Server neue Einträge findet, liest die Read Engine die Datensätze und ruft die Zuordnungs- und Transformations-Engine auf.
  4. Die Zuordnungs- und Transformations-Engine ruft die Write-Engine auf, die BigQuery-Connector für SAP aufruft.
  5. BigQuery-Connector für SAP führt die folgenden Aktionen aus:
    1. Ordnet die SAP-Daten dem Namen der Zieltabelle, den Feldnamen und den BigQuery-Datentypen zu.
    2. Erstellt bei Bedarf die BigQuery-Tabelle
    3. Sendet die Datensätze in Blöcken über die BigQuery Streaming API.
  6. Nach dem Eingang der Daten führt BigQuery die folgenden Aktionen aus:
    1. Führt Validierungsprüfungen durch
    2. Datensätze in die Zieltabelle einfügen.
    3. HTTP 200-Statuscode (OK) zurück an BigQuery-Connector für SAP senden.
  7. BigQuery-Connector für SAP übergibt den HTTP-Statuscode OK an SAP LT Replication Server, der die replizierten Einträge aus der Logging-Tabelle löscht und Ressourcen im SAP-Quellsystem freigibt.

Softwareanforderungen

BigQuery-Connector für SAP unterstützt die Hauptversionen wartungsgebundener Unternehmensanwendungen als Datenquellen sowie ältere Legacy-Anwendungen. Folgende SAP-Anwendungen werden unterstützt:

  • SAP Business Suite 7
  • S/4HANA
  • In SAP NetWeaver ausgeführte SAP-Anwendungen

Sie können BigQuery-Connector für SAP in SAP LT Replication Server in Google Cloud, lokal oder in öffentlichen Clouds wie AWS, Azure usw. installieren.

Lizenzen

BigQuery-Connector für SAP wird im Rahmen der Vereinbarung, die Ihre Nutzung der Google Cloud Platform regelt, als "Software" zur Verfügung gestellt, einschließlich der dienstspezifischen Nutzungsbedingungen unter https://cloud.google.com/terms/service-terms. Ohne Einschränkung der vorhergehenden Bedingungen dürfen Sie BigQuery-Connector für SAP nur mit ausdrücklicher schriftlicher Genehmigung von Google ändern oder verbreiten.

Die Software BigQuery-Connector für SAP wird derzeit kostenlos angeboten. Zur Klarstellung wird darauf hingewiesen, dass die Nutzung anderer "Software" und "Dienste" im Rahmen der Vereinbarung bezüglich Ihrer Nutzung der Google Cloud Platform, wie z. B. BigQuery und die BigQuery Streaming API, Kosten verursachen kann.

BigQuery-Connector für SAP beinhaltet keine Lizenz für SAP-Software, einschließlich SAP LT Replication Server. Erwerben Sie jeweils eine entsprechende Lizenz für die SAP-Software.

Anforderungen an die Version der SAP-Software

Die erforderlichen Versionen von SAP LT Replication Server und die SAP-Quellsysteme unterscheiden sich je nachdem, ob Sie SAP LT Replication Server auf seinem eigenen Server in einer eigenständigen Architektur oder im Quellsystem der ABAP-Anwendung in einer eingebetteten Architektur installieren.

Die SAP-Softwareanforderungen unterscheiden sich auch je nach dem SAP-System, das Sie als Datenquelle verwenden: SAP S/4HANA oder SAP ECC.

Wählen Sie den Tab aus, der Ihrem SAP-Quellsystem entspricht, um die SAP-Softwareversionen aufzurufen, mit denen Google Cloud BigQuery-Connector für SAP unterstützt:

S/4HANA

Installationsarchitektur System Unterstützte Versionen UI-Add-on (User Interface, Benutzeroberfläche)
Standalone-Modell Quellsystem
  • NetWeaver 7.5 oder höher oder eine beliebige Version der ABAP-Plattform.

    Informationen dazu, ob die DMIS-Versionen auf den Quell- und Zielsystemen kompatibel sind, finden Sie im SAP-Hinweis 2577774.

  • SLT-Add-on: DMIS 2011 SP15, DMIS 2018 SP00, DMIS 2020 oder eine beliebige Version von S4CORE.

Die SAP_UI-Komponente muss mit Ihrer Version von SAP Netweaver kompatibel sein.

/UI2/CL_JSON: PL12 oder höher.

Informationen zur Kompatibilität des SAP-Add-ons finden Sie unter:

SAP LT Replication Server-System
  • NetWeaver 7.0 (mit EHP2) oder höher oder eine beliebige Version der ABAP-Platform.
  • SLT-Add-on: DMIS 2011 SP15 oder höher, DMIS 2018 SP00 oder höher oder DMIS 2020 SP00 oder höher.
Eingebettet Quellsystem
  • NetWeaver 7.5 oder höher oder eine beliebige Version der ABAP-Plattform.
  • SLT-Add-on: DMIS 2011 SP15 oder höher, DMIS 2018 SP00 oder höher, DMIS 2020 oder höher oder eine beliebige Version von S4CORE.

ECC

Installationsarchitektur System Unterstützte Versionen UI-Add-on (User Interface, Benutzeroberfläche)
Standalone-Modell Quellsystem
  • NetWeaver 7.0 (mit EHP2) oder höher.

    Informationen dazu, ob die DMIS-Versionen auf den Quell- und Zielsystemen kompatibel sind, finden Sie im SAP-Hinweis 2577774.

    Wenn die DMIS-Versionen kompatibel sind, können Sie ältere Versionen von ECC verwenden.

  • SLT-Add-on: DMIS 2011 SP15 oder höher oder DMIS 2018 SP00 oder höher.

Die SAP_UI-Komponente muss mit Ihrer Version von SAP Netweaver kompatibel sein.

/UI2/CL_JSON: PL12 oder höher.

Informationen zur Kompatibilität des SAP-Add-ons finden Sie unter:

SAP LT Replication Server-System
  • NetWeaver 7.0 (mit EHP2) oder höher.
  • SLT-Add-on: DMIS 2011 SP15 oder höher oder DMIS 2018 SP00 oder höher.
Eingebettet Quellsystem
  • NetWeaver 7.0 (mit EHP2) oder höher.
  • SLT-Add-on: DMIS 2011 SP15 oder höher oder DMIS 2018 SP00 oder höher.

Anforderungen an das Betriebssystem

BigQuery-Connector für SAP unterstützt jedes Betriebssystem, das von SAP LT Replication Server unterstützt wird.

Welche Betriebssysteme von SAP LT Replication Server unterstützt werden, finden Sie in der SAP-Produktverfügbarkeitsmatrix.

gcloud CLI-Anforderung

Für BigQuery-Connector für SAP muss die Google Cloud CLI auf dem SAP LT Replication Server-Host installiert sein.

Wenn SAP LT Replication Server in Google Cloud ausgeführt wird und Sie ein von Compute Engine bereitgestelltes Betriebssystem-Image verwenden, ist die gcloud CLI möglicherweise bereits vorinstalliert.

In der Tabelle für Ihr Betriebssystem können Sie unter Details zu Betriebssystemen sehen, in welchen Betriebssystem-Images die gcloud CLI enthalten ist.

Wenn Sie prüfen möchten, ob die gcloud CLI auf einem vorhandenen SAP LT Replication Server-Host installiert ist, melden Sie sich beim Server an und geben Sie einen gcloud-Befehl aus. Beispiel:

gcloud version

Wenn die gcloud CLI noch nicht auf Ihrem SAP LT Replication Server-Host installiert ist, kann Ihr SAP-Administrator sie installieren. Weitere Informationen zur Installation der gcloud CLI finden Sie unter gcloud CLI installieren.

Unterstützte Replikationsquellen

BigQuery Connector für SAP unterstützt die meisten häufig verwendeten Anwendungs- und Datenbankquellsysteme, die von SAP LT Replication Server unterstützt werden.

Unterstützte SAP-Anwendungsquellen

Sie können Daten aus den von SAP LT Replication Server unterstützten SAP-Anwendungsquellen replizieren.

SAP empfiehlt jedoch, Daten aus SAP Business Warehouse mithilfe von SAP LT Replication Server zu replizieren. Weitere Informationen von SAP finden Sie im SAP-Hinweis 2525755.

SAP Cloud-Anwendungen wie S/4HANA Cloud, SAP Ariba, SAP SuccessFactors und andere werden nicht unterstützt.

Unterstützte Datenquellen

Sie können nur transparente oder Clustertabellen replizieren.

BigQuery Connector für SAP unterstützt nicht die Replikations-Ansichten (SAP Core Data Services, CDS).

Sicherheit

Wenn Sie die Sicherheit der Datenreplikation über SAP LT Replication Server in BigQuery implementieren, müssen Sie Sicherheitskontrollen in SAP LT Replication Server, dem SAP LT Replication Server-Hostbetriebssystem und in Google Cloud implementieren.

SAP-Sicherheit

Mit der standardmäßigen rollenbasierten SAP-Autorisierung können Sie steuern, wer mit BigQuery-Connector für SAP in SAP LT Replication Server konfigurieren und arbeiten kann.

BigQuery-Connector für SAP stellt das Autorisierungsobjekt ZGOOG_MTID im Rahmen der Transportinstallation bereit.

Zum Konfigurieren und Ausführen von Datenreplikationsjobs, die BigQuery-Connector für SAP verwenden, können Sie eine Rolle definieren, die Administratorzugriff auf SAP LT Replication Server hat, wie unter SAP-Rollen und -Autorisierungen für BigQuery-Connector für SAP erstellen beschrieben.

Sie können beispielsweise eine Rolle mit dem Namen ZGOOGLE_BIGQUERY_ADMIN definieren, die alle SAP-Autorisierungen und die ZGOOG_MTID-Autorisierungen enthält, die zum Konfigurieren und Ausführen der Datenreplikation in BigQuery erforderlich sind. Verwenden Sie dazu BigQuery-Connector für SAP.

Weitere Informationen von SAP zu Rollen und Autorisierung finden Sie im Sicherheitsleitfaden für Ihre Version von SAP LT Replication Server im SAP-Hilfeportal.

Sicherheit von Google Cloud

Die Implementierung von Sicherheit in Google Cloud für BigQuery-Connector für SAP kann die folgenden Sicherheitskontrollen umfassen:

  • IAM-Berechtigungen (Identity and Access Management), Rollen, Dienstkonten und Schlüssel.
  • BigQuery-Steuerelemente, die auf Dataset- oder Tabellenebene festgelegt werden.
  • Virtual Private Cloud (VPC) Service Controls für API-basierte Dienste wie BigQuery

Google Cloud Identity and Access Management

Zur Authentifizierung und Autorisierung von BigQuery-Connector für SAP benötigen Sie ein IAM-Dienstkonto für das Google Cloud-Projekt mit dem BigQuery-Dataset.

Um mit BigQuery-Ressourcen interagieren zu können, müssen Sie dem Dienstkonto Rollen zuweisen, die Berechtigungen zum Interagieren mit BigQuery im BigQuery-Projekt umfassen.

Wenn Sie das Dienstkonto im BigQuery-Projekt erstellen, können Sie die erforderlichen Rollen während des Erstellungsvorgangs gewähren. Das Dienstkonto wird automatisch zum Hauptkonto im BigQuery-Projekt.

Die Berechtigungen, die BigQuery-Connector für SAP zum Zugreifen auf BigQuery benötigt, sind in den folgenden IAM-Rollen enthalten:

  • BigQuery-Dateneditor
  • BigQuery-Jobnutzer

Wenn SAP LT Replication Server auf einer Compute Engine-VM ausgeführt wird, müssen Sie dem Dienstkonto der Host-VM auch die Rolle Ersteller von Dienstkonto-Tokens zuweisen.

Wenn SAP LT Replication Server lokal oder auf einer anderen Cloud-Plattform ausgeführt wird, müssen Sie nicht nur ein Dienstkonto, sondern auch einen Dienstkontoschlüssel für BigQuery Connector für SAP erstellen. Ihr SAP-Administrator installiert den Schlüssel auf dem SAP LT Replication Server-Host. Wenn BigQuery-Connector für SAP eine Verbindung zu BigQuery herstellt, verwendet SAP LT Replication Server den Dienstkontoschlüssel zur Authentifizierung in Google Cloud.

Wenn SAP LT Replication Server in Google Cloud ausgeführt wird, ist kein Dienstkontoschlüssel erforderlich.

Weitere Informationen zu IAM, Dienstkonten, Rollen und Berechtigungen finden Sie unter:

Zugriffssteuerung für BigQuery-Datasets und -Tabellen

Zusätzlich zu IAM-Steuerelementen können Sie den Zugriff auch mit BigQuery steuern. Für BigQuery-Connector für SAP können Sie Zugriffssteuerungen für Datasets und Tabellen festlegen.

Weitere Informationen finden Sie unter:

vpc service controls

In Google Cloud gelten die VPC-Firewallregeln nicht für API-basierte Interaktionen mit BigQuery. Stattdessen können Sie den Traffic mithilfe von VPC Service Controls (Virtual Private Cloud) einschränken.

Wenn Ihre SAP-Arbeitslast in Google Cloud ausgeführt wird, können Sie VPC Service Controls implementieren, indem Sie Dienstperimeter definieren. Weitere Informationen finden Sie unter Dienstperimeter.

Wenn Ihre SAP-Arbeitslast nicht in Google Cloud ausgeführt wird, können Sie VPC Service Controls im Rahmen der Einrichtung des privaten Google-Zugriffs für lokale Hosts implementieren.

Weitere Informationen zur Netzwerksicherheit für BigQuery finden Sie unter Netzwerksicherheit.

Weitere Informationen zur Sicherheit von Google Cloud

Weitere Informationen zu Sicherheitskonten, Rollen und Berechtigungen finden Sie unter:

Netzwerk

Beachten Sie bei der Planung des Netzwerkpfads für die Replikation in BigQuery Folgendes:

  • Bandbreite
  • Latenz und Auswirkungen auf den Ressourcenverbrauch auf dem SAP LT Replication Server-Host
  • Datenvolumen und Auswirkungen auf die vorhandene Netzwerklast
  • Wenn die SAP-Arbeitslast nicht in Google Cloud ausgeführt wird, welcher Verbindungstyp verwendet werden soll: Cloud Interconnect oder Cloud VPN

Verbindung zu Google Cloud herstellen

Wenn Ihre SAP-Systeme nicht in Google Cloud ausgeführt werden und noch keine Verbindung von Ihren SAP-Systemen zu Google Cloud besteht, müssen Sie eine Verbindung herstellen und den privaten Zugriff auf die Google Cloud APIs konfigurieren.

Sie können eine Verbindung zu Google Cloud über Cloud Interconnect oder Cloud VPN herstellen.

Cloud Interconnect bietet in der Regel eine höhere Bandbreite, eine geringere Latenz und weniger Netzwerkkonflikte als Cloud VPN. Für leistungsempfindliche Replikationsjobs mit hohem Volumen empfiehlt Google Cloud Cloud Interconnect für BigQuery-Connector für SAP.

Mit Cloud VPN werden die Replikationsdaten über das öffentliche Internet übertragen, sodass Netzwerkkonflikte weniger vorhersehbar und Latenzen in der Regel höher sind.

Unabhängig von der gewählten Verbindungsoption müssen Sie den gesamten Traffic prüfen, den die Verbindung voraussichtlich unterstützen muss. Prüfen Sie, ob die Verbindung über eine ausreichende Bandbreite und Netzwerkgeschwindigkeit verfügt, um die Replikationsjobs und andere Arbeitslasten ohne negative Auswirkungen auf die Leistung ausführen zu können.

Langsame Verbindungen können den Ressourcenverbrauch sowohl auf dem SAP-Quellserver als auch auf dem SAP LT Replication Server-Host erhöhen. Dies liegt daran, dass die Ausführung von Ressourcenjobs länger dauert, wodurch die für Replikationen erforderlichen Ressourcen für längere Zeiträume gebunden sind.

Weitere Informationen zu Verbindungsoptionen finden hier:

Wenn Sie einen Proxyserver zum Senden der HTTP-Anfragen an Google Cloud verwenden, konfigurieren Sie den Proxyserver in der SAP-Transaktion SICF. Die Konfigurationsschritte finden Sie in der SAP-Dokumentation unter Proxy konfigurieren.

Bandbreite

Achten Sie darauf, dass Ihre Netzwerkverbindung zwischen SAP LT Replication Server und BigQuery über ausreichend Bandbreite verfügt, um Ihr Datenvolumen mit der erforderlichen Geschwindigkeit bewältigen zu können.

Langsame Netzwerkverbindungen erhöhen die Latenz der Datenreplikation, wodurch auch mehr Ressourcen bei der Replikation im SAP-Quellsystem verwendet werden.

Für produktive Installationen empfiehlt Google Cloud eine Cloud Interconnect-Verbindung. Sie können auch Cloud VPN verwenden.

Latenz

Um die Latenz über Ihre Netzwerkverbindung zu reduzieren, erstellen Sie das BigQuery-Ziel-Dataset so nah wie möglich am SAP LT Replication Server-System und dem SAP-Quellsystem. Wenn das SAP-Quellsystem in Google Cloud ausgeführt wird, erstellen Sie das BigQuery-Dataset in derselben Google Cloud-Region wie das SAP-Quellsystem.

Testen Sie die Latenz, bevor Sie die Installation in eine Produktionsumgebung migrieren.

Weitere Informationen zur Netzwerkleistung finden Sie unter Leistung der Netzwerkverbindung.

Netzwerkzugriffssteuerung

Sie können Netzwerkzugriffssteuerung auf beiden Seiten der Verbindung zwischen SAP LT Replication Server und Google Cloud implementieren.

Google Cloud-Netzwerkzugriffssteuerung

BigQuery-Connector für SAP kommuniziert mit BigQuery über einen API-Endpunkt, der nicht den VPC-Firewallregeln von Google Cloud unterliegt.

Verwenden Sie stattdessen VPC Service Controls, um den Traffic zu beschränken.

Weitere Informationen zur Netzwerksicherheit für BigQuery finden Sie unter Netzwerksicherheit.

Netzwerkzugriffssteuerung für SAP LT Replication Server-Host

Auf dem SAP LT Replication Server-Host müssen Sie dafür sorgen, dass alle Firewalls oder Proxys ausgehenden Traffic vom Server zum BigQuery API-Endpunkt zulassen. Insbesondere muss SAP LT Replication Server auf die folgenden Google Cloud APIs zugreifen können:

  • https://bigquery.googleapis.com
  • https://iamcredentials.googleapis.com

Leistungsplanung

Die Leistung von anfänglichen Ladevorgängen und Replikationsjobs zwischen SAP LT Replication Server und BigQuery wird von mehreren Faktoren an verschiedenen Punkten im Replikationspfad beeinflusst.

Bestimmte grundlegende Faktoren wie die Entfernung zwischen SAP LT Replication Server und Ihrem BigQuery-Dataset oder die Bandbreite Ihrer Verbindung zu Google Cloud, haben jedoch einen größeren Einfluss auf die Leistung als die meisten anderen Faktoren.

Best Practices für Gesamtleistung

Beachten Sie die folgenden Empfehlungen bei der Konfiguration von SAP LT Replication Server, um eine optimale Leistung zu erzielen:

  • Führen Sie Ihre SAP-Arbeitslast in Google Cloud aus, darunter das SAP-Quellsystem und SAP LT Replication Server.
  • Wenn sich Ihre SAP-Arbeitslast in Google Cloud befindet, erstellen Sie Ihr BigQuery-Dataset in derselben Region wie die SAP-Arbeitslast.
  • Wenn Sie Ihre SAP-Arbeitslast nicht in Google Cloud ausführen können:
    • Erstellen Sie das BigQuery-Dataset in der Google Cloud-Region, die der SAP-Arbeitslast am nächsten ist.
    • Stellen Sie über Cloud Interconnect eine Verbindung zu Google Cloud her.
  • Um Konflikte bei Ressourcen zu vermeiden, verwenden Sie separate dedizierte Hosts für das SAP-Quellsystem und SAP LT Replication Server.
  • Passen Sie die Größe des SAP LT Replication Server-Systems für Ihre Arbeitslast optimal an. Folgen Sie dazu der Anleitung zur Größenbemessung Ihrer Version von SAP LT Replication Server im SAP-Hilfeportal.
  • Verwenden Sie die folgenden Replikationseinstellungen für SAP LT Replication Server:
  • Konfigurieren Sie BigQuery-Connector für SAP mit:
    • Standardmäßiger Komprimierung von Datensätzen.
    • Maximaler Blockgröße.
  • Vermeiden Sie nach Möglichkeit die Zuordnung von Feldern zu Ihrer BigQuery-Tabelle.

Weitere Informationen finden Sie unter:

Weitere Merkmale, die sich auf die Leistung auswirken können

Viele Merkmale Ihrer Konfiguration und Daten können die Leistung beeinträchtigen. Einige dieser Merkmale können Sie möglicherweise nicht ändern. Dazu gehören:

  • Auf dem Quellserver:
    • Die Anzahl der CPUs.
    • Die Menge an Arbeitsspeicher
    • Die verwendete Datenbank, z. B. SAP HANA, SAP ASE oder IBM Db2.
    • Die Anzahl der Spalten in der Quelltabelle
    • Die Datenmenge, die in jedem Datensatz enthalten ist.
    • Die Metadaten der Tabelle, z. B. die Länge der Feldnamen.
    • Die Anzahl der Dialogarbeitsprozesse
  • In SAP LT Replication Server:
    • Die Anzahl der CPUs.
    • Die Menge an Arbeitsspeicher
    • Andere vom Host ausgeführte Arbeitslasten.
    • SAP-Dialog und Arbeitsprozesse im Hintergrund.
    • Die Art der Installationsarchitektur von SAP LT Replication Server. Weitere Informationen finden Sie unter Eigenständig (empfohlen) oder eingebettete Installation von SAP LT Replication Server.
    • Die Anzahl der Hintergrundjobs, die auf dem SAP LT Replication Server-System ausgeführt werden.
    • Die Anzahl der Hintergrundjobs, die der Massenübertragung auf dem Tab Verwaltung der LTRC-Transaktion zugeordnet werden.
    • Die Einstellungen für die Transaktionsleistung LTRS, einschließlich Lesetyp und Teilgröße.
  • In der Konfiguration der BigQuery-Replikation (Transaktion /GOOG/SLT_SETTINGS):
    • Gibt an, ob benutzerdefinierte Namen für die Zielfelder angegeben werden. Die Verarbeitung der BigQuery-Zielfeldnamen kann sich geringfügig auf die Leistung auswirken.
    • Gibt an, ob die Datensatzkomprimierung aktiviert ist
    • BigQuery-Connector für SAP-Blockgröße, die sich auf die Gesamtzahl der gesendeten HTTP-Anfragen auswirken kann.

Leistungsaspekte von SAP LT Replication Server

In den folgenden Abschnitten werden die Leistungsoptionen in Zusammenhang mit der Konfiguration von SAP LT Replication Server erläutert.

Leistung und Installationsarchitektur von SAP LT Replication Server

Eine eigenständige Architektur, in der SAP LT Replication Server auf einem eigenen dedizierten Server installiert ist, bietet in der Regel eine bessere Leistung als eine eingebettete Architektur, in der SAP LT Replication Server auf demselben Server wie das Quellsystem installiert ist.

In einer eingebetteten Architektur muss SAP LT Replication Server die Serverressourcen für das SAP-Quellsystem freigeben.

Selbst bei einer eigenständigen Architektur können die CPU und der Arbeitsspeicher des Hosts sowie alle anderen Arbeitslasten, die möglicherweise auf dem Server ausgeführt werden, die Leistung einer SAP LT Replication Server-Instanz beeinträchtigen.

Leistung und die erweiterten LTRS-Replikationseinstellungen

Die Leistung bei anfänglichen Ladevorgängen und bei der Replikation wird von den Einstellungen beeinflusst, die Sie für die Quelltabelle in der LTRS-Transaktion unter Erweiterte Replikationseinstellungen angeben.

Anleitungen zur Leistungsoptimierung, insbesondere zur Optimierung der anfänglichen Ladevorgänge oder der Replikation, finden Sie im Leitfaden zur Leistungsoptimierung von SAP LT Replication Server im SAP-Hilfeportal.

Google Cloud empfiehlt die folgenden Angaben im Abschnitt Erweiterte Replikationseinstellungen > Gesamtleistung der LTRS-Transaktion:

Für anfängliche Ladevorgänge der meisten Tabellentypen geben Sie 1 Bereichsberechnung als Lesetyp an. Geben Sie für Tabellen, die zu groß für 1 Bereichsberechnung sind, Lesetyp 5 an.

Legen Sie unter Aktive Einstellungen folgende Replikationseinstellungen fest:

  • Für möglichst schnelle Replikationen geben Sie Automatische Bereiche an.
  • Für zuverlässige Replikationen geben Sie Keine Bereiche an.

In der folgenden Tabelle werden Einstellungen für einige gängige Szenarien vorgeschlagen.

Tabellentyp Empfohlener Lesetyp
Transparent (klein bis mittel) Lesetyp 1 – Bereichsberechnung
Transparent (groß) Nur wenn Lesetyp 1 nicht funktioniert, Lesetyp 5 – Bereichsberechnung
Clustertabelle Lesetyp 4 – Senderwarteschlange

Leistung der Netzwerkverbindung

Die Bandbreite und die Latenz der Verbindung zwischen dem SAP LT Replication Server-System und BigQuery können sich auf die Gesamtleistung der Replikation in BigQuery auswirken.

Die Auswirkungen betreffen nicht nur die Replikationsgeschwindigkeit, sondern auch die Menge der von SAP LT Replication Server und dem Quellsystem verbrauchten Ressourcen: Je länger es dauert, bis die Bestätigung der Replikation von BigQuery eingeht, desto länger verbleiben die Hostressourcen in SAP LT Replication Server und im Quellsystem.

Wenn Ihre SAP-Arbeitslast lokal oder bei einem anderen Cloud-Anbieter ausgeführt wird, empfiehlt Google Cloud die Verwendung einer Cloud Interconnect-Verbindung, die eine hohe Bandbreite und eine niedrige Latenz bietet, ohne mit dem Traffic im öffentlichen Internet zu konkurrieren.

Sie können Cloud VPN verwenden, um eine Verbindung zu Google Cloud und BigQuery herzustellen. Bei einer VPN-Verbindung müssen die Replikationen jedoch mit dem allgemeinen Internettraffic konkurrieren.

Wenn Ihre SAP-Arbeitslast in Google Cloud ausgeführt wird, empfiehlt Google Cloud, SAP LT Replication Server und Ihr BigQuery-Dataset in derselben Region zu suchen. Wenn sich SAP LT Replication Server und BigQuery in verschiedenen Regionen befinden, ist die Latenz in der Regel höher und die Leistung ist in der Regel schlechter. Weitere Informationen zur Auswahl einer Region finden Sie unter Region und Zone auswählen.

Datenübertragung

Im Allgemeinen sollten Sie so viele Daten wie möglich in jeder HTTP-Anfrage senden, um die Gesamtzahl der HTTP-Anfragen und den zugehörigen Verarbeitungsaufwand zu reduzieren.

In einigen Fällen müssen Sie jedoch die gesendete Datenmenge reduzieren, entweder aufgrund der Größe der Datensätze in einer bestimmten Tabelle oder weil Sie eine Kontingentgrenze oder ein anderes Limit in BigQuery erreichen.

Sie können die bei jeder Anfrage gesendete Datenmenge so steuern:

  • Passen Sie die Datenmenge (die Teilgröße) an, die SAP LT Replication Server an BigQuery-Connector für SAP sendet.
  • Passen Sie die Datenmenge (die Blockgröße) an, die BigQuery-Connector für SAP an BigQuery sendet.
  • Passen Sie die Kontingente für Streaming-Insert-Anweisungen in Ihrem BigQuery-Projekt an.

Von SAP LT Replication Server gesendete Datenmenge anpassen

SAP LT Replication Server sendet Datensätze vom Quellsystem an BigQuery-Connector für SAP in Teilen. Jeder Teil wird als separater Lade- oder Replikationsjob behandelt, der Serverressourcen bis zu seiner Fertigstellung verbraucht.

Wenn Sie die Teilgröße von SAP LT Replication Server anpassen möchten, verringern Sie die Anzahl der SAP LT Replication Server-Prozesse sowie den damit verbundenen Aufwand.

Teilgröße und Blockgröße

Teile von SAP LT Replication Servers sind in Byte oder als Produkt aus Byte und Datensätzen dimensioniert. Die Größe von BigQuery-Connector für SAP-Blöcke wird anhand der Anzahl der darin enthaltenen Datensätze bestimmt. Die Bytegröße eines Blocks hängt von verschiedenen Faktoren ab, einschließlich der Anzahl der Felder und der Datenmenge in jedem Datensatz.

Wenn die Größe des SAP LT Replication Server-Teils größer ist als die Größe des BigQuery-Connector für SAP-Teils, sendet BigQuery-Connector für SAP mehrere Blöcke für jeden Teil, bis alle Datensätze aus dem Teil gesendet wurden.

Wenn die Größe des Teils kleiner als die Blockgröße ist, sendet BigQuery-Connector für SAP nur einen Block pro Teil. Jeder Block enthält nur die Anzahl der Datensätze, die in jedem Teil gesendet werden, unabhängig von der Größe, die in BigQuery-Connector für SAP festgelegt ist.

Legen Sie idealerweise eine Teilgröße in SAP LT Replication Server fest, mit der BigQuery-Connector für SAP möglichst große Blöcke erstellen kann, ohne das BigQuery-Limit für die Anzahl der Byte in den einzelnen HTTP-Anfragen zu überschreiten.

Eine Anleitung zur Festlegung der Blockgröße finden Sie unter Blockgröße in BigQuery-Connector für SAP.

Teilgröße in SAP LT Replication Server

Führen Sie die LTRS-Transaktion aus, um die von SAP LT Replication Server verwendete Standardgröße zu ändern, und passen Sie den Wert im Feld Paketgröße in Erweiterte Replikationseinstellungen unter Leistungsoptionen an.

Weitere Informationen finden Sie im Leitfaden zur Leistungsoptimierung von SAP LT Replication Server im SAP-Hilfeportal.

Blockgröße in BigQuery-Connector für SAP

BigQuery-Connector für SAP sendet Daten als Datensatzblöcke an BigQuery. Wir empfehlen, die von BigQuery-Connector für SAP maximale Blockgröße zu verwenden, also 10.000 Einträge. 10.000 Einträge sind auch die standardmäßige Blockgröße, die von BigQuery-Connector für SAP verwendet wird.

Wenn die Anzahl der Datensätze in einem bestimmten Block in eine Bytegröße aufgelöst wird, die das BigQuery-Limit für die Bytegröße für HTTP-Anfragen überschreitet, erhalten Sie entweder den Fehler quotaExceeded oder invalid.

Dies kann passieren, wenn die Datensätze in einer Quelltabelle viele Felder enthalten oder die Felder viele Daten enthalten.

Wenn ein Fehler im Zusammenhang mit der Blockgröße auftritt, reduzieren Sie die Blockgröße, die in der Konfiguration der Massenübertragung für diese Tabelle angegeben ist.

Bei SAP-Quelltabellen wie MSEG, ACDOCA und MATDOC, die große Datensätze mit vielen Feldern enthalten können, müssen Sie möglicherweise eine Blockgröße von maximal 2.000 angeben.

Führen Sie die /GOOG/SLT_SETTINGS-Transaktion aus, um eine Blockgröße anzugeben. Die Blockgröße wird im Feld Blockgröße auf dem Bildschirm der Tabellenattribute angegeben.

Weitere Informationen zum Festlegen der Blockgröße finden Sie unter:

Weitere Informationen zu BigQuery-Fehlermeldungen finden Sie unter Fehlermeldungen.

Mit dem Senden von Teilen verbundener Verarbeitungsaufwand

Jeder gesendete Teil löst die folgenden Aktionen aus, von denen jede einen gewissen Verarbeitungsaufwand oder Ressourcenverbrauch verursacht:

  1. Eine Sammlung geänderter Datensätze in der Logging-Tabelle im Quellsystem wird in einem einzigen Teil an SAP LT Replication Server gesendet. Die geänderten Datensätze werden noch nicht aus der Logging-Tabelle gelöscht.
  2. SAP LT Replication Server fordert ein neues Zugriffstoken von Google Cloud an.
  3. BigQuery-Connector für SAP sendet eine HTTP-Anfrage an BigQuery, um die Struktur der Zieltabelle zu prüfen.
  4. BigQuery Connector für SAP sendet die Datensätze in so vielen Blöcken, wie erforderlich sind, um alle Datensätze zu senden, die es im einzelnen Teil empfangen hat. Jeder Block wird in einer separaten HTTP-Anfrage gesendet.
  5. BigQuery verarbeitet jeden empfangenen Teil.
  6. Für jeden Block wird ein HTTP-OK-Statuscode an SAP LT Replication Server zurückgegeben.
  7. Nachdem BigQuery alle Datensätze erhalten hat, löscht SAP LT Replication Server die gesendeten Datensätze aus der Logging-Tabelle und die Ressourcen werden im Quellsystem freigegeben.

Weitere Informationen zu Teilen und zum Konfigurieren der Leistung von SAP LT Replication Server finden Sie im Leitfaden zur Leistungsoptimierung von SAP LT Replication Server im SAP-Hilfeportal.

BigQuery-Kontingente

Die für Ihr Projekt geltenden Kontingente der BigQuery Streaming API begrenzen die Menge an Daten, die Sie im Laufe der Zeit und in einer einzelnen HTTP-Anfrage an BigQuery streamen können.

BigQuery legt beispielsweise Limits für folgende Messwerte fest:

  • Die Byte pro Sekunde und Projekt, die Sie senden können
  • Die maximale Anzahl von Datensätzen oder Zeilen, die Sie in einer einzelnen HTTP-Anfrage senden können.
  • Die maximale Größe einer HTTP-Anfrage, die Sie senden können

Bei Streaming-Insert-Anweisungen korrigiert BigQuery die Größe der HTTP-Anfragen auf 10 MB und die Anzahl der Datensätze, die Sie in einer einzelnen HTTP-Anfrage senden können, auf 50.000.

In den meisten Fällen können Sie Kontingente ändern, aber keine Limits.

Die für Ihr Projekt geltenden Kontingente können Sie in der Google Cloud Console auf der Seite Kontingente ansehen und bearbeiten.

Weitere Informationen zu den BigQuery-Kontingenten und -Limits für Streaming-Insert-Anweisungen finden Sie unter:

Datensatzkomprimierung

Standardmäßig verbessert BigQuery-Connector für SAP die Replikationsleistung, indem die an BigQuery gesendeten Datensätze komprimiert werden.

Wenn die Datensatzkomprimierung aktiviert ist (Standardeinstellung), verwirft BigQuery Connector für SAP Felder, die im Quelldatensatz leer sind, aus den Einträgen, die an BigQuery gesendet werden. Wenn der Datensatz in BigQuery eingefügt wird, werden die Felder, die in den gesendeten Daten weggelassen wurden, mit null in der Zieltabelle initialisiert.

Sie können die Datensatzkomprimierung deaktivieren, indem Sie in der BigQuery-Tabellenkonfiguration Unkomprimiertes Flag senden angeben. Dies kann sich jedoch negativ auf die Replikationsleistung auswirken.

Wenn Unkomprimiertes Flag senden ausgewählt ist, sendet BigQuery Connector für SAP Datensätze mit allen Feldern, einschließlich leerer Felder, an BigQuery. Mit Ausnahme von Datumsfeldern und Zeitstempelfeldern behalten die leeren Felder den Wert bei, mit dem sie in der Quelltabelle initialisiert wurden. Der initialisierte Wert für die Datums- und Zeitstempelfelder erhält die folgenden Werte:

  • Initialisierungswert des Datumsfelds: DATE 1970-01-01
  • Initialisierungswert des Zeitstempelfelds: TIMESTAMP 1970-01-01 00:00:00 UTC

Konfiguration der BigQuery-Replikation

Zum Konfigurieren der Replikation mit BigQuery-Connector für SAP verwenden Sie verschiedene SAP-Transaktionen, einschließlich einer benutzerdefinierten Transaktion, die von Google Cloud bereitgestellt wird:

  • SM30: Definiert Attribute für die Verbindung mit Google Cloud, die als Datensatz in der benutzerdefinierten Konfigurationstabelle /GOOG/CLIENT_KEY gespeichert werden.
  • LTRC: Definiert verschiedene BigQuery-Connector for SAP-Attribute, darunter Replikationsanwendung und Massenübertragungs-ID.
  • /GOOG/SLT_SETTINGS: Definiert Attribute für das BigQuery-Ziel-Dataset, die Zieltabelle und die Zielfelder. Wenn Sie /GOOG/SLT_SETTINGS in SAP LT Replication Server eingeben, müssen Sie /n hinzufügen, um den ersten Schrägstrich im Transaktionsnamen zu maskieren.

Sprachunterstützung

BigQuery Connector für SAP Version 2.1 unterstützt nur Replikationskonfigurationen auf Englisch. Wenn Sie die Replikation mit den SAP-Transaktionen und der von Google Cloud bereitgestellten benutzerdefinierten Transaktion konfigurieren, verwenden Sie Englisch als Anmeldesprache auf dem SAP-Anmeldebildschirm.

BigQuery-Connector für SAP unterstützt jedoch die Ausführung von Hintergrundjobs, die auf dem SAP LT Replication Server in allen von SAP SLT unterstützten Sprachen ausgeführt werden.

Alle Fehlermeldungen, die bei der Arbeit mit BigQuery-Connector für SAP auftreten können, werden unabhängig von der Sprache der Hintergrundjobausführung in Englisch generiert.

Attribute von Zieltabellen

Wenn Sie die Replikation in SAP LT Replication Server durch Ausführen der Transaktion /GOOG/SLT_SETTINGS konfigurieren, können Sie Einstellungen festlegen, die gelten, wenn BigQuery-Connector für SAP die Zieltabelle in BigQuery erstellt.

Sie können für eine BigQuery-Zieltabelle beispielsweise die folgenden Attribute angeben:

  • Tabellenname
  • Die Standardoption zur Benennung von Feldern
  • Zusätzliche Felder zum Erfassen von Datensatzänderungen und zum Aktivieren von Abfragen nach Datensatzanzahl
  • Tabellenpartitionierung

Standardoptionen zur Benennung von Feldern

Sie können BigQuery-Connector für SAP so konfigurieren, dass die Namen für die Felder in der BigQuery-Zieltabelle entweder aus den Namen der Quellfelder oder aus den Labels und Beschreibungen der Quellfelder erstellt werden. Die Labels und Beschreibungen sind in der Regel informativer als der Inhalt des Felds.

BigQuery-Connector für SAP verwendet standardmäßig die Namen der Quellfelder. Sie können den Standardwert ändern, indem Sie bei der Tabellenerstellung in der Massenübertragungskonfiguration der Transaktion /GOOG/SLT_SETTINGS die Option Benutzerdefinierte Namen festlegen. Diese Angabe wird in der Konfigurationstabelle /GOOG/BQ_MASTR gespeichert.

BigQuery-Connector für SAP ändert die Namen so, dass sie der BigQuery-Namenskonvention entsprechen.

Bevor eine Tabelle erstellt wird, können Sie die Feldnamen im Bildschirm zur Feldzuordnung der Transaktion /GOOG/SLT_SETTINGS bearbeiten.

Wenn das Flag Benutzerdefinierte Namen angegeben ist, werden die Namen, die der BigQuery-Connector für SAP-Connector beim Erstellen der Zieltabelle verwendet, in der Spalte Name des externen Felds im Bildschirm zur Feldzuordnung angezeigt.

BigQuery-Connector für SAP erstellt die Namen in der Spalte Externer Feldname aus dem Feldlabel medium jedes Quellfelds. Wenn in der Definition des Quellfelds kein Label für ein mittleres Feld angegeben ist, wird die kurze Beschreibung des Felds verwendet. Wenn die kurze Beschreibung ebenfalls nicht angegeben ist, wird das kürzeste angegebene Label verwendet. Wenn nichts angegeben ist, wird der Name des Quellfelds verwendet.

Weitere Informationen zum Anpassen von Zielfeldnamen finden Sie unter Zielfeldnamen anpassen.

Datensatzänderungen erfassen und Datensatzanzahl aktivieren

Geben Sie die Option Flag für zusätzliche Felder in der Transaktion /GOOG/SLT_SETTINGS an, wenn Sie die Replikation konfigurieren, um den Typ der Änderung in der Quelltabelle zu erfassen, die die Replikation ausgelöst hat, und die Anzahl der Datensätze in der BigQuery-Tabelle zum Vergleich mit SAP LT Replication Server oder die Anzahl der Datensätze in der Quelltabelle abzufragen.

Wenn die Option Flag für zusätzliche Felder angegeben ist, werden dem Schema die folgenden Spalten für die BigQuery-Zieltabelle hinzugefügt:

Feldname Datentyp Beschreibung
operation_flag STRING

Gibt die Art der Änderung in der Quelltabelle an, die das Laden oder die Replikation des Datensatzes in BigQuery ausgelöst hat.

Zum Zählen von Einträgen, die im Replikationsmodus eingefügt wurden, können Sie abgefragte Datensätze mit dem Wert I, U oder D im Feld operation_flag zählen. Eine Beispielabfrage finden Sie unter Anzahl der im Replikationsmodus eingefügten Datensätze abfragen.

Wenn Sie Datensätze zählen möchten, die im anfänglichen Lademodus eingefügt wurden, können Sie abgefragten Datensätze mit dem Wert L im Feld operation_flag abfragen. Eine Beispielabfrage finden Sie unter Anzahl der im anfänglichen Lademodus eingefügten Datensätze abfragen.

is_deleted BOOLEAN Bei true wird der Quelldatensatz aus der Quelltabelle gelöscht.

Schließen Sie gelöschte Quelldatensätze mit dem Feld is_deleted aus, wenn Sie nur Einträge in einer BigQuery-Tabelle zählen möchten, die nicht aus der Quelltabelle gelöscht wurden. Eine Beispielabfrage finden Sie unter Gesamtanzahl der Datensätze in einer BigQuery-Tabelle abfragen.

recordstamp TIMESTAMP

Der Zeitpunkt, an dem SAP LT Replication Server den Eintrag an BigQuery gesendet hat.

Wenn Sie die Anzahl der eindeutigen Datensätze in einer BigQuery-Tabelle zählen möchten, können Sie nur die zuletzt eingefügte Instanz jedes Eintrags abfragen. Eine Beispielabfrage finden Sie unter Gesamtanzahl der Datensätze in einer BigQuery-Tabelle abfragen.

Die aktuelle Einstellung der Option Flag für zusätzliche Felder wird in der Konfigurationstabelle /GOOG/BQ_MASTR gespeichert.

Weitere Informationen zum Angeben des Flags für zusätzliche Felder finden Sie unter:

Tabellenpartitionierung

Sie können BigQuery-Tabellen erstellen, die nach einem Zeitstempelfeld in der Quelltabelle partitioniert sind, wodurch eine nach Zeiteinheitspalte partitionierte Tabelle erstellt wird. Sie können aber auch BigQuery-Tabellen erstellen, die nach dem Zeitpunkt partitioniert werden, zu dem die Datensätze in BigQuery eingefügt werden, wodurch eine nach Aufnahmezeit partitionierte Tabelle erstellt wird.

Zum Aktivieren der Partitionierung geben Sie beim Konfigurieren der Replikationsattribute im Feld /GOOG/BQ_TABLEPartitionierungstyp einen Partitionstyp an.

Mit den verfügbaren Partitionstypen können Sie die Granularität der Partitionierung nach Stunde, Tag, Monat oder Jahr anpassen.

Wenn Sie einen Zeitstempel aus der Quelltabelle für die Partitionierung nach Zeiteinheiten verwenden möchten, geben Sie den Namen des Quellfelds im Feld Partitionsfeld an.

Wenn Sie eine BigQuery-Einfügungszeit für die Partitionierung nach Aufnahmezeit verwenden möchten, können Sie das Partitionierungsfeld leer lassen. BigQuery-Connector für SAP erstellt in der Zieltabelle ein Feld zum Speichern der Einfügungszeit.

Zielfeldattribute

BigQuery-Connector für SAP verwendet standardmäßig die Feldnamen und Datentypen in der SAP-Quelltabelle als Feldnamen und Datentypen in der BigQuery-Zieltabelle.

Optional können Sie vor dem Erstellen der Zieltabelle die Feldnamen anpassen oder den BigQuery-Datentyp ändern.

Zielfeldnamen anpassen

Bevor eine Tabelle erstellt wird, können Sie die Zielfeldnamen anpassen.

Bei Bedarf ändert BigQuery-Connector for SAP die von Ihnen angegebenen benutzerdefinierten Namen so, dass sie der BigQuery-Namenskonvention entsprechen.

Beim Konfigurieren der Replikation können Sie die Feldnamen im Bildschirm für die Feldzuordnung der Transaktion /GOOG/SLT_SETTINGS aufrufen. BigQuery-Connector für SAP speichert Ihre Einstellungen in der Konfigurationstabelle /GOOG/BQ_FIELD.

Bevor Sie eine Tabelle erstellen, können Sie einen benutzerdefinierten Feldnamen angeben. Bearbeiten Sie dazu den generierten Namen in der Spalte Temporärer Feldname des Bildschirms zur Feldzuordnung. Wenn Sie einen Wert löschen und das Feld Temporärer Feldname leer lassen, verwendet BigQuery Connector für SAP den Namen des Quellfelds für den Namen dieses Zielfelds.

Nachdem Sie Änderungen am Feld Temporärer Feldname vorgenommen haben, validiert BigQuery-Connector für SAP den Wert, wenn Sie auf Speichern klicken, wendet die BigQuery-Namenskonventionen nach Bedarf an und speichert die Änderungen. Drücken Sie die Eingabetaste, um einen Wert zu validieren, ohne ihn zu speichern

Informationen zum Festlegen der Standardmethode zur Benennung von Zielfeldern finden Sie unter Standardoptionen zur Benennung von Feldern.

BigQuery-Feldzuordnung mithilfe einer Tabelle oder Textdatei bearbeiten

Bevor Sie eine BigQuery-Zieltabelle erstellen, können Sie die Standarddatentypen, -namen und -beschreibungen der Zielfelder optional in einer Tabelle oder Textdatei speichern, damit BigQuery-Data Engineers oder -Administratoren die Werte mühelos bearbeiten können, ohne Zugriff auf SAP LT Replication Server zu benötigen.

Nachdem die Werte bearbeitet wurden, müssen Sie die Datei und deren Inhalt in das CSV-Format konvertieren. Anschließend können Sie die Updates auf die Einstellungen zur Massenübertragung anwenden, indem Sie die CSV-Datei mithilfe der benutzerdefinierten Transaktion /GOOG/SLT_SETTINGS hochladen.

Die Bearbeitung der BigQuery-Feldzuordnung mithilfe einer CSV-Datei umfasst die folgenden Schritte:

  1. Tabelle oder Textdatei mit den Standardfeldzuordnungen erstellen
  2. Die Werte bearbeiten
  3. Die Tabelle oder Textdatei in das CSV-Format konvertieren
  4. Die CSV-Datei hochladen

Eine ausführliche Anleitung zu den einzelnen Schritten finden Sie unter BigQuery-Feldzuordnung in einer CSV-Datei bearbeiten.

BigQuery-Namenskonvention für Felder

Die BigQuery-Namenskonvention verwendet nur Kleinbuchstaben, Ziffern und Unterstriche.

BigQuery-Connector für SAP wendet die BigQuery-Namenskonventionen auf jeden Eingabewert an, der für den Namen eines Zielfelds verwendet werden soll.

Wenn Sie beispielsweise FIELD-@#!*123 als benutzerdefinierten Feldnamen eingeben, ändert BigQuery-Connector für SAP den Namen in field_123.

Weitere Informationen zur BigQuery-Namenskonvention für Felder finden Sie unter Spaltennamen.

Datentypzuordnung

Standardmäßig weist BigQuery-Connector für SAP den BigQuery-Zielfeldern anhand der SAP-Typart oder des SAP-Datentyps des SAP-Quelltyps Datentypen zu.

Beim Konfigurieren der Replikation können Sie die Datentypen im Bildschirm für die Feldzuordnung der Transaktion /GOOG/SLT_SETTINGS aufrufen. BigQuery-Connector für SAP speichert Ihre Einstellungen in der Konfigurationstabelle /GOOG/BQ_FIELD.

Bevor eine Tabelle erstellt wird, können Sie die Spezifikation des Standarddatentyps in der Spalte Externes Datenelement des Felds zur Feldzuordnung auf einen anderen BigQuery-Datentyp ändern.

Datentypen mit besonderer Handhabung

Mehrere SAP-Datentypen erfordern eine besondere Handhabung, damit sie in der BigQuery-Zieltabelle genau dargestellt werden.

Einige dieser Datentypen müssen Sie manuell bearbeiten. Andere werden von BigQuery-Connector für SAP bearbeitet.

Boolesche Werte

Für boolesche Werte verwendet SAP den Datentyp CHAR, der standardmäßig von BigQuery-Connector für SAP dem Datentyp STRING in der BigQuery-Zieltabelle zugeordnet wird.

Wenn Sie die Replikation mit der Transaktion /GOOG/SLT_SETTINGS konfigurieren, müssen Sie demzufolge für boolesche Werte die Standardzuweisung des Datentyps für boolesche Felder im Bildschirm für die Feldzuordnung von STRING in BOOLEAN ändern.

Zeitstempel

Für Zeitstempel verwendet SAP die Datentypen P (verpackte Dezimalzahl) oder DEC (Dezimalzahl), die BigQuery-Connector für SAP in der BigQuery-Zieltabelle standardmäßig NUMERIC zuordnet.

Wenn Sie die Replikation mit der Transaktion /GOOG/SLT_SETTINGS konfigurieren, müssen Sie demzufolge für Zeitstempel die Standardzuweisung des Datentyps für Zeitstempelfelder im Bildschirm für die Feldzuordnung von NUMERIC in TIMESTAMP oder TIMESTAMP (LONG) ändern.

SAP-Typart X

Die SAP-Typart X ist ein Hexadezimalwert und wird durch die SAP-Datentypen RAW, RAWSTRING und LRAW dargestellt. BigQuery-Connector für SAP ordnet diese Datentypen in der BigQuery-Quelltabelle standardmäßig STRING zu.

Wenn Sie stattdessen ein Quellfeld mit der SAP-Typart X für die Zuordnung BYTES benötigen, müssen Sie die Standardzuweisung des Datentyps für das Feld im Bildschirm für die Feldzuordnung der Transaktion /GOOG/SLT_SETTINGS ändern.

Die SAP-Typart X wird manchmal auch in SAP zur Darstellung von Ganzzahlen verwendet. In diesem Fall prüft BigQuery-Connector für SAP den Datentyp des Quellfelds auf einen der SAP-Datentypen für Ganzzahlen, INT1, INT2, INT4, INT8 und weist den Datentyp INTEGER in der BigQuery-Zieltabelle zu.

SAP-Typart y

Die SAP-Typart y ist ein Bytestring und wird durch die SAP-Datentypen RAW, RAWSTRING und LRAW dargestellt. BigQuery-Connector für SAP ordnet diese Datentypen in der BigQuery-Quelltabelle standardmäßig STRING zu.

Wenn Sie stattdessen ein Quellfeld mit der SAP-Typart y für die Zuordnung BYTES benötigen, müssen Sie die Standardzuweisung des Datentyps für das Feld im Bildschirm für die Feldzuordnung der Transaktion /GOOG/SLT_SETTINGS ändern.

Standardzuordnung des Datentyps

Die folgende Tabelle zeigt die Standardkonvertierung des Datentyps für BigQuery-Connector für SAP:

SAP-Typart SAP-Datentyp BigQuery-Datentyp Hinweise
b (1-Byte-Ganzzahl)
s (2-Byte-Ganzzahl)
I (4-Byte-Ganzzahl)
8 (8-Byte-Ganzzahl) 		INT1
INT2
INT4
INT8 		INTEGER
F (Gleitkommazahl) FLTP FLOAT
P (verpackt) CURR
DEC
QUAN 		NUMERIC Standardmäßig wird die SAP-Typart P dem BigQuery-Datentyp NUMERIC zugeordnet und in eine Zahl im externen Format konvertiert.
N (numerisch) NUMC STRING
X (hexadezimal)
y (Bytestring) 		RAW
RAWSTRING
LRAW 		STRING Wenn die SAP-Typart X ist, der Datentypname jedoch das Muster 'INT*' (INT1, INT2, INT4) abdeckt, wird ein Quelldatenelement durch ein neues Datenelement TYPINT8 mit TYPEKIND '8' ersetzt, das dem BigQuery-Datentyp INTEGER zugeordnet ist.
C (Zeichen)
g (Zeichenstring)
? (csequence)
& (clike) 		CHARSTRING STRING
D (Datum) DATS DATE
T (Uhrzeit) TIMS TIME

Supportlebenszyklus

Google Cloud unterstützt und verwaltet die aktuelle Hauptversion von BigQuery-Connector für SAP und, für mindestens 12 Monate, nachdem die Einstellung der Version auf der Seite "Release Notes" für SAP in Google Cloud angekündigt wurde, die vorherige Hauptversion.