BigQuery Toolkit für SAP installieren und konfigurieren

On-premises or any cloud edition v1.9

• SAP BTP-Edition v1.1
• Lokale oder beliebige Cloud-Version v1.9

In diesem Dokument wird beschrieben, wie Sie das BigQuery Toolkit für SAP installieren und konfigurieren.

BigQuery Toolkit für SAP installieren

Wenn Sie die Version 1.9 der lokalen oder Cloud-Version des ABAP SDK for Google Cloud installieren, wird das BigQuery Toolkit for SAP standardmäßig für Sie installiert. Informationen zu den Installationsschritten finden Sie unter Lokale oder Cloud-Version des ABAP SDK for Google Cloud installieren und konfigurieren.

Wenn Sie bereits Version 1.8 oder eine frühere Version der lokalen oder einer beliebigen Cloud-Version des ABAP SDK for Google Cloud verwenden, müssen Sie Ihr SDK auf die neueste Version aktualisieren, um das BigQuery Toolkit for SAP zu erhalten. Weitere Informationen finden Sie unter ABAP SDK for Google Cloud aktualisieren.

Aktivieren der BigQuery-API

Sie müssen die BigQuery API in Ihrem Google Cloud-Projekt aktivieren. Informationen zum Aktivieren von APIs Google Cloud finden Sie unter APIs aktivieren.

Authentifizierung einrichten

Nachdem Sie die Authentifizierung für den Zugriff auf Google Cloud APIs in Ihrer lokalen oder einer beliebigen Cloud-Version des ABAP SDK for Google Cloud eingerichtet haben, verwendet das BigQuery Toolkit for SAP dieselbe Authentifizierungsmethode für den Zugriff auf die BigQuery API. Informationen zum Einrichten der Authentifizierung in der lokalen oder einer beliebigen Cloud-Version des ABAP SDK for Google Cloud finden Sie unter Authentifizierung.

Das in der Clientschlüsselkonfiguration des ABAP SDK for Google Cloud konfigurierte Dienstkonto muss die folgenden Rollen haben:

• BigQuery-Dateneditor
• BigQuery Job User

Notieren Sie sich den Clientschlüssel, den Sie im Rahmen der Einrichtung der Authentifizierung erstellt haben. Sie verwenden diesen Clientschlüssel, wenn Sie das Konfigurationsmodul für den BigQuery Data Transfer Service des BigQuery Toolkit for SAP in Ihrem SAP-System konfigurieren.

BigQuery-Dataset erstellen

Zum Erstellen eines BigQuery-Datasets muss Ihr Nutzerkonto die richtigen IAM-Berechtigungen für BigQuery haben. Weitere Informationen finden Sie unter Erforderliche Berechtigungen.

So erstellen Sie ein BigQuery-Dataset:

1. Öffnen Sie in der Google Cloud Console die Seite "BigQuery":

   BigQuery aufrufen

2. Klicken Sie neben Ihrer Projekt-ID auf das Symbol Aktionen ansehen und dann auf Dataset erstellen.

   

3. Geben Sie im Feld Dataset-ID einen eindeutigen Namen ein. Weitere Informationen finden Sie unter Datasets benennen.

Weitere Informationen zum Erstellen von BigQuery-Datasets finden Sie unter Datasets erstellen.

BigQuery Data Transfer-Modul konfigurieren

Mit dem BigQuery Data Transfer-Modul des BigQuery Toolkits für SAP können Sie eine Datenpipeline von Ihrem SAP-System zu BigQuery erstellen. Dabei erstellen Sie eine Bulk-Übertragungskonfiguration, in der Sie angeben können, welche SAP-Datenquellen repliziert werden sollen, Felder zwischen Ihren SAP- und BigQuery-Tabellen zuordnen und die Leistung durch Konfigurieren der Datenreplizierungseinstellungen optimieren.

Anfängliche Massenübertragungsoptionen auswählen

Wählen Sie den Teil der Massenübertragungskonfiguration aus, den Sie bearbeiten möchten.

Tipp : Wenn Sie in der SAP-Benutzeroberfläche auf den Bildschirm BigQuery Data Transfer: Settings Maintenance (BigQuery-Datenübertragung: Einstellungen verwalten) zugreifen möchten, können Sie den Transaktionscode /GOOG/BQTR_SETTINGS vorangestellt von /n ausführen.

So wählen Sie den Teil der Massenübertragungskonfiguration aus:

1. Führen Sie in der SAP-GUI den Transaktionscode /GOOG/SDK_IMG aus.

   Alternativ können Sie den Transaktionscode SPRO ausführen und dann auf SAP-Referenz-IMG klicken.

2. Klicken Sie auf ABAP SDK for Google Cloud > Grundlegende Einstellungen > BigQuery Data Transfer: Einstellungen verwalten.

3. Wählen Sie im Drop-down-Menü Einstellungstabelle die Option Massenübertragungen aus.

   Lassen Sie für eine neue Massenübertragungskonfiguration das Feld Massenübertragungsschlüssel leer.

4. Klicken Sie auf das Symbol Ausführen. Der Bildschirm Wartung der BigQuery Data Transfer-Einstellungen – Massenübertragungen wird angezeigt.

Tabellenerstellung und andere allgemeine Attribute angeben

Im ersten Abschnitt einer BigQuery-Massenübertragungskonfiguration identifizieren Sie die Massenübertragungskonfiguration und geben den zugehörigen Clientschlüssel sowie bestimmte Attribute an, die sich auf die Erstellung der BigQuery-Zieltabelle beziehen.

Ihr SAP-Server speichert die Massenübertragungskonfiguration als Datensatz in der benutzerdefinierten Konfigurationstabelle /GOOG/BQTR_MASTR.

Die in den folgenden Schritten angegebenen Felder sind für eine Massenübertragungskonfiguration erforderlich.

So geben Sie Tabellenattribute an:

1. Klicken Sie auf dem Bildschirm Wartung der BigQuery Data Transfer-Einstellungen auf das Symbol Zeile anhängen.

2. Geben Sie in der angezeigten Zeile die folgenden Einstellungen an:

   1. Geben Sie im Feld Massenübertragungsschlüssel einen Namen für diese Übertragung an. Dieser Name wird zum Primärschlüssel der Massenübertragung.
   2. Wenn Sie die Labels oder kurze Beschreibungen der Quellfelder als Namen für die Zielfelder in BigQuery verwenden möchten, klicken Sie das Kästchen Flag „Benutzerdefinierten Namen“ verwenden an. Weitere Informationen zu Feldnamen finden Sie unter Standardoptionen zur Benennung von Feldern.

   3. Wenn Sie die Art der Änderung speichern möchten, die ein Einfügen ausgelöst hat, und die Validierung der Anzahl der Datensätze zwischen der Quelltabelle, den SAP-Serverstatistiken und der BigQuery-Tabelle aktivieren möchten, klicken Sie das Kästchen Flag „Zusätzliche Felder“ an.

      Wenn dieses Flag festgelegt ist, fügt das BigQuery Toolkit für SAP dem BigQuery-Tabellenschema Spalten hinzu. Weitere Informationen finden Sie unter Zusätzliche Felder für Datensatzänderungen und Anzahlabfragen.

   4. Damit das Senden von Daten beenden wird, wenn ein Datensatz mit einem Datenfehler gefunden wird, ist das Kästchen Flag „Beim ersten Fehler unterbrechen“ standardmäßig angeklickt. Wir empfehlen, diese Option aktiviert zu lassen. Weitere Informationen finden Sie unter Das BREAK-Flag.

   5. Optional können Sie die Blockgröße automatisch verringern, wenn die Bytegröße eines Blocks die maximale Bytegröße für HTTP-Anfragen überschreitet, die von BigQuery akzeptiert werden, indem Sie auf das Kästchen Flag zur dynamischen Größe von Blocks klicken. Weitere Informationen zur dynamischen Größe von Blocks finden Sie unter Dynamische Größe von Blocks.

   6. Wenn ein Datensatz mit einem Datenfehler gefunden wird, klicken Sie auf das Kästchen Flag „Ungültige Datensätze überspringen“, um den Datensatz zu überspringen und weiter Datensätze in die BigQuery-Tabelle einzufügen. Wir empfehlen, diese Option deaktiviert zu lassen. Weitere Informationen finden Sie unter Das SKIP-Flag.

   7. Geben Sie im Feld Google Cloud-Schlüsselname den Namen der entsprechenden Clientschlüsselkonfiguration ein.

      BigQuery Toolkit for SAP ruft die Google Cloud -Projekt-ID aus der Clientschlüsselkonfiguration ab.

   8. Geben Sie im Feld BigQuery-Dataset den Namen des BigQuery-Ziel-Datasets ein, das Sie im Abschnitt BigQuery-Dataset erstellen erstellt haben.

   9. Aktivieren Sie im Feld Flag „Ist Einstellung aktiv“ die Konfiguration der Massenübertragung. Klicken Sie dazu auf das Kästchen.

   10. Klicken Sie auf Speichern.

       Ein Massenübertragungsdatensatz wird in der Tabelle /GOOG/BQTR_MASTR angehängt und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

   11. Klicken Sie auf Tabelle anzeigen.

       Der neue Massenübertragungsdatensatz wird angezeigt, gefolgt vom Eintragsbereich für das Tabellenattribut.

Tabellenattribute angeben

Sie können Tabellenattribute wie den Tabellennamen und die Tabellenpartitionierung sowie die Anzahl der Datensätze angeben, die in jede Übertragung oder jeden Block aufgenommen werden sollen, der an BigQuery gesendet wird.

Die von Ihnen angegebenen Einstellungen werden als Datensatz in der Konfigurationstabelle /GOOG/BQTR_TABLE gespeichert.

Diese Einstellungen sind für eine Massenübertragungskonfiguration optional.

So geben Sie Tabellenattribute an:

1. Klicken Sie auf das Symbol Zeile anhängen.

2. Geben Sie im Feld Name der SAP-Datenquelle den Namen der SAP-Quellobjekte ein, z. B. Tabellen, Wörterbuchansichten, CDS-Ansichten oder CDS-Entitäten.

3. Geben Sie im Feld Name der externen Tabelle den Namen der BigQuery-Zieltabelle ein. Wenn die Zieltabelle noch nicht vorhanden ist, erstellt das BigQuery Toolkit für SAP die Tabelle mit diesem Namen. Die BigQuery-Namenskonventionen für Tabellen finden Sie unter Tabellennamen.

4. Wenn Sie unkomprimierte Daten für alle Felder in einer Tabelle senden möchten, wählen Sie Flag „Unkomprimiert senden“ aus. Wenn diese Einstellung aktiviert ist, repliziert das BigQuery Toolkit für SAP alle leeren Felder in den Quelldatensätzen mit den Werten, mit denen die Felder in der Quelltabelle initialisiert wurden. Wenn Sie eine bessere Leistung erzielen möchten, sollten Sie dieses Flag nicht auswählen.

   Wenn Sie nur für bestimmte Felder unkomprimierte Daten senden möchten, wählen Sie auf Tabellenebene nicht Flag „Unkomprimiert senden“ aus. Wählen Sie stattdessen für diese Felder auf Feldebene die Option Flag „Unkomprimiert senden“ aus. Mit dieser Option können Sie die ursprünglichen Werte bestimmter Felder bei der Replikation von Daten in BigQuery beibehalten, auch wenn Sie den Rest der Tabellendaten komprimieren. Informationen zum Ändern der Datensatzkomprimierung auf Feldebene finden Sie unter Datensatzkomprimierung auf Feldebene ändern.

   Weitere Informationen zum Verhalten der Datensatzkomprimierung finden Sie unter Datensatzkomprimierung.

5. Geben Sie optional im Feld Blockgröße die maximale Anzahl der Datensätze an, die in jedem Block enthalten sein sollen, der an BigQuery gesendet wird. Wir empfehlen, die standardmäßige Block-Größe mit BigQuery Toolkit für SAP zu verwenden,also 10.000 Datensätze. Bei Bedarf können Sie die Blockgröße auf bis zu 50.000 Datensätze erhöhen. Das ist die maximale Blockgröße, die BigQuery Toolkit für SAP zulässt.

   Wenn die Quelldatensätze eine große Anzahl von Feldern enthalten, kann die Anzahl der Felder die Bytegröße der Blöcke insgesamt erhöhen, was zu Blockfehlern führen kann. Versuchen Sie in diesem Fall, die Blockgröße zu reduzieren, um die Bytegröße zu reduzieren. Weitere Informationen finden Sie unter Blockgröße für die Datenübertragung. Alternativ können Sie die dynamische Blockgröße aktivieren, um die Blockgröße automatisch anzupassen. Weitere Informationen finden Sie unter Dynamische Blockgröße.

6. Geben Sie optional im Feld Partitionstyp ein Zeitinkrement für die Partitionierung an. Gültige Werte sind HOUR, DAY, MONTH oder YEAR. Weitere Informationen finden Sie unter Tabellenpartitionierung.

7. Optional können Sie im Feld Partitionsfeld den Namen eines Felds in der BigQuery-Zieltabelle angeben, das einen Zeitstempel für die Partitionierung enthält. Wenn Sie das Partitionsfeld angeben, müssen Sie auch den Partitionstyp festlegen. Weitere Informationen finden Sie unter Tabellenpartitionierung.

8. Aktivieren Sie im Feld Flag „Ist Einstellung aktiv“ die Tabellenattribute, indem Sie das Kästchen anklicken. Wenn das Kästchen Flag „Ist Einstellung aktiv“ nicht angeklickt ist, erstellt BigQuery Toolkit for SAP die BigQuery-Tabelle mit dem Namen der SAP-Quelltabelle, der standardmäßigen Blockgröße und ohne Partitionierung.

9. Klicken Sie auf Speichern.

   Ihre Attribute werden als Datensatz in der Konfigurationstabelle /GOOG/BQTR_TABLE gespeichert und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

10. Klicken Sie auf Felder anzeigen.

    Der neue Tabellenattributdatensatz wird angezeigt, gefolgt vom Eintragsbereich für die Feldzuordnung.

Standardfeldzuordnung anpassen

Wenn die SAP-Quelltabelle Zeitstempelfelder oder boolesche Werte enthält, ändern Sie die Standardzuordnung des Datentyps so, dass sie genau den Datentyp in der BigQuery-Zieltabelle widerspiegelt.

Sie können auch andere Datentypen sowie die Namen ändern, die für Zielfelder verwendet werden.

Sie können die Standardzuordnung direkt in der SAP GUI bearbeiten oder in eine Tabelle oder Textdatei exportieren, damit die Werte von anderen Nutzern bearbeitet werden können, ohne Zugriff auf Ihren SAP-Server zu benötigen.

Weitere Informationen zur Standardfeldzuordnung und den möglichen Änderungen finden Sie unter Feldzuordnung.

So passen Sie die Standardzuordnung für die BigQuery-Zielfelder an:

1. Zeigen Sie auf dem Bildschirm Wartung der BigQuery Data Transfer-Einstellungen – Felder die Standardfeldzuordnungen für die Massenübertragung an, die Sie konfigurieren.

2. Bearbeiten Sie die Standardzieldatentypen in der Spalte Externes Datenelement nach Bedarf. Ändern Sie insbesondere den Zieldatentyp für die folgenden Datentypen:

   • Zeitstempel. Ändern Sie den Standardzieldatentyp von NUMERIC in TIMESTAMP oder TIMESTAMP (LONG).
   • Boolesche Werte. Ändern Sie den Standardzieldatentyp von STRING in BOOLEAN.
   • Hexadezimalzahlen. Ändern Sie den Standardzieldatentyp von STRING in BYTES.

   So bearbeiten Sie die Standarddatentypzuordnung:

   1. Klicken Sie in der Zeile des Felds, das Sie bearbeiten müssen, auf das Feld Externes Datenelement.
   2. Wählen Sie im Dialogfeld für Datentypen den benötigten BigQuery-Datentyp aus.
   3. Bestätigen Sie Ihre Änderungen und klicken Sie dann auf Speichern.

3. Wenn Sie das Flag Benutzerdefinierte Namen auf dem Bildschirm Wartung der BigQuery Data Transfer-Einstellungen angegeben haben, bearbeiten Sie die Standardzielfeldnamen in der Spalte Temporärer Feldname nach Bedarf.

   Die von Ihnen angegebenen Werte überschreiben die Standardnamen, die in der Spalte Name des externen Felds angezeigt werden.

4. Bearbeiten Sie nach Bedarf die Standardbeschreibungen des Zielfelds in der Spalte Feldbeschreibung.

5. Exportieren Sie optional die Feldzuordnung zur externen Bearbeitung. Eine Anleitung finden Sie unter BigQuery-Feldzuordnung in einer CSV-Datei bearbeiten.

6. Nachdem alle Änderungen vorgenommen und alle extern bearbeiteten Werte hochgeladen wurden, prüfen Sie, ob das Kästchen Flag „Ist Einstellung aktiv“ ausgewählt ist. Wenn Flag „Ist Einstellung aktiv“ nicht ausgewählt ist, erstellt das BigQuery Toolkit für SAP Zieltabellen mit den Standardwerten.

7. Klicken Sie auf Speichern.

   Die Änderungen werden in der Konfigurationstabelle /GOOG/BQTR_FIELD gespeichert und die Felder Geändert von, Geändert am und Geändert um werden automatisch ausgefüllt.

Datensatzkomprimierung auf Feldebene ändern

Um die Replikationsleistung zu verbessern, komprimiert das BigQuery Toolkit für SAP Datensätze, indem alle leeren Felder im Quelldatensatz weggelassen werden. Diese werden dann in der Zieltabelle in BigQuery mit null initialisiert. Wenn Sie jedoch einige leere Felder mit ihren ursprünglichen Werten in BigQuery replizieren und gleichzeitig die Datensatzkomprimierung verwenden möchten, können Sie für diese Felder Unkomprimiertes Flag senden auswählen.

Weitere Informationen zum Verhalten der Datensatzkomprimierung finden Sie unter Datensatzkomprimierung.

So ändern Sie die Datensatzkomprimierung auf Feldebene:

1. Zeigen Sie auf dem Bildschirm Wartung der BigQuery Data Transfer-Einstellungen – Felder die Liste der Felder für die Tabelle an, deren Massenübertragung Sie konfigurieren.

2. Wenn Sie unkomprimierte Daten für ein Feld senden möchten, wählen Sie für das Feld Flag „Unkomprimiert senden“ aus.

3. Klicken Sie auf Speichern.

Support anfordern

Google Cloud bietet Support bei Problemen und Fragen im Zusammenhang mit der Installation, Konfiguration, Bedienung und Wartung des BigQuery-Toolkits für SAP. Der Support ist jedoch auf das Toolkit selbst beschränkt.

Google Cloud unterstützt keine anderen Umgebungskomponenten wie Netzwerkinfrastruktur, Datenbanken, Betriebssysteme oder Software von Drittanbietern. Bei Problemen mit anderen Umgebungskomponenten als dem BigQuery Toolkit für SAP wenden Sie sich an den entsprechenden Anbieter oder Supportanbieter.

Wenn Sie Hilfe bei von SAP bereitgestellten Funktionen wie Operational Data Provisioning (ODP) und SAP Landscape Transformation (SLT) benötigen, wenden Sie sich bitte an den SAP-Support.

Informationen zur Fehlerbehebung bei Problemen mit dem BigQuery Toolkit für SAP finden Sie unter Fehlerbehebung für das BigQuery Toolkit für SAP.

Wenn Sie Hilfe bei der Behebung von Problemen mit dem ABAP SDK für Google Cloud benötigen, gehen Sie so vor:

• Weitere Informationen finden Sie im Leitfaden zur Fehlerbehebung für ABAP SDK für Google Cloud.

• In den Cloud-Foren können Sie Ihre Fragen stellen und über die ABAP SDK für Google Cloud mit der Community sprechen.

• Erfassen Sie alle verfügbaren Diagnoseinformationen und wenden Sie sich an Cloud Customer Care. Informationen zur Kontaktaufnahme mit Customer Care finden Sie unter Support für SAP in Google Cloud.