Guida alle operazioni di BigQuery Connector per SAP

Questa guida mostra agli amministratori di SAP LT Replication Server, ai data engineer SAP o ad altri utenti come eseguire attività operative, come l'ottimizzazione delle prestazioni e gli aggiornamenti delle versioni, per la versione 2.8 (ultima) di BigQuery Connector per SAP.

Ottimizzazione delle prestazioni della replica

Le prestazioni della replica possono essere influenzate da più fattori. I fattori specifici che si applicano possono essere diversi da un'installazione all'altra e possono cambiare nel tempo.

Le sezioni seguenti forniscono indicazioni su come ottimizzare alcuni dei fattori più comuni che possono influire sul rendimento.

Per ulteriori informazioni sul rendimento della replica con il BigQuery Connector per SAP, consulta Pianificazione del rendimento.

Impostare le opzioni di rendimento per le tabelle

In SAP LT Replication Server puoi specificare opzioni di replica per ogni tabella che influiscono sul rendimento.

In particolare, le prestazioni di replica per le tabelle di grandi dimensioni, che richiedono più tempo e risorse per la replica, possono trarre vantaggio dalla specifica degli intervalli e dall'aumento del numero massimo di job di replica parallela che possono essere utilizzati per la tabella.

Alcuni esempi di tabelle che in genere diventano di grandi dimensioni sono MSEG, ACDOCA e MATDOC.

Quando specifichi job di replica parallela per tabelle di grandi dimensioni, devi bilanciare il numero di job paralleli consentiti per una determinata tabella con il numero totale di job paralleli consentiti nella configurazione del trasferimento collettivo. La tua organizzazione potrebbe anche limitare il numero di job di replica parallela che puoi specificare per un determinato server.

Per impostare le opzioni di rendimento per una tabella:

  1. Nella GUI di SAP, inserisci la transazione SAP LTRS.

  2. Nella schermata Impostazioni di replica avanzate, specifica l'ID delle impostazioni di trasferimento collettivo per la tabella.

  3. Nella gerarchia delle cartelle Impostazioni di replica avanzate, fai clic sulla cartella Opzioni di rendimento per visualizzare le tabelle in cui sono definite le opzioni di rendimento.

  4. Se la tabella che ti serve non è elencata, fai clic con il tasto destro del mouse sulla cartella Opzioni di prestazioni e seleziona Aggiungi tabella.

  5. Specifica un nome per la tabella.

  6. Specifica le seguenti opzioni, se necessario:

    • In Opzioni di rendimento generali:
      • Numero di job in parallelo, per impostare il numero massimo di job di replica in parallelo che possono essere utilizzati per la tabella.
      • Numero sequenza, per dare la priorità alla replica di questa tabella rispetto alle altre.
    • Nella sezione Initial Load Options (Opzioni di caricamento iniziale):
      • Per Tipo di lettura, seleziona Calcolo dell'intervallo di tipo di lettura 1 se la tabella non è troppo grande. Per ulteriori informazioni, consulta Rendimento e impostazioni di replica avanzata LTRS.
      • Per Dimensioni pacchetto, specifica le dimensioni in byte delle parti di record inviate a SAP LT Replication Server.
      • Se selezioni un tipo di lettura che utilizza intervalli, definisci gli intervalli appropriati.
    • In Opzione di replica:
      • Per Intervalli per la tabella di log, specifica Nessun intervallo per l'opzione più affidabile.
      • Se selezioni Specifica intervalli per manualmente, definisci gli intervalli appropriati.

  7. Fai clic su Salva.

Benchmark del rendimento di riferimento

Per aiutarti a valutare il rendimento della replica, questa sezione contiene i valori di riferimento del rendimento osservati nei sistemi di test di Google Cloud.

A causa dei molti fattori diversi che influiscono sul rendimento, è probabile che i valori sul rendimento variino.

Ad esempio, se i sistemi SAP non sono in esecuzione su Google Cloud, i tassi di caricamento e replica potrebbero essere inferiori ai tassi di riferimento a causa di fattori quali la latenza della rete e il sovraccarico associato ai token di accesso. Se la tabella di origine ha meno colonne o se installi SAP LT Replication Server su un proprio server in un'architettura autonoma, le tariffe potrebbero essere più elevate perché SAP LT Replication Server non deve competere con il sistema di origine per le risorse.

Valori del rendimento della base di riferimento osservati

I seguenti numeri relativi alle prestazioni rappresentano le prestazioni di riferimento rilevate da Google Cloud per ogni tipo di sistema di origine durante i test. In ogni sistema di test, SAP LT Replication Server è stato installato sul sistema di origine SAP in un'architettura incorporata sulle VM Compute Engine. Il sistema di origine SAP era in esecuzione nella stessa regione Google Cloud del set di dati BigQuery di destinazione.

Per informazioni sulla configurazione dei sistemi di test, consulta Configurazione del sistema di test delle prestazioni di riferimento.

Per visualizzare i numeri sul rendimento, fai clic sul tipo di sistema di origine:

S/4HANA

  • Tabella: ACDOCA
    • 343 milioni di record
    • 477 colonne
  • Caricamento iniziale
    • Frequenza di caricamento:in media 350 milioni di record all'ora
    • Durata del caricamento: in media 59 minuti
  • Replica
    • Tasso di variazione della tabella di origine: in media 50 milioni di record all'ora
    • Frequenza di replica massima: in media 50 milioni di record all'ora

ECC

  • Tabella: MSEG
    • 203 milioni di record
    • 188 colonne
  • Caricamento iniziale
    • Frequenza di caricamento:in media 385 milioni di record all'ora
    • Durata del caricamento: in media 32 minuti
  • Replica
    • Tasso di variazione della tabella di origine: in media 50 milioni di record all'ora
    • Frequenza di replica massima: in media 69 milioni di record all'ora

I numeri sul rendimento precedenti sono le linee di base osservate dai tester di Google Cloud.

Il rendimento osservato è stato migliore nei sistemi di test che avevano i seguenti attributi:

  • SAP LT Replication Server è stato installato su una propria VM in un'architettura autonoma.
    • Per i sistemi S/4HANA, è stato osservato che un'architettura autonoma ha un tasso di caricamento iniziale approssimativamente del 42% più veloce rispetto a un'architettura incorporata a causa del ridimensionamento indipendente dei processi di SAP LT Replication Server.
    • Per i sistemi ECC, è stato osservato che un'architettura autonoma ha un tasso di caricamento iniziale approssimativamente del 10% più veloce rispetto a un'architettura incorporata a causa della scalabilità indipendente dei processi di SAP LT Replication Server.
  • La tabella di origine aveva meno colonne.
  • La dimensione totale in byte dei record era inferiore.

Per informazioni sugli attributi di sistema che puoi modificare per migliorare il rendimento, consulta:

Configurazione del sistema per il test delle prestazioni di riferimento

I sistemi di test descritti in questa sezione hanno prodotto i valori di rendimento di riferimento elencati nella sezione precedente Valori di rendimento di riferimento osservati.

I sistemi di test, tra cui il sistema di origine SAP, SAP LT Replication Server e il set di dati BigQuery, erano tutti in esecuzione su VM Compute Engine nella stessa regione Google Cloud.

In ogni sistema, i server e il carico di lavoro sono stati progettati per simulare un carico di lavoro più elevato e un volume di replica maggiore di quelli che potresti trovare in molte installazioni reali.

Per visualizzare gli attributi del sistema di test, fai clic sul tipo di sistema di origine:

S/4HANA

  • Architettura di installazione di SAP LT Replication Server:
    • Architettura incorporata
  • Server di sistema di origine:
    • Due server applicazioni, ciascuno su un tipo di macchina personalizzata Compute Engine basato su N2 con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 324 GB
      • Piattaforma CPU: Intel Cascade Lake
    • Un server SAP HANA su una VM m1-ultramem-80 Compute Engine con le seguenti specifiche:
      • vCPU: 80
      • Memoria: 1900 GB
      • Piattaforma CPU: Intel Broadwell
  • Versioni software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Dimensioni della tabella:
    • Nome tabella: ACDOCA, dati degli elementi pubblicitari delle registrazioni di prima nota del bilancio generale
    • Numero di record: 343 milioni
    • Numero di colonne: 477
  • Processi di lavoro su ogni server di applicazioni:
    • 60 procedure di dialogo
    • 220 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Job: 99
    • Tipo di lettura: intervallo 1
    • Calcolo: intervalli automatici
  • Impostazioni di replica:
    • Job: 99
    • Utilizzare i campi chiave per calcolare gli intervalli per la tabella di registrazione
    • 128 intervalli

ECC

  • Architettura di installazione di SAP LT Replication Server:
    • Architettura incorporata
  • Server di sistema di origine:
    • Due server applicazioni, ciascuno su una VM n2-highmem-48 Compute Engine con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 348 GB
      • Piattaforma CPU: Intel Cascade Lake
  • Versioni software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Dimensioni della tabella:
    • Tabella: MSEG, documenti di gestione dell'inventario dei materiali
    • Numero di record: 203 milioni
    • Numero di colonne: 188
  • Processi di lavoro su ogni server di applicazioni:
    • 60 procedure di dialogo
    • 100 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Job: 99
    • Tipo di lettura: 5 Mittente
    • Coda: intervalli manuali
  • Impostazioni di replica:
    • Job: 99
    • Intervalli per la tabella di log: utilizza i campi chiave per calcolare gli intervalli
    • Numero di intervalli: 128

Dimensioni del chunk dinamico

Se riscontri errori perché la dimensione in byte dei chunk supera la dimensione massima in byte per le richieste HTTP accettate da BigQuery, devi ridurre manualmente la dimensione in byte diminuendo le dimensioni dei chunk. La funzionalità di dimensione del chunk dinamico consente di ridurre automaticamente la dimensione del chunk e di riprovare la replica in BigQuery quando la dimensione in byte di un chunk supera la dimensione in byte massima per le richieste HTTP accettate da BigQuery. La dimensione del chunk dinamico ti aiuta a evitare la maggior parte degli errori di replica dovuti al superamento della dimensione in byte di una richiesta. Potresti ricevere un errore solo se la dimensione del chunk достигает 1, ma la dimensione in byte rimane superiore al limite di BigQuery per il numero di byte in ogni richiesta HTTP.

Attiva la dimensione del chunk dinamico nella configurazione del trasferimento collettivo per una tabella utilizzando la transazione /GOOG/SLT_SETTINGS. La dimensione del chunk dinamico è un'impostazione facoltativa. Per informazioni su come attivare le dimensioni dei chunk dinamici, consulta:

Quando la dimensione del chunk dinamico è abilitata, la dimensione massima del chunk consentita da BigQuery Connector per SAP rimane entro i limiti di quota di BigQuery, ovvero 50.000 record.

Per ulteriori informazioni sulle dimensioni dei chunk, vedi Dimensioni delle porzioni e dei chunk.

Come funziona la dimensione del chunk dinamico

Con la dimensione del chunk dinamica, se la richiesta HTTP con la dimensione del chunk iniziale supera il limite di BigQuery per la dimensione in byte, BigQuery Connector per SAP riduce la dimensione del chunk e riprova a inviare i dati. BigQuery Connector per SAP continua a ridurre le dimensioni del chunk e tenta di nuovo di inviare i dati a BigQuery finché i dati non vengono trasferiti correttamente per un determinato chunk o finché le dimensioni del chunk non raggiungono 1.

La dimensione del chunk finale ridotta, per la quale il trasferimento dei dati è andato a buon fine, viene poi utilizzata come dimensione del chunk per tutti i chunk rimanenti di quella porzione. Puoi trovare la dimensione del chunk ridotta finale che è andata a buon fine per ogni parte nei log dell'applicazione SAP LT Replication Server come messaggio informativo:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.

Per le parti successive e per eventuali repliche successive, BigQuery Connector per SAP inizia a inviare dati a BigQuery con la dimensione del chunk configurata nella transazione/GOOG/SLT_SETTINGS e continua a ridurla se viene attivato il chunking dinamico.

Per impostazione predefinita, la dimensione del chunk viene ridotta del 50% dopo ogni nuovo tentativo. Se vuoi ridurre la dimensione del chunk di una percentuale inferiore o superiore, modifica i parametri delle impostazioni avanzate.

Comprendiamo con un esempio come viene determinata la dimensione del chunk nel procedura di replica quando la dimensione del chunk dinamico è abilitata per una tabella. Per questo esempio, la dimensione della porzione di SAP LT Replication Server è maggiore della dimensione del chunk di BigQuery Connector per SAP e la dimensione del chunk di 10.000 record è definita nella transazione/GOOG/SLT_SETTINGS. BigQuery Connector per SAP esegue la replica di una parte in BigQuery come segue:

  1. Quando la replica inizia per una parte che contiene 20.000 record, la dimensione del chunk per il primo chunk è 10.000 record, ma se la dimensione in byte per la richiesta HTTP è superiore a 10 MB, BigQuery Connector per SAP riduce la dimensione del chunk del 50% e la nuova dimensione del chunk diventa 5000 record.

  2. BigQuery Connector per SAP tenta di nuovo di inviare il chunk di 5000 record, ma se le dimensioni in byte della richiesta HTTP sono ancora superiori a 10 MB, BigQuery Connector per SAP riduce ulteriormente le dimensioni del chunk del 50% e il nuovo chunk diventa di 2500 record.

  3. BigQuery Connector per SAP tenta di nuovo di inviare il chunk di dimensioni pari a 2500 record. Ora, se le dimensioni in byte della richiesta HTTP per questo chunk sono inferiori a 10 MB, la replica va a buon fine e i dati vengono inseriti in BigQuery.

  4. La dimensione del chunk per tutti i chunk successivi diventa 2500 record,a condizione che la dimensione in byte di ogni richiesta HTTP sia inferiore a 10 MB. Se la dimensione in byte della richiesta HTTP per qualsiasi chunk successivo supera i 10 MB, BigQuery Connector per SAP riduce di nuovo la dimensione del chunk e riprova a inviare i dati a BigQuery, finché i dati non vengono trasferiti correttamente per un determinato chunk. La dimensione del chunk ridotta viene utilizzata solo per la parte corrente della replica corrente.

Prestazioni con dimensioni dei chunk dinamiche

Le dimensioni dei chunk dinamici possono influire sulle prestazioni della replica in BigQuery. Per ogni chunk, BigQuery Connector per SAP calcola il numero di record in un chunk e controlla la dimensione in byte delle richieste HTTP. Se la dimensione in byte è superiore a 10 MB, BigQuery Connector per SAP riduce la dimensione del chunk e tenta di nuovo di inviare i dati a BigQuery, il che aumenta il tempo di replica complessivo.

Utilizza la dimensione del chunk dinamica solo in situazioni specifiche, in cui anche dopo aver configurato una dimensione del chunk ideale per alcuni record di dati, la dimensione della richiesta potrebbe superare il limite di richieste HTTP di BigQuery e non vuoi ricevere un errore relativo alla dimensione del chunk. Ad esempio:

  • Tabelle di origine che contengono una grande varianza nella dispersione dei dati nei campi, ovvero per alcuni record vengono gestiti meno campi mentre per altri vengono gestiti molti campi.
  • Tabelle di origine che contengono campi di testo lunghi come EDID4-SDATA, VARI-CLUSTID e REPOSRC-DATA.

Puoi anche utilizzare la dimensione del chunk dinamico durante la fase di test per identificare una dimensione del chunk ideale per una tabella che puoi definire nel sistema SAP di produzione.

Per ulteriori informazioni sulla configurazione della dimensione del chunk, consulta:

Trasferisci le impostazioni di trasferimento di massa in produzione

Per trasferire le impostazioni di trasferimento collettivo in produzione, devi prima esportarle da un sistema di sviluppo e poi importarle nel sistema di produzione.

Se vuoi, puoi importare tre parti separate delle impostazioni di un trasferimento collettivo in produzione:

  • Le impostazioni di replica avanzate, a cui è possibile accedere utilizzando la transazione LTRS.
  • Le impostazioni della chiave client della tabella /GOOG/CLIENT_KEY, a cui è possibile accedere utilizzando la transazione SM30.
  • BigQuery Connector per SAP le impostazioni di trasferimento collettivo, a cui è possibile accedere utilizzando la transazione /GOOG/SLT_SETTINGS.

Esportare le impostazioni di trasferimento collettivo da un sistema di sviluppo

Nel sistema di sviluppo SAP LT Replication Server, esporta ogni parte delle impostazioni del trasferimento collettivo:

  1. Esporta le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona i record di trasferimento collettivo da trasportare in produzione.
    3. Nel menu a discesa File, seleziona Esporta tutte le impostazioni.
    4. Nella finestra di dialogo Impostazioni di esportazione, seleziona una destinazione e fai clic su Salva. Le impostazioni vengono salvate in un file compresso in formato CSV sulla tua workstation locale.

  2. Esporta le impostazioni di trasferimento collettivo di BigQuery Connector per SAP:

    1. Esegui la transazione /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Nel campo Settings Table (Tabella delle impostazioni), seleziona Mass Transfer (Trasferimento collettivo).

    3. Seleziona i record di trasferimento collettivo da trasportare in produzione.

    4. Fai clic su Trasferimento collettivo dei trasporti.

    5. In Richiesta di richiesta di Workbench, inserisci il numero della richiesta di trasporto e fai clic sull'icona Continua. Per ogni record di trasferimento collettivo selezionato, le impostazioni delle seguenti tabelle di configurazione personalizzata sono incluse nel trasporto:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Le impostazioni di trasferimento collettivo vengono salvate in una richiesta di trasporto.

  3. Esporta le impostazioni della chiave client includendo manualmente i contenuti della tabella /GOOG/CLIENT_KEY nella richiesta di trasporto.

  4. Salva i file nella tua workstation locale.

Importa le impostazioni di trasferimento collettivo in un sistema di produzione

Nel sistema di produzione SAP LT Replication Server, importa ogni parte delle impostazioni di trasferimento collettivo:

  1. Crea una configurazione di replica di SAP LT Replication Server per le impostazioni di trasferimento collettivo.

  2. Importa le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona il trasferimento collettivo che hai creato nel primo passaggio.
    3. Nel menu a discesa File, seleziona Importa tutte le impostazioni.
    4. Nella finestra di dialogo Scegli file, seleziona il file compresso dalla tua workstation locale e fai clic su Apri. Le impostazioni vengono importate come impostazioni per il trasferimento collettivo.

  3. Importa la richiesta di trasporto contenente le impostazioni di trasferimento collettivo.

  4. Esegui la transazione SM30.

  5. Aggiorna le impostazioni della chiave client in base alle esigenze dell'ambiente di produzione.

  6. Esegui la transazione /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifica che nella schermata Trasferimenti collettivi vengano visualizzati i trasferimenti collettivi corretti.

  8. Nella colonna ID trasferimento collettivo, sostituisci l'ID trasferimento collettivo del sistema di sviluppo con l'ID trasferimento collettivo della configurazione di replica che hai creato nel primo passaggio.

  9. Nelle successive schermate di impostazioni Tables (Tabelle) e Fields (Campi), aggiorna gli altri valori per la mappatura delle tabelle e dei campi in base alle esigenze dell'ambiente di produzione.

  10. Testa la configurazione avviando un caricamento o una replica iniziale. Per informazioni su come avviare un caricamento iniziale o una replica, consulta:

Aggiornare BigQuery Connector per SAP

Google Cloud rilascia nuove release di BigQuery Connector per SAP come trasporti SAP.

Gli amministratori SAP possono aggiornare BigQuery Connector per SAP seguendo questi passaggi:

  1. Disattiva la configurazione in SAP LT Replication Server.
  2. Importa la nuova richiesta di trasporto SAP.
  3. Dopo aver convalidato l'importazione e l'attivazione degli oggetti, attiva la configurazione in SAP LT Replication Server.

Aggiornare gcloud CLI

Devi mantenere aggiornato Google Cloud CLI sull'host SAP LT Replication Server.

Per saperne di più sulla gestione dellgcloud CLI, consulta Gestire i componenti dell'interfaccia a riga della gcloud CLI gcloud.

Monitoraggio

Puoi monitorare diversi punti lungo il percorso dei dati dall'origine dati SAP alla tabella BigQuery di destinazione, tra cui:

  • Infrastruttura: rete, hardware e sistema operativo
  • Il livello del database SAP
  • Il livello di applicazione SAP
  • BigQuery Connector per SAP
  • BigQuery

Le opzioni di monitoraggio in ciascuno di questi punti sono descritte nelle seguenti sezioni.

Monitoraggio dell'infrastruttura

Su Google Cloud, puoi installare Ops Agent sulle VM host per il monitoraggio e il logging avanzati. L'agente Ops invia i dati a Cloud Monitoring nella console Google Cloud.

Per ulteriori informazioni, vedi:

Per i sistemi non in esecuzione su Google Cloud, puoi anche ottenere informazioni sul server eseguendo transazioni SAP, ad esempio la transazione ST06.

Monitoraggio del livello del database

Utilizza i codici transazioni SAP standard per monitorare l'integrità del database.

Il codice transazione DBACOCKPIT è la transazione più comune per monitorare il database. Questa transazione fornisce anche log dettagliati che puoi utilizzare per la risoluzione dei problemi.

Per SAP HANA, puoi utilizzare SAP HANA Studio per le operazioni SAP HANA. Puoi installare SAP HANA Studio su qualsiasi macchina frontend.

Per la risoluzione dei problemi relativi alle prestazioni o ad altri problemi, controlla quanto segue nel database di origine:

  • Istruzioni SQL costose
  • Serrature
  • Cronologia caricamenti
  • Indici
  • Processi

Monitoraggio del livello di applicazione

Puoi utilizzare gli strumenti di monitoraggio e risoluzione dei problemi delle applicazioni SAP per monitorare e risolvere i problemi di BigQuery Connector per SAP, poiché viene eseguito nel livello dell'applicazione.

Il monitoraggio e la risoluzione dei problemi delle applicazioni SAP possono essere ulteriormente classificati come segue:

  • Monitoraggio e risoluzione dei problemi SAP standard
  • Monitoraggio e risoluzione dei problemi BigQuery Connector per SAP

Per ambienti più grandi, puoi utilizzare SAP Solution Manager come strumento di monitoraggio centrale.

Puoi utilizzare i codici transazioni SAP nel seguente elenco per monitorare e diagnosticare i problemi nei singoli sistemi di applicazioni SAP:

  • Stato della configurazione SLT: LTRC
  • Errori e log SLT: LTRO e SLG1
  • Internet Communication Manager (chiamate HTTP e HTTPS): SMICM
  • Sicurezza e certificati: STRUST
  • Trasporti SAP: STMS
  • Connessioni RFC: SM59
  • Comando del sistema operativo: SM69
  • Controllo del pacchetto: SE80
  • Controlli di autorizzazione: SU53
  • Job in background: SM37
  • Log di sistema: SM21

Monitoraggio di BigQuery

Utilizza Cloud Monitoring per visualizzare le metriche di BigQuery e creare grafici e avvisi. Ogni metrica ha un tipo di risorsa, bigquery_dataset, bigquery_project o global, nonché un insieme di etichette.

Utilizza i tipi di risorse e le etichette per creare query in Monitoring Query Language (MQL).

Puoi raggruppare o filtrare ogni metrica utilizzando le etichette.

Per ulteriori informazioni sul monitoraggio, consulta la documentazione di Cloud Monitoring.

Visualizzare le impostazioni BigQuery Connector per SAP

Per visualizzare le impostazioni di trasferimento collettivo di BigQuery Connector per SAP, in SAP GUI, esegui la transazione /GOOG/SLT_SETT_DISP.

Visualizzare la versione BigQuery Connector per SAP

Per visualizzare la versione di BigQuery Connector per SAP installato sul sistema, in SAP GUI, esegui la transazione /GOOG/BQC_VERSION.

Strumento Crea tabella

Per le tabelle di origine vuote in SAP, SAP SLT impedisce la creazione di tabelle di destinazione in BigQuery. Se devi creare le tabelle di destinazione nel set di dati BigQuery per tabelle di origine vuote, puoi utilizzare lo strumento Crea tabella.

Per eseguire lo strumento Crea tabella:

  1. In SAP GUI, esegui la transazione /GOOG/CREATE_BQ_TAB preceduta da /n:

    /n/GOOG/CREATE_BQ_TAB

  2. Nella schermata Crea tabelle di destinazione dalle impostazioni di BQ, fornisci i valori per i seguenti campi:

    • Chiave di trasferimento collettivo: la chiave di trasferimento collettivo che contiene le tabelle SAP.
    • Nome tabella SAP: i nomi delle tabelle SAP che devi creare.

  3. Fai clic sull'icona Esegui. Le tabelle di destinazione vengono create nel set di dati BigQuery.

  4. Se vuoi, verifica nel set di dati BigQuery se la tabella è stata creata con lo schema corretto.

Strumento di conversione collettiva dei campi

Sebbene BigQuery Connector per SAP suggerisca automaticamente i tipi di dati BigQuery per la maggior parte dei campi, potrebbe essere necessario mappare i campi manualmente. Anziché assegnare manualmente il tipo di dati a ogni campo, puoi utilizzare lo strumento di conversione collettiva dei campi per mappare l'assegnazione del tipo di dati per tutti i campi nella schermata di mappatura dei campi della transazione /GOOG/SLT_SETTINGS. Lo strumento di conversione collettiva dei campi converte tutte le mappature dei campi per una tabella nel tipo STRING in BigQuery.

Se una tabella è già in fase di replica o viene aggiunta per il caricamento iniziale nella transazione LTRC, non utilizzare lo strumento di conversione collettiva dei campi per queste tabelle, in quanto potrebbero verificarsi problemi di mancata corrispondenza dello schema. Puoi utilizzare questo strumento solo per le tabelle SAP per le quali non è stato avviato il caricamento iniziale o la replica.

Per eseguire lo strumento di conversione collettiva dei campi:

  1. In SAP GUI, esegui la transazione /GOOG/MASS_CNVT_FMAP preceduta da /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. Nella schermata Conversione collettiva dei campi, fornisci i valori per i seguenti campi:

    • Chiave di trasferimento collettivo: la chiave di trasferimento collettivo che contiene le tabelle SAP.
    • Nome della tabella SAP: i nomi delle tabelle SAP per i quali è necessario convertire tutti i mappaggi dei campi nel tipo STRING.

  3. Fai clic sull'icona Esegui. Per le tabelle selezionate, tutte le mappature dei campi vengono convertite nel tipo STRING.

Strumento di simulazione del carico

Questa sezione fornisce una panoramica dello strumento di simulazione del carico e delle sue funzionalità.

Lo strumento di simulazione del caricamento è uno strumento di supporto per BigQuery Connector per SAP che consente di simulare la replica dei dati SAP in BigQuery. Lo strumento fa parte del trasporto fornito da Google Cloud per BigQuery Connector per SAP. Utilizza lo strumento di simulazione del caricamento per replicare i dati SAP di origine in BigQuery richiamando direttamente il componente aggiuntivo aziendale (BAdI) di BigQuery Connector per SAP. Poiché lo strumento di simulazione del carico non utilizza il framework SLT sottostante, gli attivatori SLT non sono interessati. Non utilizzare lo strumento di simulazione del caricamento per la replica dei dati negli ambienti di produzione.

Lo strumento di simulazione del caricamento fornisce un report che puoi analizzare per valutare le prestazioni della replica, identificare potenziali problemi, comprendere la causa principale dei problemi e risolverli prima della replica effettiva dei dati SAP in BigQuery utilizzando BigQuery Connector per SAP.

Di seguito sono riportati alcuni casi d'uso comuni in cui puoi utilizzare lo strumento di simulazione del carico:

  • Riproduci e risolvi eventuali problemi di connettività di rete, autorizzazione o autenticazione.
  • Genera log avanzati delle chiamate all'API BigQuery per risolvere i problemi.
  • Per ricevere assistenza per la risoluzione dei problemi dall'assistenza clienti Google Cloud, esegui lo strumento di simulazione del carico e fornisci i log al team dell'assistenza clienti.
  • Misura le metriche sul rendimento fornendo il tempo impiegato per ogni fase della procedura di replica.
  • Per SAP LT Replication Server in un'architettura incorporata, determina una dimensione ottimale per gli chunk delle tabelle SAP.

Utilizza una configurazione di trasferimento collettivo di esempio con lo strumento di simulazione del carico che crei utilizzando la transazione personalizzata /GOOG/SLT_SETTINGS. Non utilizzare il set di dati di produzione e le tabelle BigQuery per eseguire lo strumento di simulazione del caricamento.

Quando SAP LT Replication Server si trova in un'architettura incorporata, esegui lo strumento di simulazione del caricamento con le tabelle SAP standard come MARA e T001.

Quando SAP LT Replication Server è in un'architettura autonoma, esegui lo strumento Simulation Load con la tabella di esempio /GOOG/TEST_REPL fornita da Google Cloud con BigQuery Connector per SAP. Lo strumento di simulazione del caricamento non supporta la lettura delle tabelle di origine da un sistema remoto.

Per ulteriori informazioni sulle architetture per le origini dati SAP su Google Cloud, consulta Architettura di installazione.

Prerequisiti

Prima di eseguire lo strumento di simulazione del carico, assicurati che siano soddisfatti i seguenti prerequisiti:

Come eseguire lo strumento di simulazione del carico

Per eseguire lo strumento di simulazione del carico:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/LOAD_SIMULATE preceduta da /n:

    /n/GOOG/LOAD_SIMULATE

  2. Fai clic sull'icona Esegui. Viene visualizzata la schermata Simulazione del carico SLT.

  3. In Opzioni di elaborazione, assicurati che l'opzione Esegui simulazione sia selezionata.

  4. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, seleziona BigQuery.

    • Nel campo Mass Transfer Key (Chiave trasferimento collettivo), inserisci la chiave di trasferimento collettivo per la configurazione del trasferimento collettivo.

      Utilizza una configurazione di trasferimento collettivo di esempio con lo strumento di simulazione del carico. Non utilizzare il set di dati di produzione e le tabelle BigQuery.

    • Nel campo Nome tabella, inserisci il nome della tabella SAP di origine fornito nella configurazione del trasferimento collettivo di esempio.

    • Facoltativamente, nel campo Condizione WHERE, inserisci una condizione per la selezione dei dati dalla tabella di origine.

      Puoi inserire fino a 255 caratteri. Ad esempio, se esegui lo strumento di simulazione del caricamento per la tabella SAP MARA e devi selezionare il numero di materiale da un intervallo specifico, per Condizione WHERE specifica un valore come MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • Nel campo Conteggio cicli, inserisci il numero di cicli di elaborazione eseguiti dallo strumento di simulazione del carico.

      Questa operazione è utile quando devi confrontare la modalità di generazione del report di simulazione in più cicli. Il valore deve essere maggiore di 1.

    • Nel campo Conteggio record per ciclo, inserisci il numero di record che vuoi inviare a BigQuery in ogni ciclo di elaborazione. Il valore deve essere maggiore di 1.

    • Nel campo Dimensioni porzione, inserisci il numero di record tra i Conteggio record per ciclo che SAP LT Replication Server invia al BAdI di BigQuery Connector per SAP in ogni porzione.

    • Seleziona uno o più flag, a seconda dei casi:

      • Conteggio record esatto: indica che esattamente lo stesso numero di record specificati nel campo Conteggio record per ciclo viene inviato a BigQuery in ogni ciclo di elaborazione. Se la tabella non contiene record sufficienti, lo strumento simulazione caricamento duplica i record esistenti per raggiungere il conteggio richiesto. I record vengono duplicati solo per inserire i dati in BigQuery e non per inserirli nella tabella di origine.

      • Utilizza la struttura di destinazione SLT: utilizza la struttura della tabella di log SLT per recuperare i campi della tabella di origine. Se questo flag non è impostato, i campi vengono letti direttamente dalla tabella di origine per generare la struttura di destinazione. Per ulteriori informazioni sul flusso di dati di SAP LT Replication Server, consulta Visualizzazione dettagliata dell'architettura del flusso di dati.

      • Log dettagliato: indica che i record dei log vengono creati per tutti i metodi definiti in BigQuery Connector per SAP. Se questo flag non è impostato, vengono registrati solo i metodi importanti.

      • Cancella risultati precedenti: cancella i record di log creati in precedenza per lo stesso trasferimento collettivo e la stessa tabella SAP. Se il flag non è impostato, i log vengono aggiunti ai risultati precedenti.

  5. Per eseguire lo strumento di simulazione del carico, fai clic sull'icona Esegui.

  6. Al termine della simulazione del carico, nella sezione Opzioni di elaborazione, seleziona il pulsante di opzione Mostra report.

  7. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, seleziona BigQuery.
    • Nel campo Mass Transfer Key (Chiave di trasferimento collettivo), inserisci la chiave di trasferimento collettivo per la configurazione di trasferimento collettivo di esempio.
    • Nel campo Table Name (Nome tabella), inserisci il nome della tabella SAP di origine.
    • Se vuoi, per visualizzare il report in base alla data di esecuzione della simulazione di caricamento, specifica un intervallo di date nel campo Data report.
    • Se vuoi, per visualizzare l'ultimo report eseguito insieme a quello corrente, seleziona il flag Solo ultima esecuzione.

  8. Per visualizzare il report, fai clic sull'icona Esegui.

Nella tabella seguente vengono descritte le colonne visualizzate nel report di simulazione:

Nome Descrizione
Chiave di trasferimento La chiave di trasferimento collettivo per la configurazione del trasferimento collettivo.
Tabella SAP Il nome della tabella SAP di cui viene eseguita la replica in BigQuery.
Timestamp inizio esecuzione L'ora di inizio dell'esecuzione per un metodo di BigQuery Connector per SAP.
Timestamp completamento L'ora in cui è stata completata l'esecuzione di un metodo BigQuery Connector per SAP.
Numero job Numero di job univoco per ogni esecuzione completata che viene generato automaticamente ogni volta che viene eseguito lo strumento di simulazione del carico.
N. ciclo Il numero di sequenza del ciclo di elaborazione in cui viene generato il report. Il valore Conteggio record per ciclo fornito nell'input della simulazione viene trasferito a BigQuery per ogni ciclo.
Numerico porzione Il numero di sequenza della parte. Il Conteggio record per ciclo fornito nell'input della simulazione è suddiviso in porzioni in base alle dimensioni della porzione specificata. Il BAdI di BigQuery Connector per SAP viene chiamato per ogni parte.
Nome corso Il nome della classe del metodo BigQuery Connector per SAP.
Nome metodo Il nome del metodo BigQuery Connector per SAP. I metodi invocati da BigQuery Connector per SAP vengono registrati in sequenza. Se nell'input della simulazione è selezionato il flag Log dettagliato, tutti i metodi vengono registrati oppure vengono registrati solo i metodi importanti.
Richiamato dal metodo L'ultimo metodo che ha chiamato il metodo corrente di BigQuery Connector per SAP.
Durata Il tempo totale necessario per l'esecuzione di un metodo di BigQuery Connector per SAP.
Numero di consigli Il numero di record passati a un metodo di BigQuery Connector per SAP. Viene mostrato solo per i metodi a cui vengono passati i record.
Metodo URI Il nome del metodo HTTP, nel caso in cui il metodo ABAP effettui una chiamata all'API BigQuery.
Stringa URI L'URL HTTP, nel caso in cui il metodo ABAP effettui una chiamata all'API BigQuery.
Origine token L'origine del token di autenticazione utilizzato dallo strumento di simulazione del carico. Questo vale solo se la memorizzazione nella cache dei token è attivata nella tabella /GOOG/CLIENT_KEY. I valori possibili sono:
  • A: valore dell'attributo statico di un processo specifico.
  • M: valore della memoria condivisa dalla memoria condivisa tra più processi.
  • L: nuovo valore con blocco della memoria. Se è presente un blocco della memoria e il token memorizzato nella cache non può essere letto, viene generato un nuovo token.
  • N: nuovo valore senza blocco della memoria. Se un token scade o non viene trovato nella memoria, viene generato un nuovo token.
Data di scadenza La data e l'ora di scadenza del token di autenticazione.
Questo è applicabile solo quando la memorizzazione nella cache dei token è attivata nella tabella /GOOG/CLIENT_KEY.
Valore token Valore del token di autenticazione utilizzato dallo strumento di simulazione del caricamento per accedere a BigQuery.
Codice di ritorno Il codice di ritorno dell'esecuzione del metodo. I valori possibili sono:
Testo dell'errore Il titolo dell'errore, se presente.
Descrizione errore Informazioni dettagliate sull'errore.
Dimensioni payload La dimensione del payload HTTP per l'API BigQuery Insert. Se si verifica un errore nell'esecuzione del metodo e le dimensioni del payload sono superiori a 10 MB, puoi modificare le dimensioni del chunk per diminuire le dimensioni del payload.
Testo informativo Qualsiasi messaggio di informazioni pertinente generato dal BAdI del BigQuery Connector per SAP. Ad esempio, quando viene attivato il suddivisione dinamica, viene visualizzato il seguente messaggio informativo:Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Stato Stato dell'esecuzione del metodo. Se l'esecuzione di un metodo non va a buon fine, consulta la guida alla risoluzione dei problemi di BigQuery Connector per SAP per risolvere il problema.

Strumento di simulazione del carico della pianificazione

Puoi pianificare l'esecuzione automatica dello strumento di simulazione del caricamento come job in background su SAP LT Replication Server utilizzando il nome del programma /GOOG/R_LOAD_SIMULATION. Per ulteriori informazioni di SAP sulla pianificazione dei job in background, consulta Pianificazione dei job in background.

Convalida della replica

Se selezioni l'opzione Extra Fields Flag (Indicatore di campi aggiuntivi) quando crei la tabella BigQuery di destinazione con la transazione /GOOG/SLT_SETTINGS, vengono aggiunte colonne allo schema della tabella per memorizzare il tipo di modifica di ogni record che ha attivato la replica e per un timestamp che riflette l'ora in cui SAP LT Replication Server ha ricevuto la parte contenente il record.

Puoi utilizzare i tipi di modifica e il timestamp per eseguire query sui seguenti tipi di conteggi dei record:

  • Il numero di record caricati in una tabella BigQuery durante un caricamento iniziale.
  • Il numero di record replicati in un giorno specificato in una tabella BigQuery.
  • Il numero totale di record univoci in una tabella BigQuery.

Per ottenere questi conteggi, puoi eseguire query sulla tabella BigQuery direttamente inviando query SQL nella console Google Cloud oppure puoi eseguire lo strumento di convalida della replica, che genera report che confrontano i conteggi dei record di BigQuery con le statistiche o i conteggi dei record di SAP LT Replication Server della tabella di origine.

Per una panoramica dell'indicatore di campi aggiuntivi, consulta Campi aggiuntivi per le modifiche dei record e le query di conteggio.

Per informazioni su come specificare l'indicatore di campi aggiuntivi, consulta:

Query SQL per i conteggi dei record

Nella pagina Editor SQL di BigQuery della console Google Cloud, puoi eseguire query SQL per controllare i conteggi dei record nelle tabelle BigQuery.

Puoi quindi confrontare i conteggi dei record di BigQuery con quelli nella tabella di origine o nelle statistiche di SAP LT Replication Server.

Esegui una query sul conteggio dei record inseriti in modalità di caricamento iniziale

Quando lo schema di una tabella BigQuery include la colonna facoltativa operation_flag, i record inseriti nella tabella in modalità di caricamento iniziale includono il flag di operazione L.

Per ottenere il conteggio dei record ricevuti da BigQuery durante un caricamento iniziale, esegui la seguente query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Esegui una query sul numero di record inseriti in modalità di replica

Quando lo schema di una tabella BigQuery include la colonna facoltativa operation_flag, i record inseriti nella tabella in modalità di replica includono uno dei seguenti flag di operazione:

  • I: il record è stato inserito nella tabella di origine.
  • D: il record è stato eliminato dalla tabella di origine.
  • U: il record è stato aggiornato nella tabella di origine.

Per ottenere il conteggio dei record ricevuti da BigQuery in modalità di replica, esegui la seguente query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Esegui una query sul conteggio totale dei record in una tabella BigQuery

Quando lo schema di una tabella BigQuery include la colonna facoltativa recordstamp, il campo recordstamp corrispondente di ogni record inserito nella tabella contiene un timestamp che indica quando il record è stato inviato da SAP LT Replication Server a BigQuery.

Per ottenere un conteggio totale dei record in una tabella BigQuery che puoi confrontare con il conteggio totale dei record in una tabella di origine, puoi utilizzare i campi recordstamp e is_deleted per conteggiare i record unici nella tabella BigQuery che non sono stati eliminati dalla tabella di origine.

Se la tabella di origine viene aggiornata attivamente o se la replica è attiva quando esegui query sui record, il conteggio dei record nelle tabelle di origine e di destinazione potrebbe non corrispondere esattamente.

Per ottenere il conteggio corrente dei record univoci nella tabella di destinazione BigQuery, esegui la seguente query:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Strumento di convalida della replica

Questa sezione fornisce una panoramica dello strumento di convalida della replica e delle sue funzionalità.

Lo strumento di convalida della replica genera report che confrontano i conteggi dei record nella tabella BigQuery con le statistiche di SAP LT Replication Server e i conteggi dei record nella tabella di origine. Se i conteggi non coincidono esattamente, lo strumento segnala il report con un cerchio rosso.

Per conteggiare i record in BigQuery, lo strumento utilizza le query SQL riportate nella sezione precedente Query SQL per il conteggio dei record.

Esegui periodicamente lo strumento di convalida della replica per verificare che SAP LT Replication Server e BigQuery Connector per SAP stiano replicando i record in BigQuery come previsto.

Per eseguire lo strumento di convalida della replica, inserisci la transazione personalizzata/GOOG/REPLIC_VALID preceduta da /n in SAP GUI. Per istruzioni dettagliate, consulta:

Report di convalida della replica

Con lo strumento di convalida della replica puoi generare i seguenti report di convalida:

  • Conteggi caricamenti iniziali: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di caricamento e il numero di record caricati in BigQuery.
  • Conteggi replica: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di replica e il numero di record inseriti in BigQuery in un giorno specificato.
  • Conteggi attuali:un confronto in un determinato momento del numero di record nella tabella di origine e del numero di record unici in BigQuery. Il conteggio corrente nella tabella di origine non può visualizzare un numero maggiore del limite di numeri interi a 32 bit (da -2.147.483.648 a 2.147.483.647).

Puoi generare ogni report singolarmente o, selezionando Tutti i controlli quando esegui lo strumento, puoi generare tutti e tre i report in un'unica esecuzione. Con il campo Nomi tabelle, puoi generare i report di convalida della replica per tabelle specifiche nella configurazione del trasferimento collettivo.

Visualizzazione dei report di convalida della replica

Dopo aver generato un report, puoi visualizzarlo selezionando il pulsante di opzione Mostra report nella sezione Opzioni di elaborazione dell'interfaccia dello strumento di convalida della replica.

Le informazioni visualizzate dallo strumento di convalida della replica in ogni report variano leggermente a seconda del tipo di report.

Tutti i report includono i seguenti tipi di informazioni:

  • Conteggi dei record di origine dalle statistiche di SAP LT Replication Server e dalla tabella di origine.
  • Conteggi dei record di destinazione dalla tabella BigQuery di destinazione.
  • Qualsiasi differenza tra i due conteggi. La differenza viene calcolata sottraendo i conteggi di BigQuery dai conteggi dei record di origine. Un valore positivo indica un probabile problema, perché suggerisce che non tutti i record di origine vengono inseriti in BigQuery.
  • La differenza nei conteggi visualizzata come percentuale del conteggio dei record di origine.
  • Un indicatore visivo che indica se i conteggi di origine e di destinazione sono uguali o diversi.

Conteggi di record non uguali

Lo strumento di convalida della replica include un campo di stato con ogni report visualizzato.

Un quadrato verde nel campo dello stato indica che il conteggio dei record di origine è uguale al conteggio dei record di destinazione in BigQuery.

Un cerchio rosso nel campo dello stato indica che i conteggi dei record non sono uguali.

Un conteggio dei record non uguale non indica sempre un problema. I seguenti indicatori suggeriscono un possibile problema:

  • Per un report Conteggi correnti, un valore diverso indica sempre un problema.

  • Per un report Conteggi caricamenti iniziali o Conteggi replica, un valore positivo indica un probabile problema.

    Un valore negativo relativamente basso non è un problema. Il conteggio in una tabella BigQuery di destinazione a volte può essere un po' più alto del conteggio dei record di origine a causa di eventi come interruzioni temporanee della connettività che causano il rieseguimento dei dati da parte di SAP LT Replication Server.

Se noti un conteggio non uguale, esegui di nuovo il report per assicurarti che non sia stato causato da un problema transitorio. Un conteggio dei record non uguale può verificarsi a causa dell'elaborazione della replica al momento in cui lo strumento ha generato il report.

Per una tabella di origine molto grande o una tabella con filtri impostati in SAP LT Replication Server per il caricamento iniziale o la replica, lo strumento di convalida della replica potrebbe non essere in grado di conteggiare tutti i record necessari per un conteggio uguale.

Pianificare i controlli di convalida

Puoi pianificare l'esecuzione automatica dello strumento di convalida della replica a intervalli utilizzando la funzionalità di job in background di SAP.

Modificare la mappa dei campi BigQuery in un file CSV

Le sezioni seguenti descrivono come esportare la mappatura dei campi predefinita in modo che i data engineer o gli amministratori di BigQuery possano modificare i valori dei campi target senza richiedere l'accesso a SAP LT Replication Server.

Quando modifichi i valori del campo target, rispetta le seguenti regole:

  • Non modificare i valori nelle colonne Nome tabella SAP e Nome campo SAP.
  • Nella colonna Send Uncompressed Flag (Invia indicatore non compresso), per attivare la compressione dei record, contrassegna il campo solo con X. In caso contrario, lascia vuoto il campo.

Crea un foglio di lavoro o un file di testo delle mappature dei campi predefinite

Per creare un file CSV da modificare al di fuori di SAP LT Replication Server:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Settings Table (Tabella delle impostazioni), specifica Fields (Campi).
    • Nel campo Mass Transfer Key (Chiave trasferimento collettivo), specifica l'ID del trasferimento collettivo che stai aggiornando.
    • Nel campo Nome tabella, lascia vuoto il campo per lavorare con tutti i campi di tutte le tabelle o specifica il nome di una tabella per lavorare con una tabella specifica.
    • Lascia vuoti tutti gli altri campi.

  3. Fai clic sull'icona Esegui. Viene visualizzata la schermata BigQuery Settings Maintenance - Fields (Manutenzione impostazioni BigQuery - Campi).

  4. Nella schermata BigQuery Settings Maintenance - Fields (Manutenzione impostazioni BigQuery - Campi), nascondi tutte le colonne tranne quelle nell'elenco seguente facendo clic con il tasto destro del mouse sulle intestazioni di colonna e selezionando Nascondi dal menu a discesa:

    • Nome tabella SAP
    • Nome campo SAP
    • Elemento dati esterni
    • Nome campo esterno
    • Descrizione campo
    • Invia flag non compresso

  5. Con le sei colonne rimanenti visualizzate, fai clic sull'icona Esporta.

  6. Dal menu Esporta, seleziona una delle seguenti opzioni:

    • Foglio di lavoro
    • File locale. Per facilitare la conversione dei contenuti del file in formato CSV, consigliamo di salvarlo nel formato Testo con tabulazioni.

  7. Salva le mappature dei campi predefinite facendo clic sull'icona Spunta.

Converti il foglio di lavoro o il file di testo in formato CSV

Per caricare le mappature dei campi modificate utilizzando la transazione personalizzata/GOOG/SLT_SETTINGS, le mappature dei campi devono essere in formato CSV.

Se utilizzi un foglio di lavoro, salvalo come file CSV prima di caricarlo.

Se utilizzi un file locale in un formato separato da tabulazioni o in qualsiasi altro formato, devi modificarlo in modo che sia conforme al formato CSV.

Ad esempio:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description, Send Uncompressed Flag
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1, SEND_UNCOMPRESSED_FLAG1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2, SEND_UNCOMPRESSED_FLAG2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3, SEND_UNCOMPRESSED_FLAG3

Carica il file CSV

Per caricare un file CSV modificato:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Settings Table (Tabella delle impostazioni), specifica Fields (Campi).
    • Nel campo Mass Transfer Key (Chiave trasferimento collettivo), specifica l'ID del trasferimento collettivo che stai aggiornando.
    • Seleziona la casella di controllo Carica da file.

  3. Fai clic sull'icona Esegui. Viene visualizzata la finestra di dialogo Seleziona file da caricare.

  4. Nella finestra di dialogo Seleziona file da caricare, seleziona il file CSV che contiene i valori dei campi modificati.

  5. Fai clic su Apri.

  6. Se ricevi un avviso di sicurezza, fai clic su Consenti. Il file viene caricato e i valori modificati nel file vengono visualizzati nelle righe applicabili nella schermata BigQuery Settings Maintenance - Fields.

  7. Fai clic sull'icona Salva.

  8. Per verificare che i valori siano applicati, confrontali con quelli nel file CSV con quelli visualizzati da SAP LT Replication Server.

Gestione degli errori nei dati di origine

Al ricevimento di un blocco di record da BigQuery Connector per SAP, l'API BigQuery Streaming controlla la presenza di errori nei dati prima di inserire i record nella tabella BigQuery.

Puoi controllare la modalità di risposta dell'API BigQuery e di BigQuery Connector per SAP quando vengono rilevati errori nei dati specificando i seguenti flag nelle impostazioni del trasferimento collettivo:

  • Il flag Skip Invalid Records (SKIP)
  • Il flag Break at First Error Flag (BREAK)

Il flag SKIP

Se specifichi il flag SKIP, quando l'API BigQuery riceve un chunk di record e ne trova uno con un errore nei dati, lo ignora o lo salta e continua a inserire tutti gli altri record del chunk nella tabella BigQuery.

Se non specifichi il flag SKIP, quando BigQuery trova un record con un errore nei dati, elimina l'intero chunk senza inserire alcun record nella tabella BigQuery. Questo è il comportamento standard.

La specifica del flag SKIP è ideale per gli ambienti di sviluppo e QA e non è consigliata per gli ambienti di produzione.

Puoi specificare il flag SKIP nella transazione /GOOG/SLT_SETTINGS quando configuri la replica. La specifica è memorizzata nella tabella di configurazione /GOOG/BQ_MASTR.

Per sapere in che modo le specifiche SKIP interagiscono con le specifiche BREAK, consulta la tabella della matrice per le interazioni SKIP e BREAK.

Il flag BREAK

Se specifichi il flag BREAK, quando BigQuery Connector per SAP riceve una notifica dall'API BigQuery che indica che è stato rilevato un errore nei dati di un record, BigQuery Connector per SAP interrompe l'invio dei record a BigQuery e termina il job di replica. Questo è il comportamento standard.

Se non specifichi il flag BREAK, quando BigQuery Connector per SAP viene informato da BigQuery che è stato rilevato un errore nei dati di un record, BigQuery Connector per SAP continua a inviare record a BigQuery inviando il chunk successivo e il job di replica continua.

Lo specificare il flag BREAK è consigliato negli ambienti di produzione.

Puoi specificare il flag BREAK nella transazione /GOOG/SLT_SETTINGS durante la configurazione della replica. Quando crei una nuova chiave per il trasferimento collettivo, il flag BREAK è attivato per impostazione predefinita.

La specifica è memorizzata nella tabella di configurazione /GOOG/BQ_MASTR.

Per sapere in che modo le specifiche BREAK interagiscono con le specifiche SKIP, consulta la tabella della matrice per le interazioni SKIP e BREAK.

Tabella di matrice per le interazioni di SKIP e BREAK

Puoi configurare BigQuery Connector per SAP in modo da gestire gli errori nei dati nei seguenti modi:

SKIP flag BREAK flag Comportamento
FALSE VERO

BigQuery ignora il chunk corrente di record senza inserire alcun record del chunk corrente nella tabella BigQuery.

BigQuery Connector per SAP non invia più chunk di record dalla parte corrente e indica a SAP LT Replication Server di terminare il job di replica.

Impostazione predefinita e consigliata.

FALSE FALSE

BigQuery ignora il chunk corrente di record senza inserire alcun record del chunk corrente nella tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi rimanenti di record dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non indica a SAP LT Replication Server di interrompere il job di replica.

VERO VERO

BigQuery ignora solo il record contenente l'errore e inserisce il resto dei record nel chunk corrente nella tabella BigQuery.

BigQuery Connector per SAP non invia più chunk di record dalla parte corrente e indica a SAP LT Replication Server di terminare il job di replica.

VERO FALSE

BigQuery ignora solo il record contenente l'errore e inserisce il resto dei record nel chunk corrente nella tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi rimanenti di record dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non indica a SAP LT Replication Server di interrompere il job di replica.

Modifiche alla struttura della tabella

Questa sezione spiega come modificare la struttura della tabella di origine SAP per la quale è in corso una replica LTRC esistente.

Aggiungere una colonna a una tabella di origine

Per aggiungere una nuova colonna a una tabella di origine:

  1. Aggiungi una nuova colonna alla tabella di origine. Come risultato di questo passaggio, lo stato della replica diventa Load/Replication blocked.

  2. Nel sistema SLT, reimposta lo stato della replica utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento /Replica bloccata".

  3. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  4. Convalida il risultato della replica in BigQuery.

Eliminare una colonna da una tabella di origine

Per eliminare una colonna esistente da una tabella di origine:

  1. Nel sistema SLT, sospendi la replica utilizzando la transazione LTRC.

  2. Elimina una colonna dalla tabella di origine. A seguito di questo passaggio, gli attivatori SLT esistenti vengono eliminati o impostati su uno stato incoerente.

  3. In BigQuery, elimina la colonna dalla tabella BigQuery di destinazione. Per ulteriori informazioni sulla procedura per eliminare una colonna da una tabella esistente, consulta la documentazione di BigQuery.

  4. Nel sistema SLT, riprendi la replica utilizzando la transazione LTRC.

  5. Nel sistema SLT, ricrea gli attivatori SLT. Per ulteriori informazioni di SAP su come ricreare gli attivatori SLT, consulta la Nota SAP 2254376 - Attivatori SLT in uno stato incoerente.

  6. Se lo stato della replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento /Replica bloccata".

  7. Cancella eventuali log.

  8. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  9. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati di una colonna esistente

Quando modifichi il tipo di dati di una colonna esistente nella tabella di origine SAP, devi seguire passaggi specifici a seconda che il tipo di dati venga modificato in un tipo di dati compatibile o non compatibile con la tabella BigQuery di destinazione.

Un tipo di dati è compatibile con il tipo di dati nella tabella BigQuery di destinazione quando il tipo di dati esistente e il nuovo tipo di dati di una colonna esistente mappano allo stesso tipo di dati nella tabella BigQuery di destinazione. Ad esempio, se il tipo di dati di una colonna viene modificato da INT1 in INT2 in una tabella di origine, entrambi i tipi di dati sono compatibili con il tipo di dati INTEGER nella tabella BigQuery di destinazione.

Per ulteriori informazioni sulla mappatura dei tipi di dati in BigQuery Connector per SAP, consulta Mappatura dei tipi di dati.

Modificare il tipo di dati in un tipo di dati compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati compatibile:

  1. Modifica il tipo di dati in un tipo di dati compatibile nel sistema di origine. A seguito di questo passaggio, gli attivatori SLT esistenti vengono eliminati o impostati su uno stato incoerente.

  2. Nel sistema SLT, ricrea gli attivatori SLT. Per ulteriori informazioni di SAP su come ricreare gli attivatori SLT, consulta la Nota SAP 2254376 - Attivatori SLT in uno stato incoerente.

  3. Se lo stato della replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento /Replica bloccata".

  4. Cancella eventuali log.

  5. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  6. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati in un tipo di dati non compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati non compatibile:

  1. Nel sistema SLT, interrompi la replica utilizzando la transazione LTRC.
  2. In BigQuery, elimina la tabella di destinazione.
  3. Modificare il tipo di dati nel sistema di origine.
  4. Nel sistema SLT, avvia la replica utilizzando la transazione LTRC.

Per ulteriori informazioni sulle modifiche alla struttura delle tabelle, consulta BigQuery Connector per SAP: gestire le modifiche alla struttura delle tabelle come un professionista.

Uscite del miglioramento

BigQuery Connector per SAP fornisce diversi punti di miglioramento nel codice in cui uno sviluppatore ABAP può inserire codice per aggiungere funzionalità personalizzate.

La tabella seguente elenca le funzioni supportate dai punti di miglioramento, i metodi e la classe che contiene il punto di miglioramento.

Funzione Classe Metodo Spot Opzione
Aggiorna la mappatura di un campo, ad esempio il nome del campo esterno, il tipo di dati e così via. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Aggiorna la mappatura per la tabella dei campi aggiungendo o rimuovendo campi. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Modifica il valore di un campo di origine prima che venga convertito in un campo di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Dopo aver convertito un campo di origine in un campo di destinazione nella tabella di destinazione, modifica il valore del campo di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Aggiungi alla tabella di destinazione un campo che non esiste nella tabella di origine durante la conversione della tabella di origine in quella di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo dello schema BigQuery prima della creazione della tabella BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
In caso di errori HTTP provenienti dal lato server di BigQuery, per risolvere il problema, puoi raccogliere i dati di log dopo le chiamate HTTP all'API BigQuery. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR
In caso di errori HTTP provenienti dal client SAP, per risolvere il problema puoi raccogliere i dati di log. /GOOG/CL_GCP_HTTP_CLIENT RECEIVE_HTTP_RESPONSE /GOOG/ES_GCP_HTTP_CLIENT /GOOG/RECEIVE_HTTP_RESPONSE

Impostazioni avanzate

Se vuoi, puoi modificare le impostazioni avanzate per BigQuery Connector per SAP. Google Cloud consiglia di modificare i parametri delle impostazioni avanzate solo dopo un'analisi completa e l'impatto dei nuovi valori sul rendimento. È tua responsabilità assicurarti che le nuove impostazioni avanzate di BigQuery Connector per SAP non causino errori e problemi di prestazioni.

Le impostazioni avanzate per BigQuery Connector per SAP vengono applicate a livello di sistema e sono comuni per tutte le chiavi di trasferimento collettivo. Se i parametri delle impostazioni avanzate non vengono modificati, BigQuery Connector per SAP funziona con le impostazioni predefinite.

Per modificare i parametri delle impostazioni avanzate:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/SLT_SETTINGS preceduta da /n:

    /n/GOOG/SLT_SETTINGS

  2. Nel menu a discesa Tabella delle impostazioni nella schermata di lancio della transazione/GOOG/SLT_SETTINGS, seleziona Parametri.

  3. Fai clic sull'icona Esegui. Viene visualizzata la schermata BigQuery Settings Maintenance - Parameters (Manutenzione impostazioni BigQuery - parametri).

  4. Fai clic sull'icona Inserisci riga.

  5. Nella riga visualizzata, specifica le seguenti impostazioni:

    1. Nel campo Nome parametro, inserisci il nome del parametro. La descrizione del parametro viene compilata automaticamente.

    2. Nel campo Valore parametro, inserisci un valore.

      Per informazioni sui parametri delle impostazioni avanzate, consulta Parametri delle impostazioni avanzate.

  6. Fai clic su Salva.

    Le impostazioni avanzate vengono memorizzate come record nella tabella di configurazione /GOOG/BQ_PARAM e i campi Modificato da, Modificato il e Modificato il vengono compilati automaticamente.

Parametri delle impostazioni avanzate

La tabella seguente mostra i parametri delle impostazioni avanzate per BigQuery Connector per SAP.

Nome parametro Descrizione Valore predefinito Valore valido
CHUNK_SIZE_DEF Si tratta della dimensione del chunk predefinita supportata da BigQuery Connector per SAP.
Se nelle impostazioni non viene mantenuta una dimensione del chunk, viene utilizzata la dimensione predefinita.		 10.000 Il valore deve rientrare nei limiti di quota di BigQuery.
PERC_REDUC_DEF La riduzione percentuale delle dimensioni dei chunk.
Se la dimensione del chunk dinamico è abilitata, la dimensione del chunk viene ridotta di questa percentuale fino a raggiungere una dimensione ideale del chunk e i dati nel chunk vengono trasferiti correttamente a BigQuery.		 50 Il valore deve essere compreso tra 1 e 99.
CMD_EXEC_TRIES Per i sistemi SAP non in esecuzione su Google Cloud, se il comando del sistema operativo che hai creato nella transazione SM69 non riesce a recuperare un token di accesso da Google Cloud, questo è il numero di volte che il BigQuery Connector per SAP riprova il recupero del token. 5 Il valore minimo che puoi assegnare a questo parametro è 1. Per facilitare almeno un nuovo tentativo, imposta il valore 2. Il valore massimo per questo parametro deve essere impostato dopo aver analizzato l'impatto che i tentativi di recupero dei token possono avere sul rendimento della replica.
CMD_SECS_DEFLT Se hai attivato la memorizzazione nella cache dei token, questo è il tempo in secondi dopo il quale il token memorizzato nella cache scade. 3500 Il valore deve essere compreso tra 1 e 3599.