Guida alle operazioni di BigQuery Connector per SAP

Questa guida mostra agli amministratori di SAP LT Replication Server, ai data engineer SAP o ad altri utenti come eseguire attività operative, come l'ottimizzazione delle prestazioni e gli aggiornamenti della versione, per la versione 2.7 (più recente) del BigQuery Connector per SAP.

Ottimizzazione delle prestazioni della replica

Le prestazioni di replica possono essere influenzate da più fattori. I fattori specifici applicabili possono variare da un'installazione all'altra e possono cambiare nel tempo.

Le seguenti sezioni forniscono indicazioni su come ottimizzare alcuni dei fattori più comuni che possono influire sulle prestazioni.

Per ulteriori informazioni sulle prestazioni di replica con BigQuery Connector per SAP, consulta Pianificazione delle prestazioni.

Impostare le opzioni di prestazioni per le tabelle

In SAP LT Replication Server puoi specificare le opzioni di replica per ogni tabella che influiscono sulle prestazioni.

In particolare, le prestazioni di replica per le tabelle di grandi dimensioni, che richiedono più tempo e risorse per la replica, possono trarre vantaggio dalla specifica degli intervalli e dall'aumento del numero massimo di job di replica paralleli utilizzabili per la tabella.

Esempi di tabelle che in genere diventano grandi sono MSEG, ACDOCA e MATDOC, tra le altre.

Quando specifichi job di replica parallela per tabelle di grandi dimensioni, devi bilanciare il numero di job paralleli consentiti per una determinata tabella rispetto al numero totale di job paralleli consentiti nella configurazione del trasferimento di massa. La tua organizzazione potrebbe anche limitare il numero di job di replica parallela che puoi specificare per un determinato server.

Per impostare le opzioni di prestazioni per una tabella:

  1. Nella GUI di SAP, inserisci la transazione SAP LTRS.

  2. Nella schermata Impostazioni di replica avanzate, specifica l'ID delle impostazioni di trasferimento di massa per la tabella.

  3. Nella gerarchia delle cartelle Impostazioni di replica avanzate, fai clic sulla cartella Opzioni per le prestazioni per visualizzare le tabelle per le quali sono state definite opzioni relative alle prestazioni.

  4. Se la tabella che ti serve non è presente nell'elenco, fai clic con il tasto destro del mouse sulla cartella Opzioni per le prestazioni, quindi seleziona Aggiungi tabella.

  5. Specifica un nome per la tabella.

  6. Specifica le seguenti opzioni in base alle tue esigenze:

    • In Opzioni generali di rendimento:
      • N. di job paralleli, per impostare il numero massimo di job di replica paralleli che possono essere utilizzati per la tabella.
      • Numero di sequenza, per dare la priorità alla replica di questa tabella rispetto ad altre repliche della tabella.
    • In Opzioni di caricamento iniziale:
      • Per Tipo di lettura, seleziona Calcolo dell'intervallo di tipo Lettura 1, se la tabella non è troppo grande. Per maggiori informazioni, consulta Prestazioni e impostazioni di replica avanzate LTRS.
      • In Dimensioni pacchetto, specifica la dimensione in byte delle parti dei record inviati a SAP LT Replication Server.
      • Se selezioni un tipo di lettura che utilizza intervalli, definisci gli intervalli appropriati.
    • In Opzione di replica:
      • In Intervalli per tabella di Logging, specifica Nessun intervallo per l'opzione più affidabile.
      • Se selezioni Specifica intervalli manualmente, definisci gli intervalli appropriati.

  7. Fai clic su Salva.

Benchmark di rendimento di riferimento

Per aiutarti a valutare le prestazioni della replica, questa sezione contiene dati di riferimento delle prestazioni osservati nei sistemi di test di Google Cloud.

A causa dei diversi fattori che influiscono sulle prestazioni, i dati relativi al rendimento potrebbero variare.

Ad esempio, se i tuoi sistemi SAP non sono in esecuzione su Google Cloud, le velocità di carico e replica potrebbero essere inferiori alle tariffe di riferimento a causa di fattori quali la latenza di rete e l'overhead associato ai token di accesso. Se la tabella di origine ha meno colonne o installi SAP LT Replication Server sul proprio server in un'architettura autonoma, le tariffe potrebbero essere più veloci, perché SAP LT Replication Server non deve competere con il sistema di origine per le risorse.

Cifre delle prestazioni di riferimento osservate

I seguenti valori di prestazioni rappresentano le prestazioni di riferimento che sono state osservate da Google Cloud per ogni tipo di sistema di origine durante i test. In ogni sistema di test, SAP LT Replication Server è stato installato sul sistema di origine SAP in un'architettura incorporata nelle VM di Compute Engine. Il sistema di origine SAP era in esecuzione nella stessa regione di Google Cloud del set di dati BigQuery di destinazione.

Per informazioni sulla configurazione dei sistemi di test, consulta Configurazione del sistema di test delle prestazioni di riferimento.

Per visualizzare i dati sul rendimento, fai clic sul tipo di sistema di origine:

S/4HANA

  • Tabella: ACDOCA
    • 343 milioni di record
    • 477 colonne
  • Caricamento iniziale
    • Velocità di caricamento: 350 milioni di record all'ora in media
    • Durata di caricamento:in media 59 minuti
  • Replica
    • Tasso di modifica della tabella di origine:in media 50 milioni di record all'ora
    • Frequenza di replica massima:50 milioni di record all'ora in media.

ECC

  • Tabella: MSEG
    • 203 milioni di record
    • 188 colonne
  • Caricamento iniziale
    • Velocità di caricamento: in media 385 milioni di record all'ora
    • Durata di caricamento:in media 32 minuti
  • Replica
    • Tasso di modifica della tabella di origine:in media 50 milioni di record all'ora
    • Frequenza di replica massima:in media 69 milioni di record all'ora.

I dati sulle prestazioni precedenti sono le basi osservate dai tester di Google Cloud.

Le prestazioni osservate erano migliori nei sistemi di test che avevano i seguenti attributi:

  • SAP LT Replication Server è stato installato sulla propria VM in un'architettura autonoma.
    • Per i sistemi S/4HANA, è stato osservato che un'architettura autonoma ha una velocità di caricamento iniziale di circa il 42% più veloce rispetto a un'architettura incorporata, grazie alla scalabilità indipendente dei processi di SAP LT Replication Server.
    • Per i sistemi ECC, è stato osservato che un'architettura autonoma ha una velocità di caricamento iniziale di circa il 10% più rapida rispetto a un'architettura incorporata, grazie alla scalabilità indipendente dei processi del server di replica SAP LT.
  • La tabella di origine aveva meno colonne.
  • La dimensione complessiva in byte dei record era inferiore.

Per informazioni sugli attributi di sistema che puoi modificare per migliorare le prestazioni, vedi:

Configurazione del sistema di test delle prestazioni di riferimento

I sistemi di test descritti in questa sezione hanno prodotto i valori relativi alle prestazioni di base elencati nella sezione precedente, Dati relativi alle prestazioni di riferimento osservate.

I sistemi di test, inclusi il sistema di origine SAP, il server di replica SAP LT e il set di dati BigQuery, erano tutti in esecuzione su VM di Compute Engine nella stessa regione di Google Cloud.

In ciascun sistema, i server e il carico di lavoro sono stati progettati per simulare un carico di lavoro più pesante e un volume di replica più elevato, probabilmente in molte installazioni reali.

Per visualizzare gli attributi del sistema di test, fai clic sul tipo di sistema di origine:

S/4HANA

  • Architettura di installazione del server di replica SAP LT:
    • Architettura integrata
  • Server del sistema di origine:
    • Due server delle applicazioni, ciascuno su un tipo di macchina personalizzata di Compute Engine basato su N2 con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 324 GB
      • Piattaforma CPU: Intel Cascade Lake
    • Un server SAP HANA su una VM Compute Engine m1-ultramem-80 con le seguenti specifiche:
      • vCPU: 80
      • Memoria: 1900 GB
      • Piattaforma CPU: Intel Broadwell
  • Versioni software:
    • S/4HANA 1909
    • Server di replica SAP LT: S/4CORE 104 SP00
  • Dimensioni della tabella:
    • Nome tabella: ACDOCA, dati delle voci del registro di contabilità generale
    • Numero di record: 343 milioni
    • Numero di colonne: 477
  • Processi di lavoro su ciascun server delle applicazioni:
    • 60 Processi della finestra di dialogo
    • 220 Processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Offerte di lavoro: 99
    • Tipo di lettura: 1 intervallo
    • Calcolo: intervalli automatici
  • Impostazioni di replica:
    • Offerte di lavoro: 99
    • Utilizzare i campi chiave per calcolare gli intervalli per la tabella di logging
    • 128 intervalli

ECC

  • Architettura di installazione del server di replica SAP LT:
    • Architettura integrata
  • Server del sistema di origine:
    • Due server delle applicazioni, ciascuno su una n2-highmem-48 VM di Compute Engine con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 348 GB
      • Piattaforma CPU: Intel Cascade Lake
  • Versioni software:
    • SAP NetWeaver: 7.0 EHP2
    • Server di replica SAP LT: DMIS 2011_1_700 SP17
  • Dimensioni della tabella:
    • Tabella: MSEG, documenti di gestione dell'inventario dei materiali
    • Numero di record: 203 milioni
    • Numero di colonne: 188
  • Processi di lavoro su ciascun server delle applicazioni:
    • 60 Processi della finestra di dialogo
    • 100 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Offerte di lavoro: 99
    • Tipo di lettura: 5 mittente
    • Coda: intervalli manuali
  • Impostazioni di replica:
    • Offerte di lavoro: 99
    • Intervalli per la tabella di logging: utilizza i campi chiave per calcolare gli intervalli
    • Numero di intervalli: 128

Dimensione dinamica del blocco

Se riscontri errori perché le dimensioni in byte dei blocchi superano la dimensione massima in byte per le richieste HTTP accettate da BigQuery, devi ridurre manualmente le dimensioni in byte riducendo le dimensioni del blocco. La funzionalità di dimensione dinamica del blocco consente di ridurre automaticamente la dimensione del blocco e di riprovare la replica su BigQuery quando la dimensione in byte di un blocco supera la dimensione in byte massima per le richieste HTTP accettate da BigQuery. La dimensione dinamica del blocco consente di evitare la maggior parte degli errori di replica dovuti al superamento della dimensione in byte di una richiesta. Potresti ricevere un errore solo se la dimensione del blocco raggiunge 1, ma la dimensione in byte rimane superiore al limite di BigQuery per il numero di byte in ogni richiesta HTTP.

Puoi abilitare la dimensione dinamica del blocco nella configurazione del trasferimento di massa per una tabella utilizzando la transazione /GOOG/SLT_SETTINGS. La dimensione dinamica del blocco è un'impostazione facoltativa. Per informazioni su come abilitare la dimensione dinamica del blocco, consulta:

Quando la dimensione dinamica del blocco è abilitata, la dimensione massima del blocco consentita da BigQuery Connector per SAP rimane entro i limiti di quota di BigQuery, ovvero 50.000 record.

Per ulteriori informazioni sulla dimensione del blocco, consulta la sezione Dimensioni e dimensioni del blocco.

Come funziona la dimensione dinamica del blocco

Con le dimensioni dinamiche del blocco, se la richiesta HTTP con la dimensione iniziale del blocco supera il limite di BigQuery per le dimensioni in byte, BigQuery Connector per SAP riduce le dimensioni del blocco e riprova a inviare i dati. BigQuery Connector per SAP continua a ridurre le dimensioni del blocco e riprova a inviare i dati a BigQuery, fino a quando i dati non vengono trasferiti correttamente per un determinato blocco o fino a quando la dimensione del blocco non raggiunge 1.

La dimensione finale del blocco, per il quale il trasferimento di dati è andato a buon fine, viene quindi utilizzata come dimensione del blocco per tutti i blocchi rimanenti di quella parte. Puoi trovare le dimensioni ridotte dei blocchi finali che hanno avuto esito positivo per ogni parte nei log delle applicazioni del server di replica SAP LT sotto forma di messaggio informativo:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.

Per le parti successive e per eventuali repliche successive, BigQuery Connector per SAP inizia a inviare dati a BigQuery con la dimensione del blocco configurata nella transazione /GOOG/SLT_SETTINGS e continua a ridurre la dimensione del blocco se viene attivata la funzionalità di blocco dinamico.

Per impostazione predefinita, la dimensione del blocco si riduce del 50% dopo ogni nuovo tentativo. Se vuoi ridurre la dimensione del blocco di una percentuale inferiore o superiore, modifica i parametri delle impostazioni avanzate.

Vediamo un esempio di come viene determinata la dimensione del blocco nel processo di replica quando la dimensione dinamica del blocco è abilitata per una tabella. Per questo esempio, le dimensioni della porzione del server di replica SAP LT sono superiori a quelle del connettore BigQuery per il blocco SAP e la dimensione del blocco di 10.000 record è definita nella transazione /GOOG/SLT_SETTINGS. BigQuery Connector per SAP replica una parte in BigQuery nel seguente modo:

  1. Quando la replica inizia per una parte che contiene 20.000 record, la dimensione del blocco per il primo blocco è di 10.000 record, ma se la dimensione in byte per la richiesta HTTP è superiore a 10 MB, BigQuery Connector per SAP riduce la dimensione del blocco del 50% e la nuova dimensione del blocco diventa 5000 record.

  2. BigQuery Connector per SAP riprova a inviare la dimensione del blocco di 5000 record, ma se la dimensione in byte per la richiesta HTTP è ancora superiore a 10 MB, BigQuery Connector per SAP riduce ulteriormente la dimensione del blocco del 50% e la nuova dimensione del blocco diventa di 2500 record.

  3. BigQuery Connector per SAP riprova a inviare la dimensione del blocco di 2500 record. Ora, se la dimensione in byte per la richiesta HTTP per questo blocco è inferiore a 10 MB, la replica va a buon fine e i dati vengono inseriti in BigQuery.

  4. La dimensione del blocco per tutti i blocchi successivi diventa 2500 record,a condizione che la dimensione in byte per ogni richiesta HTTP sia inferiore a 10 MB. Se la dimensione in byte della richiesta HTTP per un blocco successivo supera i 10 MB, BigQuery Connector per SAP riduce nuovamente le dimensioni del blocco e riprova a inviare i dati a BigQuery, finché non vengono trasferiti correttamente per un determinato blocco. La dimensione ridotta del blocco viene utilizzata solo per la porzione attuale della replica attuale.

Prestazioni con dimensioni dinamiche del blocco

La dimensione dinamica del blocco può influire sulle prestazioni della replica in BigQuery. Per ogni blocco, BigQuery Connector per SAP calcola il numero di record in un blocco e controlla le dimensioni in byte delle richieste HTTP. Se la dimensione in byte è superiore a 10 MB, BigQuery Connector per SAP riduce le dimensioni del blocco e riprova a inviare i dati a BigQuery, aumentando così il tempo di replica complessivo.

Utilizza la dimensione dinamica del blocco solo in situazioni specifiche dove, anche dopo aver configurato una dimensione ideale del blocco per alcuni record di dati, la dimensione della richiesta potrebbe superare il limite per le richieste HTTP di BigQuery e non vuoi che venga visualizzato un errore relativo alle dimensioni del blocco. Ad esempio:

  • Le tabelle di origine che contengono grandi variazioni di sparsità dei dati nei campi, ovvero per alcuni record vengono mantenuti meno campi, mentre per alcuni vengono mantenuti molti campi.
  • Tabelle di origine che contengono campi di testo lunghi come EDID4-SDATA, VARI-CLUSTID e REPOSRC-DATA.

Puoi anche utilizzare la dimensione dinamica del blocco durante la fase di test per identificare la dimensione ideale del blocco per una tabella che puoi definire nel tuo sistema SAP di produzione.

Per ulteriori informazioni sulla configurazione della dimensione del blocco, vedi:

Sposta le impostazioni del trasferimento di massa in produzione

Per trasferire le impostazioni del trasferimento di massa in produzione, devi prima esportare le impostazioni da un sistema di sviluppo, quindi importarle nel sistema di produzione.

Facoltativamente, puoi importare tre parti separate delle impostazioni di un trasferimento di massa in produzione:

  • Le impostazioni di replica avanzate, a cui è possibile accedere tramite la transazione LTRS.
  • Le impostazioni della chiave client della tabella /GOOG/CLIENT_KEY, a cui è possibile accedere utilizzando la transazione SM30.
  • BigQuery Connector per SAP delle impostazioni del trasferimento di massa, a cui è possibile accedere mediante la transazione /GOOG/SLT_SETTINGS.

Esporta le impostazioni del trasferimento di massa da un sistema di sviluppo

Nel sistema di sviluppo SAP LT Replication Server, esporta ogni parte delle impostazioni del trasferimento di massa:

  1. Esporta le impostazioni di replica avanzate:

    1. Esegui la transazione con LTRS.
    2. Seleziona i record del trasferimento di massa che vuoi trasferire in produzione.
    3. Dal menu a discesa File, seleziona Esporta tutte le impostazioni.
    4. Nella finestra di dialogo Esporta impostazioni, seleziona una destinazione e fai clic su Salva. Le impostazioni vengono salvate in un file compresso in formato CSV sulla workstation locale.

  2. Esporta le impostazioni del trasferimento di massa BigQuery Connector per SAP:

    1. Esegui la transazione con /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Nel campo Tabella delle impostazioni, seleziona Trasferimento di massa.

    3. Seleziona i record del trasferimento di massa che vuoi trasferire in produzione.

    4. Fai clic su Transport Mass Transfer.

    5. In Richiedi richiesta di Workbench, inserisci il numero della richiesta di trasporto e fai clic sull'icona Continua. Per ogni record di trasferimento di massa selezionato, nel trasporto sono incluse le impostazioni delle seguenti tabelle di configurazione personalizzate:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Le impostazioni del trasferimento di massa vengono salvate in una richiesta di trasporto.

  3. Esporta le impostazioni della chiave client includendo manualmente i contenuti della tabella /GOOG/CLIENT_KEY nella richiesta di trasporto.

  4. Salva i file sulla workstation locale.

Importazione delle impostazioni del trasferimento di massa in un sistema di produzione

Nel sistema di produzione SAP LT Replication Server, importa ogni parte delle impostazioni del trasferimento di massa:

  1. Crea una configurazione di replica del server di replica SAP LT per le impostazioni del trasferimento di massa.

  2. Importa le impostazioni di replica avanzate:

    1. Esegui la transazione con LTRS.
    2. Seleziona il trasferimento di massa creato nel primo passaggio.
    3. Dal menu a discesa File, seleziona Importa tutte le impostazioni.
    4. Nella finestra di dialogo Scegli file, seleziona il file compresso dalla workstation locale e fai clic su Apri. Le impostazioni vengono importate come impostazioni per il trasferimento di massa.

  3. Importa la richiesta di trasporto contenente le impostazioni del trasferimento di massa.

  4. Esegui la transazione con SM30.

  5. Aggiorna le impostazioni della chiave client in base alle esigenze dell'ambiente di produzione.

  6. Esegui la transazione con /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifica che nella schermata Trasferimenti di massa siano visualizzati i trasferimenti di massa corretti.

  8. Nella colonna Mass Transfer ID (ID trasferimento di massa), sostituisci l'ID del trasferimento di massa del sistema di sviluppo con l'ID del trasferimento di massa della configurazione di replica che hai creato nel primo passaggio.

  9. Nelle schermate di impostazioni Tabelle e Campi successive, aggiorna gli altri valori per la mappatura della tabella e dei campi in base alle esigenze dell'ambiente di produzione.

  10. Testa la configurazione avviando un caricamento iniziale o una replica. Per informazioni sull'avvio di un caricamento iniziale o di una replica, consulta:

    • Se SAP LT Replication Server è in esecuzione su una VM di Compute Engine, testa la replica.
    • Se SAP LT Replication Server è in esecuzione su un host esterno a Google Cloud, verifica la replica.

Aggiorna BigQuery Connector per SAP

Google Cloud offre le nuove release di BigQuery Connector per SAP come trasporti SAP.

Gli amministratori di SAP possono aggiornare BigQuery Connector per SAP seguendo questi passaggi:

  1. Se hai applicato gli aggiornamenti rapidi per la replica delle tabelle del cluster o hai configurato il segmento di pubblico predefinito per l'autenticazione basata su JWT, prima di aggiornare BigQuery Connector per SAP alla versione 2.6 devi eliminare l'aggiornamento rapido. Per ulteriori informazioni sull'eliminazione di un aggiornamento rapido, consulta la pagina SAP Creazione, modifica ed eliminazione delle implementazioni di miglioramento.
  2. Disattiva la configurazione in SAP LT Replication Server.
  3. Importare la nuova richiesta di trasporto SAP.
  4. Dopo aver convalidato l'importazione e l'attivazione degli oggetti riuscita, attiva la configurazione in SAP LT Replication Server.

Aggiorna gcloud CLI

Devi mantenere aggiornata Google Cloud CLI sull'host del server di replica SAP LT.

Per ulteriori informazioni sulla gestione di gcloud CLI, consulta Gestione dei componenti di gcloud CLI.

Monitoraggio

Puoi monitorare diversi punti lungo il percorso dati dall'origine dati SAP alla tabella BigQuery di destinazione, tra cui:

  • Infrastruttura: rete, hardware e sistema operativo
  • Il livello di database SAP
  • Il livello dell'applicazione SAP
  • BigQuery Connector per SAP
  • BigQuery

Le opzioni a tua disposizione per il monitoraggio in ciascuno di questi punti sono presentate nelle sottosezioni seguenti.

Monitoraggio dell'infrastruttura

In Google Cloud, puoi installare Ops Agent sulle VM host per un monitoraggio e un logging avanzati. Ops Agent invia i dati a Cloud Monitoring nella console Google Cloud.

Per ulteriori informazioni, vedi:

Per i sistemi che non sono in esecuzione su Google Cloud, puoi ottenere informazioni sul server anche eseguendo transazioni SAP, come la transazione ST06.

Monitoraggio del livello di database

Utilizza i codici di transazione SAP standard per monitorare l'integrità del database.

Il codice transazione DBACOCKPIT è la transazione più comune per il monitoraggio del database. Questa transazione fornisce anche log dettagliati che puoi utilizzare per risolvere gli errori.

Per SAP HANA, puoi utilizzare SAP HANA Studio per le operazioni SAP HANA. Puoi installare SAP HANA Studio su qualsiasi macchina con frontend.

Quando cerchi di risolvere i problemi di prestazioni o di altro tipo, controlla quanto segue nel database di origine:

  • Istruzioni SQL costose
  • Serrature
  • Cronologia caricamenti
  • Indici
  • Processi

Monitoraggio del livello dell'applicazione

Puoi utilizzare gli strumenti di monitoraggio e risoluzione dei problemi delle applicazioni SAP per monitorare e risolvere i problemi BigQuery Connector per SAP, poiché viene eseguito nel livello di applicazione.

Il monitoraggio e la risoluzione dei problemi delle applicazioni SAP possono essere ulteriormente classificati come:

  • Monitoraggio e risoluzione dei problemi SAP standard
  • Connettore BigQuery per il monitoraggio e la risoluzione dei problemi SAP

Per ambienti più ampi, puoi utilizzare SAP Solution Manager come strumento di monitoraggio centrale.

Puoi utilizzare i codici di transazione SAP nell'elenco seguente per monitorare e diagnosticare i problemi su singoli sistemi di applicazioni SAP:

  • Stato configurazione SLT: LTRC
  • Errori e log SLT: LTRO e SLG1
  • Internet Communication Manager (chiamate HTTP e HTTPS): SMICM
  • Sicurezza e certificati: STRUST
  • Trasporti SAP: STMS
  • Connessioni RFC: SM59
  • Comando del sistema operativo: SM69
  • Controllo pacchi: SE80
  • Controlli di autorizzazione: SU53
  • Lavori in background: SM37
  • Log di sistema: SM21

Monitoraggio di BigQuery

usa Cloud Monitoring per visualizzare le metriche di BigQuery e creare grafici e avvisi. Ogni metrica ha un tipo di risorsa (bigquery_dataset, bigquery_project o global), nonché un set di etichette.

Utilizza i tipi di risorse e le etichette per creare query in Monitoring Query Language (MQL).

Puoi raggruppare o filtrare ogni metrica utilizzando le etichette.

Per ulteriori informazioni su Monitoring, consulta la documentazione di Cloud Monitoring.

Visualizza le impostazioni BigQuery Connector per SAP

Per visualizzare le impostazioni del trasferimento di massa di BigQuery Connector per SAP, nella GUI di SAP, esegui la transazione /GOOG/SLT_SETT_DISP.

Strumento Crea tabella

Per le tabelle di origine vuote in SAP, SAP SLT impedisce la creazione di tabelle di destinazione in BigQuery. Se devi creare le tabelle di destinazione nel set di dati BigQuery per le tabelle di origine vuote, puoi utilizzare lo strumento Crea tabella.

Per eseguire lo strumento Crea tabella:

  1. Nella GUI di SAP, esegui la transazione /GOOG/CREATE_BQ_TAB preceduta da /n:

    /n/GOOG/CREATE_BQ_TAB

  2. Nella schermata Crea tabelle di destinazione da impostazioni BQ, fornisci i valori per i seguenti campi:

    • Chiave di trasferimento di massa: la chiave di trasferimento di massa che contiene le tabelle SAP.
    • Nome tabella SAP: i nomi delle tabelle SAP che devi creare.

  3. Fai clic sull'icona Esegui. Le tabelle di destinazione vengono create nel set di dati BigQuery.

  4. Se vuoi, verifica nel set di dati BigQuery se la tabella è stata creata con lo schema corretto.

Strumento di conversione campi di massa

Anche se BigQuery Connector per SAP suggerisce automaticamente i tipi di dati BigQuery per la maggior parte dei campi, potrebbe essere necessario mappare i campi manualmente. Anziché assegnare manualmente il tipo di dati a ogni campo, puoi utilizzare lo strumento di conversione dei campi di massa per mappare l'assegnazione del tipo di dati per tutti i campi nella schermata di mappatura dei campi della transazione /GOOG/SLT_SETTINGS. Lo strumento di conversione dei campi di massa converte tutte le mappature dei campi di una tabella nel tipo STRING su BigQuery.

Se una tabella è già in fase di replica o viene aggiunta per il caricamento iniziale nella transazione LTRC, non utilizzare lo strumento di conversione dei campi di massa per queste tabelle, in quanto potrebbero verificarsi problemi di mancata corrispondenza dello schema. Puoi utilizzare questo strumento solo per le tabelle SAP per le quali il caricamento o la replica iniziale non sono stati avviati.

Per utilizzare lo strumento di conversione dei campi di massa, procedi nel seguente modo:

  1. Nella GUI di SAP, esegui la transazione /GOOG/MASS_CNVT_FMAP preceduta da /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. Nella schermata Conversione dei campi di massa, fornisci i valori per i seguenti campi:

    • Chiave di trasferimento di massa: la chiave di trasferimento di massa che contiene le tabelle SAP.
    • Nome tabella SAP: i nomi delle tabelle SAP per i quali devi convertire tutte le mappature dei campi nel tipo STRING.

  3. Fai clic sull'icona Esegui. Per le tabelle selezionate, tutte le mappature dei campi vengono convertite nel tipo STRING.

Strumento di simulazione del carico

Questa sezione fornisce una panoramica dello strumento di simulazione del carico e delle operazioni che puoi eseguire.

Lo strumento di simulazione del carico è uno strumento di assistenza per BigQuery Connector per SAP che ti consente di simulare la replica dei dati SAP in BigQuery. Lo strumento fa parte del trasporto fornito da Google Cloud perBigQuery Connector per SAPP. Puoi utilizzare lo strumento di simulazione del carico per replicare i dati SAP di origine in BigQuery richiamando direttamente il Business Add In (BAdI) di BigQuery Connector per SAP. Poiché lo strumento di simulazione del carico non utilizza il framework SLT sottostante, gli attivatori SLT non sono interessati. Non utilizzare lo strumento di simulazione del carico per la replica dei dati negli ambienti di produzione.

Lo strumento di simulazione del carico fornisce un report che puoi analizzare per valutare le prestazioni della replica, identificare potenziali problemi, comprendere la causa principale dei problemi e risolverli prima della replica effettiva dei dati SAP in BigQuery utilizzando BigQuery Connector per SAP.

Di seguito sono riportati alcuni casi d'uso comuni in cui puoi utilizzare lo strumento di simulazione del carico:

  • Riproduci e risolvi eventuali problemi di connettività di rete, autorizzazione o autenticazione.
  • Genera log avanzati delle chiamate API BigQuery per la risoluzione dei problemi.
  • Per qualsiasi assistenza in merito alla risoluzione dei problemi da parte dell'assistenza clienti Google Cloud, esegui lo strumento di simulazione del carico e fornisci i log al team dell'assistenza clienti.
  • Misura le metriche delle prestazioni fornendo il tempo impiegato per ogni passaggio nel processo di replica.
  • Per SAP LT Replication Server in un'architettura incorporata, determina la dimensione ottimale del blocco per le tabelle SAP.

Utilizza una configurazione di trasferimento di massa di esempio con lo strumento di simulazione del carico creato mediante la transazione personalizzata /GOOG/SLT_SETTINGS. Non utilizzare il set di dati di produzione e le tabelle BigQuery per eseguire lo strumento di simulazione del carico.

Quando il server di replica SAP LT si trova in un'architettura incorporata, esegui lo strumento di simulazione di caricamento con le tabelle SAP standard come MARA e T001.

Se il server di replica SAP LT si trova in un'architettura autonoma, esegui lo strumento di simulazione del carico con la tabella di esempio /GOOG/TEST_REPL fornita da Google Cloud con BigQuery Connector per SAP. Lo strumento di simulazione del carico non supporta la lettura di tabelle di origine da un sistema remoto.

Per ulteriori informazioni sulle architetture per le origini dati SAP su Google Cloud, consulta Architettura di installazione.

Prerequisiti

Prima di eseguire lo strumento di simulazione del carico, assicurati che siano soddisfatti i seguenti prerequisiti:

Come eseguire lo strumento di simulazione del carico

Per eseguire lo strumento di simulazione del carico, segui questi passaggi:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/LOAD_SIMULATE preceduta da /n:

    /n/GOOG/LOAD_SIMULATE

  2. Fai clic sull'icona Esegui. Viene visualizzata la schermata Simulazione di carico SLT.

  3. In Opzioni di elaborazione, assicurati che sia selezionata l'opzione Esegui simulazione.

  4. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, seleziona BigQuery.

    • Nel campo Chiave trasferimento di massa, inserisci la chiave di trasferimento di massa per la configurazione del trasferimento di massa.

      Utilizza una configurazione di trasferimento di massa di esempio con lo strumento di simulazione del carico. Non utilizzare il set di dati di produzione e le tabelle BigQuery.

    • Nel campo Nome tabella, inserisci il nome della tabella SAP di origine che hai fornito nella configurazione del trasferimento di massa di esempio.

    • Facoltativamente, nel campo Where Condition, inserisci una condizione per la selezione dei dati dalla tabella di origine.

      Puoi inserire fino a 255 caratteri. Ad esempio, se esegui lo strumento di simulazione del carico per la tabella SAP MARA e devi selezionare il numero materiale da un intervallo specifico, per Where Condition specifica un valore simile a MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • Nel campo Conteggio cicli, inserisci il numero di cicli di elaborazione eseguiti dallo strumento di simulazione del carico.

      È utile per confrontare l'aspetto del report sulla simulazione in più cicli. Il valore deve essere maggiore di 1.

    • Nel campo Conteggio record per ciclo, inserisci il numero di record da inviare a BigQuery in ogni ciclo di elaborazione. Il valore deve essere maggiore di 1.

    • Nel campo Dimensione porzione, inserisci il numero di record all'interno del campo Numero di record per ciclo che il server di replica SAP LT invia a BAdI di BigQuery Connector per SAP in ogni parte.

    • Seleziona uno o più flag appropriati:

      • Numero esatto di record: indica che esattamente lo stesso numero di record fornito nel campo Conteggio record per ciclo viene inviato a BigQuery in ogni ciclo di elaborazione. Se la tabella non dispone di record sufficienti, lo strumento di simulazione del carico duplica i record esistenti per ottenere il conteggio richiesto. I record vengono duplicati solo per inserire i dati in BigQuery e non per inserire i dati nella tabella di origine.

      • Utilizza struttura di destinazione SLT: utilizza la struttura della tabella di logging SLT per ottenere i campi della tabella di origine. Se questo flag non è impostato, i campi vengono letti direttamente dalla tabella di origine per generare la struttura di destinazione. Per ulteriori informazioni sul flusso di dati di SAP LT Replication Server, consulta Visualizzazione dettagliata dell'architettura del flusso di dati.

      • Log dettagliato: indica che i record di log vengono creati per tutti i metodi definiti in BigQuery Connector per SAP. Se il flag non è impostato, vengono registrati soltanto i metodi importanti.

      • Cancella risultati precedenti: cancella i record di log creati in precedenza per lo stesso trasferimento di massa e la stessa tabella SAP. Se il flag non è impostato, i log vengono aggiunti ai risultati precedenti.

  5. Per eseguire lo strumento di simulazione del carico, fai clic sull'icona Esegui.

  6. Al termine della simulazione del carico, nella sezione Opzioni di elaborazione, seleziona il pulsante di opzione Visualizza report.

  7. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, seleziona BigQuery.
    • Nel campo Chiave trasferimento di massa, inserisci la chiave di trasferimento di massa per la configurazione del trasferimento di massa di esempio.
    • Nel campo Nome tabella, inserisci il nome della tabella SAP di origine.
    • Se vuoi, per visualizzare il report in base alla data di esecuzione della simulazione di carico, specifica un intervallo di date nel campo Data del report.
    • Facoltativamente, per visualizzare l'ultimo report eseguito insieme a quello corrente, seleziona il flag Solo ultima esecuzione.

  8. Per visualizzare il report, fai clic sull'icona Esegui.

Nella tabella seguente vengono descritte le colonne visualizzate nel report sulla simulazione:

Nome Descrizione
Chiave di trasferimento La chiave di trasferimento di massa per la configurazione di trasferimento di massa.
Tabella SAP Il nome della tabella SAP che viene replicata in BigQuery.
Timestamp inizio esecuzione L'ora in cui è iniziata l'esecuzione di un metodo di BigQuery Connector per SAP.
Timestamp del completamento L'ora in cui è stata completata l'esecuzione di un metodo per un BigQuery Connector per SAP.
Numero lavoro Numero di job univoco per ogni esecuzione completata, generato automaticamente ogni volta che viene eseguito lo strumento di simulazione del carico.
Numero ciclo Il numero di sequenza del ciclo di elaborazione in cui viene generato il report. Il conteggio record per ciclo fornito nell'input della simulazione viene trasferito a BigQuery per ogni ciclo.
Porzione in numero Il numero di sequenza della parte. Il numero di record per ciclo fornito nell'input della simulazione viene suddiviso in porzioni in base alla dimensione della porzione specificata. Il BAdI di BigQuery Connector per SAP viene chiamato per ogni parte.
Nome corso Il nome della classe del connettore BigQuery per il metodo SAP.
Nome metodo Il nome del metodo di BigQuery Connector per SAP. I metodi chiamati da BigQuery Connector per SAP vengono registrati in una sequenza. Se viene selezionato il flag Log dettagliato nell'input della simulazione, vengono registrati tutti i metodi oppure solo quelli importanti.
Richiamato da metodo L'ultimo metodo che ha richiamato l'attuale metodo di BigQuery Connector per SAP.
Durata Il tempo totale impiegato per l'esecuzione di un metodo di BigQuery Connector per SAP.
Numero di ric. Il numero di record passati a un metodo di BigQuery Connector per SAP. Viene visualizzato solo per i metodi a cui vengono passati i record.
Metodo URI Il nome del metodo HTTP, nel caso in cui il metodo ABAP effettui una chiamata API BigQuery.
Stringa URI L'URL HTTP, nel caso in cui il metodo ABAP effettui una chiamata API BigQuery.
Origine token L'origine del token di autenticazione utilizzato dallo strumento di simulazione del carico. Ciò è applicabile solo se la memorizzazione nella cache del token è attivata nella tabella /GOOG/CLIENT_KEY. I valori possibili sono:
  • A: valore dell'attributo statico di un processo specifico.
  • M: valore della memoria condivisa dalla memoria condivisa tra più processi.
  • L: nuovo valore con blocco memoria. Se è presente un blocco della memoria e il token memorizzato nella cache non può essere letto, viene generato un nuovo token.
  • N: nuovo valore senza blocco della memoria. Se un token scade o non viene trovato in memoria, ne viene generato uno nuovo.
Data di scadenza La scadenza del token di autenticazione.
Questo si applica solo quando la memorizzazione nella cache del token è attivata nella tabella /GOOG/CLIENT_KEY.
Valore token Valore del token di autenticazione utilizzato dallo strumento di simulazione del carico per accedere a BigQuery.
Codice restituito Il codice restituito dell'esecuzione del metodo. I valori possibili sono:
Testo errore L'eventuale titolo dell'errore.
Descrizione errore Informazioni dettagliate sull'errore.
Dimensioni payload Le dimensioni del payload HTTP nell'API BigQuery Insert. Se si verifica un errore nell'esecuzione del metodo e la dimensione del payload è superiore a 10 MB, puoi regolare la dimensione del blocco per ridurne la dimensione.
Testo informativo Qualsiasi messaggio informativo pertinente sollevato dal BAdI di BigQuery Connector per SAP. Ad esempio, quando viene attivata la suddivisione dinamica, viene visualizzato il seguente messaggio informativo: Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Stato Stato dell'esecuzione del metodo. Nel caso in cui l'esecuzione di un metodo non va a buon fine, consulta la guida alla risoluzione dei problemi del connettore BigQuery per SAP per risolvere il problema.

strumento di pianificazione della simulazione di carico

Puoi pianificare lo strumento di simulazione del carico in modo che venga eseguito automaticamente come job in background sul server di replica SAP LT utilizzando il nome di programma /GOOG/R_LOAD_SIMULATION. Per ulteriori informazioni da SAP sulla pianificazione dei job in background, consulta Pianificazione dei job in background.

Convalida della replica

Se selezioni il Flag campi aggiuntivi quando crei la tabella BigQuery di destinazione con transazione /GOOG/SLT_SETTINGS, vengono aggiunte colonne allo schema della tabella per l'archiviazione del tipo di modifica a ogni record che ha attivato la replica e per un timestamp che riflette il momento in cui il server di replica SAP LT ha ricevuto la parte contenente il record.

Puoi utilizzare i tipi di modifica e il timestamp per eseguire query sui seguenti tipi di conteggi di record:

  • Il numero di record caricati in una tabella BigQuery durante un caricamento iniziale.
  • Il numero di record replicati in un giorno specificato in una tabella BigQuery.
  • Il numero totale di record univoci in una tabella BigQuery.

Per ottenere questi conteggi, puoi eseguire query direttamente sulla tabella BigQuery inviando query SQL alla console Google Cloud. In alternativa, puoi eseguire lo strumento Convalida della replica, che genera report che confrontano i conteggi dei record BigQuery con le statistiche di SAP LT Replication Server o i conteggi dei record dalla tabella di origine.

Per una panoramica del Flag campi aggiuntivi, consulta la sezione Campi aggiuntivi per le modifiche ai record e le query di conteggio.

Per informazioni su come specificare il Flag Extra Fields, consulta:

Query SQL per il conteggio dei record

Nella pagina Editor SQL di BigQuery nella console Google Cloud, puoi eseguire query SQL per verificare il numero di record nelle tabelle BigQuery.

Puoi quindi confrontare i conteggi dei record BigQuery con quelli nella tabella di origine o nelle statistiche di SAP LT Replication Server.

Query sul conteggio dei record inseriti in modalità di caricamento iniziale

Quando uno schema di tabella BigQuery include la colonna operation_flag facoltativa, i record inseriti nella tabella in modalità di caricamento iniziale includono il flag dell'operazione L.

Per ottenere il conteggio dei record ricevuti da BigQuery durante un caricamento iniziale, esegui questa query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Esegui una query sul numero di record inseriti in modalità di replica

Quando uno schema di tabella BigQuery include la colonna operation_flag facoltativa, i record inseriti nella tabella in modalità di replica includono uno dei seguenti flag di operazione:

  • I: il record è stato inserito nella tabella di origine.
  • D: il record è stato eliminato dalla tabella di origine.
  • U: il record è stato aggiornato nella tabella di origine.

Per ottenere il numero di record ricevuti da BigQuery in modalità di replica, esegui la query seguente:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Query sul conteggio totale dei record in una tabella BigQuery

Quando uno schema di tabella BigQuery include la colonna facoltativa recordstamp, il campo recordstamp corrispondente di ogni record inserito nella tabella contiene un timestamp che indica quando il record è stato inviato da SAP LT Replication Server a BigQuery.

Per ottenere un conteggio totale dei record in una tabella BigQuery da confrontare con il conteggio totale dei record in una tabella di origine, puoi utilizzare i campi recordstamp e is_deleted per conteggiare i record univoci nella tabella BigQuery che non sono stati eliminati dalla tabella di origine.

Se la tabella di origine viene aggiornata attivamente o la replica è attiva quando esegui una query sui record, il numero dei record nelle tabelle di origine e di destinazione potrebbe non corrispondere esattamente.

Per ottenere il conteggio attuale dei record univoci nella tabella di destinazione BigQuery, esegui la query seguente:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Strumento Convalida della replica

Questa sezione fornisce una panoramica dello strumento Convalida della replica e delle operazioni che puoi eseguire.

Lo strumento Convalida della replica genera report che confrontano i conteggi dei record nella tabella BigQuery con le statistiche di SAP LT Replication Server e i conteggi dei record nella tabella di origine. Se i conteggi non corrispondono esattamente, lo strumento segnala il report con un cerchio rosso.

Per conteggiare i record in BigQuery, lo strumento utilizza le query SQL mostrate nella sezione precedente, Query SQL per il conteggio dei record.

Esegui lo strumento Convalida della replica periodicamente per verificare che il server di replica SAP LT e BigQuery Connector per SAP stiano replicando i record in BigQuery come previsto.

Per eseguire lo strumento Convalida della replica, inserisci la transazione personalizzata /GOOG/REPLIC_VALID preceduta da /n nella GUI di SAP. Per istruzioni dettagliate, consulta:

Report di convalida della replica

Puoi generare i seguenti report di convalida con lo strumento Convalida delle repliche:

  • Conteggio dei caricamenti iniziali: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di caricamento e il numero di record caricati in BigQuery.
  • Numero di repliche: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di replica e il numero di record inseriti in BigQuery in un giorno specificato.
  • Conteggio attuale: un confronto point-in-time tra il numero di record nella tabella di origine e il numero di record univoci in BigQuery. Il conteggio delle correnti nella tabella di origine non può mostrare un numero superiore al limite intero a 32 bit (da -2.147.483.648 a 2.147.483.647).

Puoi generare ogni report singolarmente oppure, selezionando Tutti i controlli quando esegui lo strumento, puoi generare tutti e tre i report in un'unica esecuzione. Con il campo Nomi tabella puoi generare report di convalida della replica per tabelle specifiche nella configurazione del trasferimento di massa.

Visualizzazione dei report Convalida della replica

Dopo aver generato un report, puoi visualizzarlo selezionando il pulsante di opzione Visualizza report nella sezione Opzioni di elaborazione dell'interfaccia dello strumento Convalida della replica.

Le informazioni visualizzate dallo strumento Convalida della replica in ciascun report variano leggermente in base al tipo di report.

Tutti i report includono i seguenti tipi di informazioni:

  • Conteggi dei record di origine dalle statistiche di SAP LT Replication Server e dalla tabella di origine.
  • Conteggi dei record di destinazione dalla tabella BigQuery di destinazione.
  • Qualsiasi differenza tra i due conteggi. La differenza viene calcolata sottraendo i conteggi BigQuery dai conteggi dei record di origine. Un valore positivo indica un probabile problema, perché suggerisce che non tutti i record di origine arrivano in BigQuery.
  • La differenza dei conteggi visualizzata come percentuale del numero di record di origine.
  • Un indicatore visivo che indica se i conteggi di origine e di destinazione sono uguali o diversi.

Conteggi di record diversi

Lo strumento Convalida della replica include un campo di stato con ogni report visualizzato.

Un quadrato verde nel campo dello stato indica che il conteggio dei record di origine corrisponde al conteggio dei record di destinazione in BigQuery.

Un cerchio rosso nel campo dello stato indica che i conteggi dei record non sono uguali.

Un conteggio di record diseguale non sempre indica un problema. I seguenti indicatori suggeriscono un possibile problema:

  • In un report Conteggi attuali, un valore disuguale indica sempre un problema.

  • Per un report Numero di caricamenti iniziali o Conteggi delle repliche, un valore positivo indica un possibile problema.

    Un valore negativo relativamente basso non costituisce un problema. Il conteggio in una tabella BigQuery di destinazione a volte può essere leggermente superiore al numero di record di origine a causa di eventi quali interruzioni temporanee della connettività che causano l'invio di nuovi dati da parte di SAP LT Replication Server.

Se noti un conteggio diseguale, esegui nuovamente il report per assicurarti che non sia stato causato da un problema transitorio. Un conteggio di record diseguale può verificarsi a causa dell'elaborazione della replica nel momento in cui lo strumento ha generato il report.

Per una tabella di origine molto grande o una tabella con filtri impostati nel server di replica SAP LT per il caricamento iniziale o la replica, lo strumento Convalida delle repliche potrebbe non essere in grado di conteggiare tutti i record necessari per uno stesso conteggio.

Pianificazione dei controlli di convalida

Puoi pianificare l'esecuzione automatica a intervalli dello strumento di convalida della replica usando la funzionalità del job in background SAP.

Modificare la mappa dei campi BigQuery in un file CSV

Le seguenti sezioni descrivono come esportare la mappatura predefinita dei campi in modo che i data engineer o gli amministratori di BigQuery possano modificare i valori dei campi di destinazione senza richiedere l'accesso a SAP LT Replication Server.

Crea un foglio di lavoro o un file di testo delle mappature dei campi predefinite

Per creare un file CSV per la modifica all'esterno del server di replica SAP LT:

  1. Esegui la transazione con /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Tabella delle impostazioni, specifica Campi.
    • Nel campo Chiave trasferimento di massa, specifica l'ID del trasferimento di massa che stai aggiornando.
    • Nel campo Nome tabella, lascia vuoto il campo per lavorare con tutti i campi di tutte le tabelle oppure specifica un nome di tabella per lavorare con una tabella specifica.
    • Lascia vuoti tutti gli altri campi.

  3. Fai clic sull'icona Esegui. Viene visualizzata la schermata Manutenzione delle impostazioni BigQuery - Campi.

  4. Nella schermata Manutenzione impostazioni BigQuery - Campi, nascondi tutte le colonne tranne quelle nel seguente elenco facendo clic con il tasto destro del mouse sulle intestazioni delle colonne e selezionando Nascondi dal menu a discesa:

    • Nome tabella SAP
    • Nome campo SAP
    • Elemento dati esterni
    • Nome campo esterno
    • Descrizione campo

  5. Con le cinque colonne rimanenti, fai clic sull'icona Esporta.

  6. Dal menu Esporta, seleziona una delle seguenti opzioni:

    • Foglio di lavoro
    • File locale: Per convertire facilmente i contenuti del file in formato CSV, ti consigliamo di salvare il file nel formato Testo con schede.

  7. Salva le mappature predefinite dei campi facendo clic sull'icona Segno di spunta.

Converti il foglio di lavoro o il file di testo in formato CSV

Per caricare le mappature dei campi modificati utilizzando la transazione personalizzata /GOOG/SLT_SETTINGS, le mappature dei campi devono essere in formato CSV.

Se utilizzi un foglio di lavoro, salvalo come file CSV prima di caricare il file.

Se utilizzi un file locale in un formato separato da tabulazioni o in qualsiasi altro formato, devi modificare il file per renderlo conforme al formato CSV.

Ad esempio:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Carica il file CSV

Per caricare un file CSV modificato:

  1. Esegui la transazione con /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Tabella delle impostazioni, specifica Campi.
    • Nel campo Chiave trasferimento di massa, specifica l'ID del trasferimento di massa che stai aggiornando.
    • Seleziona la casella di controllo Carica da file.

  3. Fai clic sull'icona Esegui. Viene visualizzata la finestra di dialogo Seleziona file da caricare.

  4. Nella finestra di dialogo Seleziona file da caricare, seleziona il file CSV che contiene i valori dei campi modificati.

  5. Fai clic su Apri.

  6. Se ricevi un avviso di sicurezza, fai clic su Consenti. Il file viene caricato e i valori modificati del file vengono visualizzati nelle righe applicabili nella schermata Manutenzione impostazioni BigQuery - Campi.

  7. Fai clic sull'icona Salva.

  8. Per confermare che i valori vengono applicati, confronta i valori nel file CSV con quelli visualizzati da SAP LT Replication Server.

Gestione degli errori nei dati di origine

Dopo aver ricevuto un blocco di record da BigQuery Connector per SAP, l'API BigQuery Streaming controlla la presenza di errori nei dati prima di inserire qualsiasi record nella tabella BigQuery.

Puoi controllare la modalità di risposta dell'API BigQuery e di BigQuery Connector per SAP in caso di rilevamento di errori nei dati specificando i seguenti flag nelle impostazioni del trasferimento di massa:

  • Il flag Skip Invalid Records (SKIP)
  • Il flag Break at First Error Flag (BREAK)

Il flag SKIP

Se specifichi il flag SKIP, quando l'API BigQuery riceve un blocco di record e trova un record con un errore nei dati, l'API BigQuery ignora, o salta, il record con l'errore e continua a inserire tutti gli altri record del blocco nella tabella BigQuery.

Se non specifichi il flag SKIP, quando BigQuery trova un record con un errore nei dati, BigQuery elimina l'intero blocco senza inserire alcun record nella tabella BigQuery. Questo è il comportamento standard.

La specifica del flag SKIP è ideale per gli ambienti di sviluppo e QA e non è consigliata per gli ambienti di produzione.

Puoi specificare il flag SKIP nella transazione /GOOG/SLT_SETTINGS quando configuri la replica. La specifica è archiviata nella tabella di configurazione /GOOG/BQ_MASTR.

Per scoprire in che modo le specifiche SKIP interagiscono con le specifiche BREAK, consulta la tabella della matrice per le interazioni SKIP e BREAK.

Il flag BREAK

Se specifichi il flag BREAK, quando l'API BigQuery riceve una notifica relativa a un errore relativo ai dati in un record, BigQuery Connector per SAP smette di inviare record a BigQuery e termina il job di replica.

Se non specifichi il flag BREAK, quando BigQuery Connector per SAP riceve una notifica che indica che è stato rilevato un errore relativo ai dati in un record, BigQuery Connector for SAP continua a inviare i record a BigQuery inviando il blocco successivo e il job di replica continua. Questo è il comportamento standard.

È consigliabile specificare il flag BREAK negli ambienti di produzione.

Puoi specificare il flag BREAK nella transazione //GOOG/SLT_SETTINGS quando configuri la replica. Quando crei una nuova chiave di trasferimento di massa, il flag BREAK è attivo per impostazione predefinita.

La specifica è archiviata nella tabella di configurazione /GOOG/BQ_MASTR.

Per vedere in che modo le specifiche BREAK interagiscono con le specifiche SKIP, consulta la tabella della matrice per le interazioni SKIP e BREAK.

Tabella matrice per interazioni SKIP e BREAK

Puoi configurare BigQuery Connector per SAP in modo da gestire gli errori dei dati nei seguenti modi:

Flag SKIP Flag BREAK Comportamento
FALSE TRUE

BigQuery ignora il blocco di record attuale senza inserire alcun record del blocco corrente nella tabella BigQuery.

BigQuery Connector per SAP non invia più blocchi di record dalla parte attuale e indica a SAP LT Replication Server di terminare il job di replica.

Questa è l'impostazione predefinita.

FALSE FALSE

BigQuery ignora il blocco di record attuale senza inserire alcun record del blocco corrente nella tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non comunica al server di replica SAP LT di terminare il job di replica.

TRUE TRUE

BigQuery ignora solo il record che contiene l'errore e inserisce il resto dei record del blocco corrente nella tabella BigQuery.

BigQuery Connector per SAP non invia più blocchi di record dalla parte attuale e indica a SAP LT Replication Server di terminare il job di replica.

TRUE FALSE

BigQuery ignora solo il record che contiene l'errore e inserisce il resto dei record del blocco corrente nella tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non comunica al server di replica SAP LT di terminare il job di replica.

Modifiche alla struttura della tabella

Questa sezione spiega come modificare la struttura della tabella di origine SAP, per la quale è in corso una replica LTRC esistente.

Aggiungere una colonna a una tabella di origine

Per aggiungere una nuova colonna a una tabella di origine:

  1. Aggiungi una nuova colonna alla tabella di origine. Come risultato di questo passaggio, lo stato di replica passa a Load/Replication blocked.

  2. Nel sistema SLT, reimposta lo stato di replica utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955: le tabelle SLT sono nello stato "Caricamento /Replica bloccato".

  3. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  4. Convalida il risultato della replica in BigQuery.

Eliminare una colonna da una tabella di origine

Per eliminare una colonna esistente da una tabella di origine:

  1. Nel tuo sistema SLT, sospendi la replica utilizzando la transazione LTRC.

  2. Eliminare una colonna dalla tabella di origine. Come risultato di questo passaggio, i trigger SLT esistenti vengono eliminati o modificati in uno stato incoerente.

  3. In BigQuery, elimina la colonna dalla tabella BigQuery di destinazione. Per ulteriori informazioni sui passaggi per eliminare una colonna da una tabella esistente, consulta la documentazione di BigQuery.

  4. Nel tuo sistema SLT, riprendi la replica utilizzando la transazione LTRC.

  5. Nel tuo sistema SLT, ricrea i trigger SLT. Per maggiori informazioni da SAP su come ricreare i trigger SLT, consulta la nota SAP 2254376 - Trigger SLT in stato incoerente.

  6. Se lo stato di replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, consulta la Nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento /Replica bloccato".

  7. Cancella i log, se presenti.

  8. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  9. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati di una colonna esistente

Quando modifichi il tipo di dati di una colonna esistente nella tabella di origine SAP, devi seguire passaggi specifici a seconda che tu stia modificando il tipo di dati impostandolo su un tipo di dati compatibile o non compatibile con la tabella BigQuery di destinazione.

Un tipo di dati è compatibile con il tipo di dati nella tabella BigQuery di destinazione quando il tipo di dati esistente e il nuovo tipo di dati di una colonna esistente vengono mappati allo stesso tipo di dati nella tabella BigQuery di destinazione. Ad esempio, se il tipo di dati di una colonna viene modificato da INT1 a INT2 in una tabella di origine, entrambi i tipi di dati sono compatibili con il tipo di dati INTEGER nella tabella BigQuery di destinazione.

Per saperne di più sulla mappatura dei tipi di dati in BigQuery Connector per SAP, consulta Mappatura dei tipi di dati.

Modificare il tipo di dati in uno compatibile

Per sostituire il tipo di dati di una colonna esistente con uno compatibile:

  1. Modificare il tipo di dati in uno compatibile nel sistema di origine. Come risultato di questo passaggio, i trigger SLT esistenti vengono eliminati o modificati in uno stato incoerente.

  2. Nel tuo sistema SLT, ricrea i trigger SLT. Per maggiori informazioni da SAP su come ricreare i trigger SLT, consulta la nota SAP 2254376 - Trigger SLT in stato incoerente.

  3. Se lo stato di replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, consulta la Nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento /Replica bloccato".

  4. Cancella i log, se presenti.

  5. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  6. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati in un tipo non compatibile

Per cambiare il tipo di dati di una colonna esistente con uno non compatibile, segui questi passaggi:

  1. Nel sistema SLT, arresta la replica utilizzando la transazione LTRC.
  2. In BigQuery, elimina la tabella di destinazione.
  3. Modificare il tipo di dati nel sistema di origine.
  4. Nel sistema SLT, avvia la replica utilizzando la transazione LTRC.

Per saperne di più sulle modifiche alla struttura delle tabelle, consulta Connettore BigQuery per SAP: gestisci le modifiche alla struttura delle tabelle in modo professionale.

Uscite miglioramento

BigQuery Connector per SAP offre diversi punti di miglioramento nel codice, in cui uno sviluppatore ABAP può inserire codice per aggiungere caratteristiche personalizzate.

La seguente tabella elenca le funzioni supportate dai punti di miglioramento, i metodi e la classe che contiene il punto di miglioramento.

Funzione Classe Metodo Spot Opzione
Aggiorna la mappatura di un campo, ad esempio il nome del campo esterno, il tipo di dati e così via. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Aggiorna la mappatura per la tabella dei campi aggiungendo o rimuovendo campi. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Modifica il valore di un campo di origine prima che venga convertito in un campo di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Dopo aver convertito un campo di origine in un campo di destinazione nella tabella di destinazione, modifica il valore di quel campo. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Aggiungi alla tabella di destinazione un campo che non esiste nella tabella di origine durante la conversione della tabella da origine a destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo dello schema BigQuery prima di creare la tabella BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
In caso di errori HTTP, raccogli i dati di logging dopo le chiamate HTTP all'API BigQuery per risolvere il problema. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR

Impostazioni avanzate

Se vuoi, puoi modificare le impostazioni avanzate per BigQuery Connector per SAP. Google Cloud consiglia di modificare i parametri delle impostazioni avanzate solo dopo un'analisi completa e l'impatto di nuovi valori sulle prestazioni. Hai la responsabilità di garantire che le nuove impostazioni avanzate per BigQuery Connector per SAP non causino guasti e problemi di prestazioni.

Le impostazioni avanzate per BigQuery Connector per SAP vengono applicate a livello di sistema e sono comuni a tutte le chiavi per il trasferimento di massa. Se i parametri delle impostazioni avanzate non vengono modificati, il connettore BigQuery per SAP funzionerà con le impostazioni predefinite.

Per modificare i parametri delle impostazioni avanzate:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/SLT_SETTINGS preceduta da /n:

    /n/GOOG/SLT_SETTINGS

  2. Dal menu a discesa Tabella delle impostazioni nella schermata di avvio della transazione /GOOG/SLT_SETTINGS, seleziona Parametri.

  3. Fai clic sull'icona Esegui. Viene visualizzata la schermata Manutenzione delle impostazioni BigQuery - Parametri.

  4. Fai clic sull'icona Inserisci riga.

  5. Nella riga visualizzata, specifica le seguenti impostazioni:

    1. Nel campo Nome parametro, inserisci il nome del parametro. La descrizione del parametro viene compilata automaticamente.

    2. Nel campo Valore parametro, inserisci un valore.

      Per informazioni sui parametri delle impostazioni avanzate, consulta Parametri delle impostazioni avanzate.

  6. Fai clic su Salva.

    Le impostazioni avanzate vengono memorizzate come record nella tabella di configurazione /GOOG/BQ_PARAM e i campi Modificata da, Modificata il giorno e Modificato alle vengono compilati automaticamente.

Parametri delle impostazioni avanzate

La tabella seguente mostra i parametri delle impostazioni avanzate per BigQuery Connector per SAP.

Nome parametro Descrizione Valore predefinito Valore valido
CHUNK_SIZE_DEF Questa è la dimensione predefinita del blocco supportata da BigQuery Connector per SAP.
Se la dimensione del blocco non viene mantenuta nelle impostazioni, viene utilizzata la dimensione predefinita del blocco.		 10.000 Il valore deve rientrare nei limiti di quota di BigQuery.
PERC_REDUC_DEF La riduzione percentuale della dimensione del blocco.
Se la dimensione dinamica del blocco è abilitata, la sua dimensione viene ridotta di questa percentuale fino a raggiungere una dimensione ideale del blocco e i dati nel blocco vengono trasferiti correttamente a BigQuery.		 50 Il valore deve essere compreso tra 1 e 99.
CMD_EXEC_TRIES Per i sistemi SAP che non sono in esecuzione su Google Cloud, se il comando del sistema operativo che hai creato nella transazione SM69 non riesce a recuperare un token di accesso da Google Cloud, questo è il numero di volte in cui il BigQuery Connector per SAP ripete il recupero del token. 5 Il valore minimo che puoi assegnare a questo parametro è 1. Per facilitare almeno un nuovo tentativo, imposta il valore 2. Il valore massimo di questo parametro deve essere impostato dopo aver analizzato l'impatto che i tentativi di recupero dei token possono avere sulle prestazioni di replica.
CMD_SECS_DEFLT Se hai abilitato la memorizzazione nella cache del token, si tratta della durata in secondi dopo la quale scade il token memorizzato nella cache. 3500 Il valore deve essere compreso tra 1 e 3599.