Versione 2.0: guida alle operazioni di BigQuery Connector per SAP

Questa guida mostra agli amministratori di SAP LT Replication Server, ai data engineer SAP o ad altri utenti come eseguire attività operative, come l'ottimizzazione delle prestazioni e gli aggiornamenti delle versioni, per le versioni 2.0 e 2.1 di BigQuery Connector per SAP.

Ottimizzazione delle prestazioni di replica

Le prestazioni della replica possono essere influenzate da più fattori. Lo specifico I fattori applicabili possono variare da installazione a installazione e possono cambiare nel tempo.

Le sezioni seguenti forniscono indicazioni su come ottimizzare alcuni dei fattori più comuni che possono influire sul rendimento.

Per ulteriori informazioni sul rendimento della replica con il connettore BigQuery per SAP, consulta Pianificazione del rendimento.

Impostare le opzioni di rendimento per le tabelle

In SAP LT Replication Server puoi specificare le opzioni di replica per ogni tabella influisce sulle prestazioni.

In particolare, le prestazioni di replica per le tabelle di grandi dimensioni, che richiedono più tempo e risorse per la replica, possono trarne vantaggio dalla specifica di intervalli e dall'aumento del numero massimo i job di replica utilizzabili per la tabella.

Alcuni esempi di tabelle che in genere diventano di grandi dimensioni sono MSEG, ACDOCA e MATDOC.

Quando specifichi job di replica parallela per tabelle di grandi dimensioni, devi bilanciare il numero di job paralleli consentiti per una determinata tabella con il numero totale di job paralleli consentiti nella configurazione del trasferimento collettivo. La tua organizzazione potrebbe inoltre limita il numero di job di replica parallela che puoi specificare per un server web.

Per impostare le opzioni di rendimento per una tabella:

  1. Nella GUI di SAP, inserisci la transazione SAP LTRS.

  2. Nella schermata Impostazioni di replica avanzate, specifica l'ID delle impostazioni di trasferimento collettivo per la tabella.

  3. Nella gerarchia delle cartelle Impostazioni di replica avanzate, fai clic sul Cartella Performance Options (Opzioni prestazioni) per visualizzare le tabelle con prestazioni opzioni definite.

  4. Se la tabella che ti serve non è in elenco, fai clic con il tasto destro del mouse Cartella Performance Options (Opzioni prestazioni), quindi seleziona Add table (Aggiungi tabella).

  5. Specifica un nome per la tabella.

  6. Specifica le seguenti opzioni, se necessario:

    • In Opzioni di rendimento generali:
      • No. di job paralleli, per impostare il numero massimo i job di replica utilizzabili per la tabella.
      • Numero di sequenza, per assegnare la priorità alla replica di questa tabella rispetto ad altre repliche di tabelle.
    • In Opzioni caricamento iniziale:
      • In Reading Type (Tipo di lettura), seleziona Reading Type 1 Range Calculation (Calcolo dell'intervallo di tipo 1 di lettura), se la tabella non è troppo grande. Per ulteriori informazioni, consulta Rendimento e impostazioni di replica avanzata LTRS.
      • In Dimensioni pacchetto, specifica le dimensioni in byte delle parti di record inviati a SAP LT Replication Server.
      • Se selezioni un tipo di lettura che utilizza intervalli, definisci gli intervalli appropriati.
    • In Opzione di replica:
      • In Intervalli per la tabella di logging, specifica Nessun intervallo per il parametro l'opzione più affidabile.
      • Se selezioni Specifica intervalli per manualmente, definisci gli intervalli appropriati.

  7. Fai clic su Salva.

Benchmark di rendimento di riferimento

Per aiutarti a valutare le prestazioni della replica, questa sezione contiene i valori di riferimento delle prestazioni rilevati nei sistemi di test di Google Cloud.

A causa di molti diversi fattori che influiscono sulle prestazioni, i dati sul rendimento possono variare.

Ad esempio, se i tuoi sistemi SAP non sono in esecuzione su Google Cloud, la velocità di carico e replica potrebbe essere inferiore alla base di riferimento grazie a fattori quali la latenza di rete e l'overhead associato per i token di accesso. Se la tabella di origine ha meno colonne o se installi SAP LT Replication Server sul proprio server in un indipendente, le tariffe potrebbero essere più rapide SAP LT Replication Server non deve competere con il sistema di origine per Google Cloud.

Cifre sul rendimento di riferimento osservate

I seguenti dati relativi alle prestazioni rappresentano le prestazioni di riferimento osservato da Google Cloud per ogni tipo di sistema di origine durante il test. In ogni sistema di test, SAP LT Replication Server è stato installato sul sistema di origine SAP in un'architettura incorporata sulle VM Compute Engine. Il sistema di origine SAP era in esecuzione nella stessa regione Google Cloud del set di dati BigQuery di destinazione.

Per informazioni sulla configurazione dei sistemi di test, consulta Configurazione del sistema di test delle prestazioni di riferimento.

Per visualizzare i dati relativi alle prestazioni, fai clic sul tipo di sistema di origine:

S/4HANA

  • Tabella: ACDOCA
    • 343 milioni di record
    • 477 colonne
  • Caricamento iniziale
    • Frequenza di caricamento: in media 350 milioni di record all'ora
    • Durata di caricamento:59 minuti in media
  • Replica
    • Tasso di variazione della tabella di origine: in media 50 milioni di record all'ora
    • Frequenza di replica massima: in media 50 milioni di record all'ora

ECC

  • Tabella: MSEG
    • 203 milioni di record
    • 188 colonne
  • Caricamento iniziale
    • Frequenza di caricamento: in media 385 milioni di record all'ora
    • Durata di caricamento:32 minuti in media
  • Replica
    • Tasso di modifica della tabella di origine: 50 milioni di record all'ora in media
    • Frequenza di replica massima: in media 69 milioni di record all'ora

I numeri sul rendimento precedenti sono le linee di base osservate dai tester di Google Cloud.

Il rendimento osservato è stato migliore nei sistemi di test che avevano i seguenti attributi:

  • SAP LT Replication Server è stato installato sulla propria VM in modo autonomo dell'architettura.
    • Per i sistemi S/4HANA, è stato osservato che un'architettura autonoma ha un tasso di caricamento iniziale approssimativamente del 42% più veloce rispetto a un'architettura incorporata a causa del ridimensionamento indipendente dei processi di SAP LT Replication Server.
    • Per i sistemi ECC, è stato osservato che un'architettura autonoma ha un tasso di caricamento iniziale approssimativamente del 10% più veloce rispetto a un'architettura incorporata a causa della scalabilità indipendente dei processi di SAP LT Replication Server.
  • La tabella di origine aveva meno colonne.
  • La dimensione totale in byte dei record era inferiore.

Per informazioni sugli attributi di sistema che puoi modificare migliorare le prestazioni, consulta:

Configurazione del sistema per i test delle prestazioni di base

I sistemi di test descritti in questa sezione hanno prodotto i valori di rendimento di riferimento elencati nella sezione precedente, Valori di rendimento di riferimento osservati.

I sistemi di test, tra cui il sistema di origine SAP, SAP LT Replication Server e il set di dati BigQuery, erano tutti in esecuzione su VM Compute Engine nella stessa regione Google Cloud.

In ogni sistema, i server e il carico di lavoro sono stati progettati per simulare con un carico di lavoro più pesante e un volume di replica più elevato che si trovano in molte installazioni reali.

Per visualizzare gli attributi di sistema di test, fai clic sul tipo di sistema di origine:

S/4HANA

  • Architettura di installazione di SAP LT Replication Server:
    • Architettura incorporata
  • Server di sistema di origine:
    • Due server applicazioni, ciascuno su un tipo di macchina personalizzata Compute Engine basato su N2 con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 324 GB
      • Piattaforma CPU: Intel Cascade Lake
    • Un server SAP HANA su Compute Engine m1-ultramem-80 VM con le seguenti specifiche:
      • vCPU: 80
      • Memoria: 1900 GB
      • Piattaforma CPU: Intel Broadwell
  • Versioni software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Dimensioni della tabella:
    • Nome tabella: ACDOCA, dati delle voci di diario generale della contabilità generale
    • Numero di record: 343 milioni
    • Numero di colonne: 477
  • Processi di lavoro su ogni server di applicazioni:
    • 60 procedure di dialogo
    • 220 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Offerte di lavoro: 99
    • Tipo di lettura: intervallo 1
    • Calcolo: intervalli automatici
  • Impostazioni di replica:
    • Job: 99
    • Usa i campi chiave per calcolare gli intervalli per la tabella di logging
    • 128 intervalli

ECC

  • Architettura di installazione di SAP LT Replication Server:
    • Architettura incorporata
  • Server di sistema di origine:
    • Due server delle applicazioni, ognuno su un server n2-highmem-48 VM di Compute Engine con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 348 GB
      • Piattaforma CPU: Intel Cascade Lake
  • Versioni software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Dimensioni della tabella:
    • Tabella: MSEG, documenti di gestione dell'inventario dei materiali
    • Numero di record: 203 milioni
    • Numero di colonne: 188
  • Processi di lavoro su ciascun server delle applicazioni:
    • 60 procedure di dialogo
    • 100 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
    • Offerte di lavoro: 99
    • Tipo di lettura: 5 mittente
    • Coda: intervalli manuali
  • Impostazioni di replica:
    • Offerte di lavoro: 99
    • Intervalli per la tabella di log: utilizza i campi chiave per calcolare gli intervalli
    • Numero di intervalli: 128

Trasferisci le impostazioni di trasferimento di massa in produzione

Per trasferire le impostazioni del trasferimento di massa in produzione, devi prima esportare le impostazioni di un sistema di sviluppo e poi importarle nel di un sistema di produzione di terze parti.

Facoltativamente, puoi importare tre parti separate delle impostazioni di un trasferimento di massa in produzione:

  • Le impostazioni di replica avanzate, a cui è possibile accedere utilizzando la transazione LTRS.
  • Le impostazioni della chiave client della tabella /GOOG/CLIENT_KEY, a cui è possibile accedere utilizzando la transazione SM30.
  • Il connettore BigQuery per SAP le impostazioni di trasferimento collettivo, a cui è possibile accedere utilizzando la transazione /GOOG/SLT_SETTINGS.

Esportare le impostazioni del trasferimento di massa da un sistema di sviluppo

Nel sistema di sviluppo SAP LT Replication Server, esporta ogni parte delle impostazioni del trasferimento di massa:

  1. Esporta le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona i record del trasferimento di massa che stai trasferendo in produzione.
    3. Dal menu a discesa File, seleziona Esporta tutte le impostazioni.
    4. Nella finestra di dialogo Impostazioni di esportazione, seleziona una destinazione e fai clic su Salva. Le impostazioni vengono salvate in un file compresso in formato CSV sulla tua workstation locale.

  2. Esporta le impostazioni di trasferimento collettivo di BigQuery Connector per SAP:

    1. Esegui la transazione /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Nel campo Tabella delle impostazioni, seleziona Trasferimento di massa.

    3. Seleziona i record di trasferimento collettivo da trasportare in produzione.

    4. Fai clic su Trasferimento collettivo dei trasporti.

    5. In Richiesta di richiesta di Workbench, inserisci il numero della richiesta di trasporto e fai clic sull'icona Continua. Per ogni massa selezionata trasferire record, le impostazioni del seguente set di dati di configurazione sono incluse nel trasporto:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Le impostazioni del trasferimento di massa vengono salvate in una richiesta di trasporto.

  3. Esporta le impostazioni della chiave client includendo manualmente i contenuti di tabella /GOOG/CLIENT_KEY nella richiesta di trasporto.

  4. Salva i file sulla workstation locale.

Importa le impostazioni di trasferimento collettivo in un sistema di produzione

Nel sistema di produzione SAP LT Replication Server, importa ogni parte delle impostazioni del trasferimento collettivo:

  1. Crea una configurazione di replica di SAP LT Replication Server per il impostazioni del trasferimento di massa.

  2. Importa le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona il trasferimento di massa che hai creato nel primo passaggio.
    3. Dal menu a discesa File, seleziona Importa tutte le impostazioni.
    4. Nella finestra di dialogo Scegli file, seleziona il file compresso dal tuo workstation locale e fai clic su Apri. Le impostazioni vengono importate come impostazioni per il trasferimento di massa.

  3. Importa la richiesta di trasporto contenente le impostazioni di trasferimento collettivo.

  4. Esegui la transazione SM30.

  5. Aggiorna le impostazioni della chiave client in base alle esigenze dell'ambiente di produzione.

  6. Esegui la transazione /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verificare che nella schermata Massa siano visualizzati i trasferimenti di massa corretti Trasferimenti.

  8. Nella colonna Mass Transfer ID (ID trasferimento di massa), sostituisci l'ID del trasferimento di massa di il sistema di sviluppo con l'ID del trasferimento di massa della replica che hai creato nel primo passaggio.

  9. Nelle schermate delle impostazioni Tabelle e Campi successive, aggiorna altri valori per la tabella e la mappatura dei campi in base alle esigenze completamente gestito di Google Cloud.

  10. Testa la configurazione avviando un caricamento o una replica iniziale. Per informazioni sull'avvio di un caricamento iniziale o di una replica, consulta:

Aggiornare il connettore BigQuery per SAP

Google Cloud rilascia nuove release di BigQuery Connector per SAP come trasporti SAP.

Gli amministratori SAP possono aggiornare BigQuery Connector per SAP seguendo questa procedura:

  1. Disattiva la configurazione in SAP LT Replication Server.
  2. Importa la nuova richiesta di trasporto SAP.
  3. Dopo aver convalidato l'importazione e l'attivazione degli oggetti, attiva la configurazione in SAP LT Replication Server.

Aggiorna gcloud CLI

Devi mantenere aggiornato Google Cloud CLI sull'host SAP LT Replication Server.

Per saperne di più sulla gestione dell'interfaccia a riga di comando gcloud, consulta Gestire i componenti dell'interfaccia a riga di comando gcloud.

Monitoraggio

Puoi monitorare diversi punti del percorso dati a partire dai dati SAP alla tabella BigQuery di destinazione, tra cui:

  • Infrastruttura: rete, hardware e sistema operativo
  • Il livello del database SAP
  • Livello di applicazione SAP
  • BigQuery Connector per SAP
  • BigQuery

Le opzioni di monitoraggio in ciascuno di questi punti sono descritte nelle seguenti sezioni.

Monitoraggio dell'infrastruttura

Su Google Cloud, puoi installare Ops Agent sulle VM host per il monitoraggio e il logging avanzati. Ops Agent invia i dati a Cloud Monitoring nella console Google Cloud.

Per ulteriori informazioni, vedi:

Per i sistemi non in esecuzione su Google Cloud, puoi anche ottenere informazioni sul server eseguendo transazioni SAP, ad esempio la transazione ST06.

Monitoraggio del livello del database

Utilizza i codici transazioni SAP standard per monitorare l'integrità del database.

Il codice transazione DBACOCKPIT è la transazione più comune per monitorando il database. Questa transazione fornisce inoltre dettagli log utilizzabili per la risoluzione degli errori.

Per SAP HANA, puoi utilizzare SAP HANA Studio per le operazioni SAP HANA. Puoi installare SAP HANA Studio su qualsiasi macchina front-end.

Per la risoluzione dei problemi relativi alle prestazioni o ad altri problemi, controlla quanto segue nel database di origine:

  • Istruzioni SQL costose
  • Serrature
  • Cronologia caricamenti
  • Indici
  • Processi

Monitoraggio del livello dell'applicazione

Puoi utilizzare gli strumenti di monitoraggio e risoluzione dei problemi delle applicazioni SAP per monitorare e risolvere i problemi di BigQuery Connector per SAP, poiché viene eseguito livello di applicazione.

Il monitoraggio e la risoluzione dei problemi delle applicazioni SAP possono essere ulteriormente classificati come segue:

  • Monitoraggio e risoluzione dei problemi SAP standard
  • Monitoraggio e risoluzione dei problemi di BigQuery Connector per SAP

Per ambienti più ampi, puoi utilizzare SAP Solution Manager come strumento di monitoraggio centrale.

Puoi utilizzare i codici transazione SAP nell'elenco seguente per monitorare e diagnosticare i problemi su singoli sistemi di applicazioni SAP:

  • Stato configurazione SLT: LTRC
  • Errori e log SLT: LTRO e SLG1
  • Internet Communication Manager (chiamate HTTP e HTTPS): SMICM
  • Sicurezza e certificati: STRUST
  • Trasporti SAP: STMS
  • Connessioni RFC: SM59
  • Comando del sistema operativo: SM69
  • Controllo della spedizione: SE80
  • Controlli di autorizzazione: SU53
  • Job in background: SM37
  • Log di sistema: SM21

Monitoraggio di BigQuery

Utilizza Cloud Monitoring per visualizzare le metriche di BigQuery e creare grafici e avvisi. Ogni metrica ha un tipo di risorsa, bigquery_dataset, bigquery_project o global, nonché un insieme di etichette.

Utilizza i tipi di risorse e le etichette per creare query in Monitoring Query Language (MQL).

Puoi raggruppare o filtrare ogni metrica utilizzando le etichette.

Per ulteriori informazioni sul monitoraggio, consulta la documentazione di Cloud Monitoring.

Convalida della replica

Se selezioni il Flag campi aggiuntivi quando crei la destinazione Tabella BigQuery con transazione /GOOG/SLT_SETTINGS, le colonne vengono aggiunte allo schema della tabella per archiviare il tipo di modifica a ciascun record che ha attivato la replica e per un timestamp che rifletta l'ora in cui SAP LT Replication Server ha ricevuto la parte che conteneva il record.

Puoi usare i tipi di modifica e il timestamp per eseguire query su quanto segue: tipi di conteggio dei record:

  • Il numero di record caricati in una tabella BigQuery durante un caricamento iniziale.
  • Il numero di record replicati in un giorno specificato in una tabella BigQuery.
  • Il numero totale di record univoci in una tabella BigQuery.

Per ottenere questi conteggi, puoi eseguire una query sulla tabella BigQuery direttamente inviando query SQL nella console Google Cloud; oppure puoi eseguire lo strumento Replication Validation, che genera report Confronta il numero di record BigQuery con SAP LT Replication Server le statistiche o i conteggi di record dalla tabella di origine.

Per una panoramica dell'indicatore di campi aggiuntivi, consulta Campi aggiuntivi per le modifiche dei record e le query di conteggio.

Per informazioni su come specificare l'indicatore di campi aggiuntivi, consulta:

Query SQL per i conteggi dei record

Nella pagina dell'editor SQL di BigQuery in nella console Google Cloud, puoi eseguire query SQL per controllare il conteggio dei record nelle tabelle BigQuery.

Puoi quindi confrontare i conteggi dei record di BigQuery con quelli nella tabella di origine o nelle statistiche di SAP LT Replication Server.

Esegui una query sul conteggio dei record inseriti in modalità di caricamento iniziale

Quando lo schema di una tabella BigQuery include il campo facoltativo colonna operation_flag, record inseriti nella tabella in modalità di caricamento iniziale includono il flag dell'operazione L.

Per ottenere il conteggio dei record ricevuti da BigQuery durante un caricamento iniziale, esegui questa query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Query sul numero di record inseriti in modalità di replica

Quando lo schema di una tabella BigQuery include la colonna facoltativa operation_flag, i record inseriti nella tabella in modalità di replica includono uno dei seguenti flag di operazione:

  • I: il record è stato inserito nella tabella di origine.
  • D: il record è stato eliminato dalla tabella di origine.
  • U: il record è stato aggiornato nella tabella di origine.

Per ottenere il conteggio dei record ricevuti da BigQuery in modalità di replica, esegui questa query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Esegui una query sul conteggio totale dei record in una tabella BigQuery

Quando lo schema di una tabella BigQuery include la colonna facoltativa recordstamp, il campo recordstamp corrispondente di ogni record inserito nella tabella contiene un timestamp che indica quando il record è stato inviato da SAP LT Replication Server a BigQuery.

Per ottenere un conteggio totale dei record in una tabella BigQuery che puoi confrontare con il conteggio totale dei record in una tabella di origine, puoi utilizzare i campi recordstamp e is_deleted per conteggiare i record unici nella tabella BigQuery che non sono stati eliminati dalla tabella di origine.

Se la tabella di origine è in fase di aggiornamento attivo o la replica è attiva quando esegui una query sui record, il conteggio dei record nell'origine e nella destinazione potrebbero non corrispondere esattamente.

Per ottenere il conteggio attuale dei record univoci in BigQuery di destinazione, esegui questa query:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Strumento Replication Validation

Questa sezione fornisce una panoramica dello strumento di convalida della replica e delle sue funzionalità.

Lo strumento di convalida della replica genera report che confrontano i conteggi dei record nella tabella BigQuery con le statistiche di SAP LT Replication Server e i conteggi dei record nella tabella di origine. Se i conteggi non corrispondono una corrispondenza esatta, lo strumento segnala il report con un cerchio rosso.

Per conteggiare i record in BigQuery, lo strumento utilizza le query SQL riportate nella sezione precedente Query SQL per il conteggio dei record.

Esegui periodicamente lo strumento Replication Validation per verificare SAP LT Replication Server e BigQuery Connector per SAP stanno replicando i record in BigQuery come previsto.

Per eseguire lo strumento Replication Validation, inserisci la transazione personalizzata /GOOG/REPLIC_VALID preceduto da /n nella GUI di SAP. Per istruzioni passo passo, consulta:

Report di convalida della replica

Puoi generare i seguenti report di convalida con il modulo Strumento di convalida:

  • Conteggi caricamenti iniziali: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di caricamento e il numero di record caricati in BigQuery.
  • Numero di repliche: un confronto del numero di record. inviati da SAP LT Replication Server in modalità di replica e il numero di record inseriti in BigQuery su una giorno specificato.
  • Conteggi attuali: un confronto in un determinato momento del numero di record presenti nella tabella di origine e del numero di record unici in BigQuery.

Puoi generare ciascun report singolarmente o selezionando Tutti i controlli quando esegui lo strumento, puoi generare tutti e tre i report in un singola esecuzione.

Visualizzazione dei report di convalida della replica

Dopo aver generato un report, puoi visualizzarlo selezionando l'icona Pulsante di opzione Visualizza report nella sezione Opzioni di elaborazione dell'interfaccia dello strumento Replication Validation.

Le informazioni visualizzate dallo strumento Replication Validation ogni report differisce leggermente in base al tipo.

Tutti i report includono i seguenti tipi di informazioni:

  • Conteggi dei record di origine dalle statistiche di SAP LT Replication Server e dalla tabella di origine.
  • Conteggi dei record di destinazione dalla tabella BigQuery di destinazione.
  • Qualsiasi differenza tra i due conteggi. La differenza viene calcolata sottraendo i conteggi di BigQuery dai conteggi dei record di origine. Un valore positivo indica un probabile problema, perché suggerisce che non tutti i record di origine vengono inseriti in BigQuery.
  • La differenza nei conteggi visualizzati come percentuale del record di origine conteggio.
  • Un indicatore visivo che indica se i conteggi di origine e di destinazione sono uguali o diversi.

Conteggi di record non uguali

Lo strumento Replication Validation include un campo di stato per ogni report visualizzato.

Un quadrato verde nel campo dello stato indica che il conteggio dei record di origine equivale al conteggio dei record target in BigQuery.

Un cerchio rosso nel campo dello stato indica che i conteggi dei record non sono uguali.

Un conteggio di record non paritario non sempre indica un problema. I seguenti indicatori suggeriscono un possibile problema:

  • Per un report Conteggi correnti, un valore non uguale indica sempre un problema.

  • Per un report Conteggi caricamenti iniziali o Conteggi repliche, un valore positivo indica un probabile problema.

    Un valore negativo relativamente basso non costituisce un problema. Il conteggio in a volte una tabella BigQuery di destinazione leggermente superiore al conteggio dei record di origine a causa di eventi come momentanee interruzioni della connettività che causano il inviare di nuovo i dati.

Se noti un conteggio non uguale, esegui di nuovo il report per assicurarti che non sia stato causato da un problema transitorio. Un conteggio non uniforme dei record può verificarsi a causa dell'elaborazione della replica al momento in cui lo strumento ha generato il report.

Per una tabella di origine molto grande o una tabella con filtri impostati in SAP LT Replication Server per il caricamento iniziale o la replica, lo strumento di convalida della replica potrebbe non essere in grado di conteggiare tutti i record necessari per un conteggio uguale.

Pianificare i controlli di convalida

Puoi pianificare l'esecuzione automatica dello strumento Replication Validation a intervalli usando la funzionalità del job in background SAP.

Modificare la mappa dei campi BigQuery in un file CSV

Le seguenti sezioni descrivono come esportare la mappatura dei campi predefinita in modo che i data engineer o gli amministratori BigQuery possano modificare i valori del campo di destinazione senza richiedere l'accesso a SAP LT Replication Server.

Crea un foglio di lavoro o un file di testo con le mappature dei campi predefinite

Per creare un file CSV da modificare al di fuori di SAP LT Replication Server:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Settings Table (Tabella delle impostazioni), specifica Fields (Campi).
    • Nel campo Mass Transfer Key (Chiave trasferimento collettivo), specifica l'ID del trasferimento collettivo che stai aggiornando.
    • Nel campo Nome tabella, lascia vuoto il campo per lavorare con tutti i campi di tutte le tabelle o specifica il nome di una tabella da utilizzare tabella specifica.
    • Lascia vuoti tutti gli altri campi.

  3. Fai clic sull'icona Esegui. La sezione relativa alla Manutenzione delle impostazioni di BigQuery - Viene visualizzata la schermata Campi.

  4. Nella schermata BigQuery Settings Maintenance - Fields (Manutenzione delle impostazioni BigQuery - Campi), nascondi tutte le colonne tranne quelle nell'elenco seguente facendo clic con il tasto destro del mouse sulle intestazioni di colonna e selezionando Nascondi dal menu a discesa:

    • Nome tabella SAP
    • Nome campo SAP
    • Elemento dati esterni
    • Nome campo esterno
    • Descrizione campo

  5. Con le cinque colonne rimanenti visualizzate, fai clic sull'icona Esporta.

  6. Dal menu Esporta, seleziona una delle seguenti opzioni:

    • Foglio di lavoro
    • File locale. Per facilitare la conversione dei contenuti del file in formato CSV, consigliamo di salvarlo nel formato Testo con tabulazioni.

  7. Salva le mappature dei campi predefinite facendo clic sull'icona Spunta.

Converti il foglio di lavoro o il file di testo in formato CSV

Per caricare le mappature dei campi modificate utilizzando la transazione personalizzata /GOOG/SLT_SETTINGS, le mappature dei campi deve essere in formato CSV.

Se utilizzi un foglio di lavoro, salvalo come file CSV. prima di caricare il file.

Se utilizzi un file locale in un formato separato da tabulazioni o qualsiasi altro formato, devi modificare il file per renderlo conforme al formato CSV.

Ad esempio:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Carica il file CSV

Per caricare un file CSV modificato:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Settings Table (Tabella delle impostazioni), specifica Fields (Campi).
    • Nel campo Mass Transfer Key (Chiave trasferimento di massa), specifica l'ID del trasferimento di massa che stai aggiornando.
    • Seleziona la casella di controllo Carica da file.

  3. Fai clic sull'icona Esegui. Viene visualizzata la finestra di dialogo Seleziona file da caricare.

  4. Nella finestra di dialogo Seleziona file da caricare, seleziona il file CSV che contiene i valori dei campi modificati.

  5. Fai clic su Apri.

  6. Se ricevi un avviso di sicurezza, fai clic su Consenti. Il file viene caricato i valori modificati nel file vengono visualizzati nelle righe pertinenti dei Schermata Manutenzione impostazioni BigQuery - Campi.

  7. Fai clic sull'icona Salva.

  8. Per verificare che i valori siano applicati, confrontali con quelli nel file CSV con quelli visualizzati da SAP LT Replication Server.

Gestione degli errori nei dati di origine

Dopo aver ricevuto un blocco di record da BigQuery Connector per SAP, l'API Flusso di dati di BigQuery controlla la presenza di errori nei dati prima inserendo qualsiasi record nella tabella BigQuery.

Puoi controllare in che modo l'API BigQuery e BigQuery Connector per SAP risponde quando vengono rilevati errori nei dati specificando i seguenti flag nelle impostazioni del trasferimento di massa:

  • Il flag Skip Invalid Records (SKIP)
  • Il flag Break at First Error Flag (BREAK)

Il flag SKIP

Se specifichi il flag SKIP, quando l'API BigQuery riceve un blocco di record e trova con un errore nei dati, l'API BigQuery ignora, o salta, il record con l'errore e continua a inserire tutti gli altri dal blocco alla tabella BigQuery.

Se non specifichi il flag SKIP, quando BigQuery trova un record con un errore nei dati, ignora l'intero chunk senza inserire alcun record nella tabella BigQuery. Questo è il comportamento standard.

La specifica del flag SKIP è ideale per gli ambienti di sviluppo e QA e non è consigliata per gli ambienti di produzione.

Puoi specificare il flag SKIP nella transazione /GOOG/SLT_SETTINGS quando stai configurando la replica. La specifica viene archiviata Tabella di configurazione /GOOG/BQ_MASTR.

Per vedere in che modo le specifiche SKIP interagiscono con le specifiche BREAK, consulta la tabella a matrice per le interazioni SKIP e BREAK.

Il flag BREAK

Se specifichi il flag BREAK, quando L'API BigQuery informa BigQuery Connector per SAP che è stato rilevato un errore nei dati in un record, BigQuery Connector per SAP si arresta l'invio di record a BigQuery e termina di replica.

Se non specifichi il flag BREAK, quando BigQuery Connector per SAP viene informato da BigQuery che è stato rilevato un errore nei dati di un record, BigQuery Connector per SAP continua a inviare i record a BigQuery inviando il chunk successivo e il job di replica continua. Questo è il comportamento standard.

Lo specificare il flag BREAK è consigliato negli ambienti di produzione.

Puoi specificare il flag BREAK nella transazione //GOOG/SLT_SETTINGS quando configuri la replica. La specifica viene archiviata nella tabella di configurazione /GOOG/BQ_MASTR.

Per sapere in che modo le specifiche BREAK interagiscono con le specifiche SKIP, consulta la tabella della matrice per le interazioni SKIP e BREAK.

Tabella a matrice per le interazioni SKIP e BREAK

Puoi configurare BigQuery Connector per SAP in modo da gestire gli errori nei dati nei seguenti modi:

SKIP flag BREAK flag Comportamento
FALSE VERO

BigQuery elimina il blocco di record corrente senza inserendo qualsiasi record del blocco corrente Tabella BigQuery.

BigQuery Connector per SAP non invia altri blocchi di record parte corrente e indica a SAP LT Replication Server di terminare il job di replica.

Si tratta dell'impostazione consigliata.

FALSE FALSE

BigQuery ignora il chunk corrente di record senza inserire alcun record del chunk corrente nella tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla porzione corrente dei record, quindi comunica a SAP LT Replication Server per terminare il job di replica.

Questa è l'impostazione predefinita.

VERO VERO

BigQuery ignora solo il record che contiene e inserisce il resto dei record nel blocco corrente nella Tabella BigQuery.

BigQuery Connector per SAP non invia più blocchi di record dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non comunica a SAP LT Replication Server di e terminare il job di replica.

VERO FALSE

BigQuery ignora solo il record che contiene e inserisce il resto dei record nel blocco corrente nella Tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non indica a SAP LT Replication Server di interrompere il job di replica.

Modifiche alla struttura della tabella

Questa sezione spiega come modificare la struttura della tabella di origine SAP per la quale è in corso una replica LTRC esistente.

Aggiungere una colonna a una tabella di origine

Per aggiungere una nuova colonna a una tabella di origine:

  1. Aggiungi una nuova colonna alla tabella di origine. Dopo questo passaggio, lo stato di replica diventa Load/Replication blocked.

  2. Nel sistema SLT, reimposta lo stato di replica utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento/Replica bloccata".

  3. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  4. Convalida il risultato della replica in BigQuery.

Eliminare una colonna da una tabella di origine

Per eliminare una colonna esistente da una tabella di origine:

  1. Nel sistema SLT, sospendi la replica utilizzando la transazione LTRC.

  2. Elimina una colonna dalla tabella di origine. A seguito di questo passaggio, gli attivatori SLT esistenti vengono eliminati o impostati su uno stato incoerente.

  3. In BigQuery, elimina la colonna dalla destinazione Tabella BigQuery. Per ulteriori informazioni sulla procedura per eliminare una colonna da una tabella esistente, consulta la documentazione di BigQuery.

  4. Nel sistema SLT, riprendi la replica utilizzando la transazione LTRC.

  5. Nel sistema SLT, ricrea gli attivatori SLT. Per ulteriori informazioni da SAP su come ricreare i trigger SLT, consulta la Nota SAP 2254376 - Trigger SLT in uno stato incoerente.

  6. Se lo stato della replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento/Replica bloccata".

  7. Cancella i log precedenti, se presenti.

  8. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  9. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati di una colonna esistente

Quando modifichi il tipo di dati di una colonna esistente nella tabella di origine SAP, dover seguire passaggi specifici a seconda che tu stia modificando a un tipo di dati compatibile o non compatibile con la tabella BigQuery di destinazione.

Un tipo di dati è compatibile con il tipo di dati nella tabella BigQuery di destinazione quando il tipo di dati esistente e il nuovo tipo di dati di una colonna esistente mappano allo stesso tipo di dati nella tabella BigQuery di destinazione. Ad esempio, se il tipo di dati di una colonna viene modificato da INT1 a INT2 in una tabella di origine, sia il valore i tipi di dati siano compatibili con il tipo di dati INTEGER nella destinazione Tabella BigQuery.

Per ulteriori informazioni sulla mappatura dei tipi di dati in BigQuery Connector per SAP, consulta Mappatura dei tipi di dati.

Modificare il tipo di dati in un tipo di dati compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati compatibile: segui questi passaggi:

  1. Modifica il tipo di dati impostandone uno compatibile nel sistema di origine. A seguito di questo passaggio, i trigger SLT esistenti vengono eliminati o è stato modificato in uno stato incoerente.

  2. Nel tuo sistema SLT, ricrea i trigger SLT. Per ulteriori informazioni di SAP su come ricreare gli attivatori SLT, consulta la Nota SAP 2254376 - Attivatori SLT in uno stato incoerente.

  3. Se lo stato della replica è Load /Replication blocked, reimpostalo utilizzando la transazione LTRC. Per ulteriori informazioni di SAP su come reimpostare lo stato della replica, consulta la nota SAP 2204955 - Le tabelle SLT sono nello stato "Caricamento/Replica bloccata".

  4. Cancella i log precedenti, se presenti.

  5. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  6. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati in un tipo di dati non compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati non compatibile: segui questi passaggi:

  1. Nel sistema SLT, interrompi la replica utilizzando la transazione LTRC.
  2. In BigQuery, elimina la tabella di destinazione.
  3. Modificare il tipo di dati nel sistema di origine.
  4. Nel tuo sistema SLT, avvia la replica utilizzando la transazione LTRC.

Uscite del miglioramento

BigQuery Connector per SAP fornisce diversi punti di miglioramento nel codice in cui uno sviluppatore ABAP può inserire codice per aggiungere funzionalità personalizzate.

Nella tabella seguente sono elencate le funzioni utilizzate dai punti di ritocco il supporto tecnico, i metodi e la classe che contiene il punto di miglioramento.

Funzione Classe Metodo Spot Opzione
Aggiorna la mappatura di un campo, ad esempio il nome del campo esterno, il tipo di dati e così via. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Aggiorna il mapping per la tabella dei campi aggiungendo o rimuovendo campi. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Modificare il valore di un campo di origine prima che il campo venga convertito in un campo di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Dopo che un campo di origine viene convertito in un campo di destinazione nella tabella target, modifica il valore del campo target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Aggiungi alla tabella di destinazione un campo che non esiste nell'origine durante la conversione da origine a target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo dello schema BigQuery prima Viene creata la tabella BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD