Guida alle operazioni di BigQuery Connector per SAP

Questa guida illustra gli amministratori di SAP LT Replication Server, i data engineer SAP, o altri come svolgere attività operative, come l'ottimizzazione delle prestazioni e aggiornamenti della versione, per la versione 2.7 (più recente) di BigQuery Connector per SAP.

Ottimizzazione delle prestazioni di replica

Le prestazioni di replica possono essere influenzate da più fattori. Lo specifico I fattori applicabili possono variare da installazione a installazione e possono cambiare nel tempo.

Le sezioni seguenti forniscono indicazioni su come ottimizzare alcuni degli altri a fattori comuni che possono influire sulle prestazioni.

Per ulteriori informazioni sulle prestazioni di replica con BigQuery Connector per SAP, consulta Pianificazione del rendimento.

Impostare le opzioni delle prestazioni per le tabelle

In SAP LT Replication Server puoi specificare le opzioni di replica per ogni tabella influisce sulle prestazioni.

In particolare, le prestazioni di replica per le tabelle di grandi dimensioni, richiedono più tempo e risorse per la replica, possono trarne vantaggio dalla specifica di intervalli e dall'aumento del numero massimo i job di replica utilizzabili per la tabella.

Esempi di tabelle che in genere diventano grandi sono MSEG, ACDOCA e MATDOC. tra gli altri.

Quando specifichi job di replica parallela per tabelle di grandi dimensioni, devi bilancia il numero di job paralleli rispetto a quelli consentiti per una determinata tabella il numero totale di job paralleli consentiti nel trasferimento di massa configurazione. La tua organizzazione potrebbe inoltre limita il numero di job di replica parallela che puoi specificare per un o server web.

Per impostare le opzioni relative alle prestazioni di una tabella:

  1. Nella GUI di SAP, inserisci la transazione SAP LTRS.

  2. Nella schermata Impostazioni di replica avanzate, specifica l'ID del impostazioni del trasferimento di massa per la tabella.

  3. Nella gerarchia delle cartelle Impostazioni di replica avanzate, fai clic sul Cartella Performance Options (Opzioni prestazioni) per visualizzare le tabelle con prestazioni opzioni definite.

  4. Se la tabella che ti serve non è in elenco, fai clic con il tasto destro del mouse Cartella Performance Options (Opzioni prestazioni), quindi seleziona Add table (Aggiungi tabella).

  5. Specifica un nome per la tabella.

  6. Specifica le seguenti opzioni in base alle tue esigenze:

    • In Opzioni generali di rendimento:
        .
      • No. di job paralleli, per impostare il numero massimo i job di replica utilizzabili per la tabella.
      • Numero di sequenza, per assegnare la priorità alla replica di questa tabella rispetto ad altre repliche di tabelle.
    • In Opzioni caricamento iniziale:
        .
      • In Reading Type (Tipo di lettura), seleziona Reading Type 1 Range Calculation (Calcolo dell'intervallo di tipo 1 di lettura), se la tabella non è troppo grande. Per ulteriori informazioni, vedi Prestazioni e impostazioni di replica avanzata LTRS.
      • In Dimensioni pacchetto, specifica le dimensioni in byte delle parti di record inviati a SAP LT Replication Server.
      • Se selezioni un Tipo di lettura che utilizza intervalli, definisci il valore appropriato intervalli di tempo.
    • In Opzione di replica:
        .
      • In Intervalli per la tabella di logging, specifica Nessun intervallo per il parametro l'opzione più affidabile.
      • Se selezioni Specifica intervalli per manualmente, definisci le intervalli di tempo.

  7. Fai clic su Salva.

Benchmark di rendimento di riferimento

Per aiutarti a valutare le prestazioni di replica, questa sezione contiene numeri di rendimento di riferimento osservati nei sistemi di test di Google Cloud.

A causa di molti diversi fattori che influiscono sulle prestazioni, i dati sul rendimento possono variare.

Ad esempio, se i tuoi sistemi SAP non sono in esecuzione su Google Cloud, la velocità di carico e replica potrebbe essere inferiore alla base di riferimento grazie a fattori quali la latenza di rete e l'overhead associato per i token di accesso. Se la tabella di origine ha meno colonne o se installi SAP LT Replication Server sul proprio server in un indipendente, le tariffe potrebbero essere più rapide SAP LT Replication Server non deve competere con il sistema di origine per Google Cloud.

Cifre sul rendimento di riferimento osservate

I seguenti dati relativi alle prestazioni rappresentano le prestazioni di riferimento osservato da Google Cloud per ogni tipo di sistema di origine durante il test. In ogni sistema di test, SAP LT Replication Server è stato installato sul sistema di origine SAP in un'architettura incorporata di Compute Engine. Il sistema di origine SAP era in esecuzione nella stessa regione Google Cloud il set di dati BigQuery di destinazione.

Per informazioni sulla configurazione dei sistemi di test, consulta Configurazione del sistema di test delle prestazioni di riferimento.

Per visualizzare i dati relativi alle prestazioni, fai clic sul tipo di sistema di origine:

S/4HANA

  • Tabella: ACDOCA
    • 343 milioni di record
    • 477 colonne
  • Caricamento iniziale
    • Velocità di caricamento:350 milioni di record all'ora in media
    • Durata di caricamento:59 minuti in media
  • Replica
    • Tasso di modifica della tabella di origine: 50 milioni di record all'ora in media
    • Frequenza di replica massima: 50 milioni di record all'ora in media

ECC

  • Tabella: MSEG
    • 203 milioni di record
    • 188 colonne
  • Caricamento iniziale
    • Velocità di caricamento:385 milioni di record all'ora in media
    • Durata di caricamento:32 minuti in media
  • Replica
    • Tasso di modifica della tabella di origine: 50 milioni di record all'ora in media
    • Frequenza di replica massima: 69 milioni di record all'ora in media

I valori precedenti relativi alle prestazioni sono le basi di riferimento a cui Tester di Google Cloud osservati.

Le prestazioni osservate sono state migliori nei sistemi di test che aveva i seguenti attributi:

  • SAP LT Replication Server è stato installato sulla propria VM in modo autonomo dell'architettura.
    • Per i sistemi S/4HANA, è stata osservata un’architettura autonoma che ha una velocità di caricamento iniziale superiore di circa il 42% rispetto a un modello grazie alla scalabilità indipendente di SAP LT Replication Server i processi di machine learning.
    • Per i sistemi ECC, è stata osservata un’architettura autonoma che ha una velocità di caricamento iniziale più rapida di circa il 10% rispetto a un grazie alla scalabilità indipendente di SAP LT Replication Server i processi di machine learning.
  • La tabella di origine aveva meno colonne.
  • Le dimensioni complessive in byte dei record erano inferiori.

Per informazioni sugli attributi di sistema che puoi modificare migliorare le prestazioni, consulta:

Configurazione del sistema di test delle prestazioni di base

I sistemi di test descritti in questa sezione hanno prodotto riportati nella sezione precedente, Dati osservati numeri relativi alle prestazioni di riferimento.

I sistemi di test, tra cui il sistema di origine SAP, il SAP LT Replication Server, e il set di dati BigQuery, erano tutti in esecuzione VM di Compute Engine nella stessa regione Google Cloud.

In ogni sistema, i server e il carico di lavoro sono stati progettati per simulare con un carico di lavoro più pesante e un volume di replica più elevato che si trovano in molte installazioni reali.

Per visualizzare gli attributi di sistema di test, fai clic sul tipo di sistema di origine:

S/4HANA

  • Architettura di installazione di SAP LT Replication Server:
      .
    • Architettura incorporata
  • Server di sistema di origine:
      .
    • Due server delle applicazioni, ognuno su un server Compute Engine basato su N2 tipo di macchina personalizzata con le seguenti specifiche:
        .
      • vCPU: 60
      • Memoria: 324 GB
      • Piattaforma CPU: Intel Cascade Lake
    • Un server SAP HANA su Compute Engine m1-ultramem-80 VM con le seguenti specifiche:
      • vCPU: 80
      • Memoria: 1900 GB
      • Piattaforma CPU: Intel Broadwell
  • Versioni software:
      .
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Dimensioni tabella:
      .
    • Nome tabella: ACDOCA, dati delle voci di diario generale della contabilità generale
    • Numero di record: 343 milioni
    • Numero di colonne: 477
  • Processi di lavoro su ciascun server delle applicazioni:
      .
    • Processi di 60 Dialog
    • 220 Processi in background
  • Carica le impostazioni in SAP LT Replication Server:
      .
    • Offerte di lavoro: 99
    • Tipo di lettura: 1 intervallo
    • Calcolo: intervalli automatici
  • Impostazioni di replica:
      .
    • Offerte di lavoro: 99
    • Usa i campi chiave per calcolare gli intervalli per la tabella di logging
    • 128 intervalli

ECC

  • Architettura di installazione di SAP LT Replication Server:
      .
    • Architettura incorporata
  • Server di sistema di origine:
      .
    • Due server delle applicazioni, ognuno su un server n2-highmem-48 VM di Compute Engine con le seguenti specifiche:
      • vCPU: 60
      • Memoria: 348 GB
      • Piattaforma CPU: Intel Cascade Lake
  • Versioni software:
      .
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Dimensioni tabella:
      .
    • Tabella: MSEG, documenti per la gestione dell'inventario dei materiali
    • Numero di record: 203 milioni
    • Numero di colonne: 188
  • Processi di lavoro su ciascun server delle applicazioni:
      .
    • Processi di 60 Dialog
    • 100 processi in background
  • Carica le impostazioni in SAP LT Replication Server:
      .
    • Offerte di lavoro: 99
    • Tipo di lettura: 5 mittente
    • Coda: intervalli manuali
  • Impostazioni di replica:
      .
    • Offerte di lavoro: 99
    • Intervalli per la tabella di logging: utilizza i campi chiave per calcolare gli intervalli
    • Numero di intervalli: 128

Dimensione del chunk dinamica

Se riscontri errori perché la dimensione in byte dei chunk supera la per le richieste HTTP accettate da BigQuery, devi ridurre manualmente la dimensione in byte riducendo la dimensione del chunk. La funzionalità di dimensione dinamica del chunk ti consente ridurre automaticamente la dimensione del blocco e riprovare BigQuery quando la dimensione in byte di un blocco supera il valore massimo per le richieste HTTP accettate da BigQuery. La dimensione dinamica del blocco aiuta a prevenire la maggior parte degli errori di replica dovuti al superamento la dimensione in byte di una richiesta. Potresti ricevere un errore solo se la dimensione del blocco raggiunge 1, ma la dimensione in byte rimane superiore a il limite BigQuery sul numero di byte in ogni richiesta HTTP.

Puoi abilitare la dimensione dinamica del chunk nella configurazione del trasferimento di massa per una tabella mediante la transazione /GOOG/SLT_SETTINGS. La dimensione dinamica del blocco è un'impostazione facoltativa. Per informazioni su come abilitare la dimensione dinamica del chunk, vedi:

Se è abilitata la dimensione dinamica del chunk, viene indicata la dimensione massima del chunking consentito da BigQuery Connector per SAP, rimane all'interno Limiti di quota di BigQuery, ovvero 50.000 record.

Per ulteriori informazioni sulla dimensione del blocco, consulta Dimensioni delle porzioni e del blocco.

Come funziona la dimensione dinamica del chunk

Con la dimensione dinamica del blocco, se la richiesta HTTP con il blocco iniziale le dimensioni superano il limite di BigQuery per le dimensioni in byte, BigQuery Connector per SAP riduce la dimensione del blocco e i nuovi tentativi di inviare i dati. BigQuery Connector per SAP continua a ridurre la dimensione del chunk a inviare i dati a BigQuery, finché i dati viene trasferito correttamente per un determinato blocco o fino a quando la dimensione del blocco non raggiunge 1.

La dimensione finale ridotta del blocco, per il quale il trasferimento dei dati è riuscito, viene quindi utilizzata come dimensione del blocco per tutti i blocchi rimanenti di quella parte. Puoi trovare la dimensione finale del chunk ridotta che ha avuto esito positivo per ogni porzione nei log delle applicazioni SAP LT Replication Server sotto forma di messaggio informativo:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.

Per le parti successive e qualsiasi repliche successive, BigQuery Connector per SAP inizia a inviare dati BigQuery con la dimensione del blocco configurata nella transazione /GOOG/SLT_SETTINGS e continua a ridurre la dimensione del chunking in caso di chunking dinamico viene attivato.

Per impostazione predefinita, la dimensione del blocco viene ridotta del 50% dopo ogni nuovo tentativo. Se vuoi riduci la dimensione del blocco di una percentuale inferiore o superiore, modifica le impostazioni avanzate parametri.

Vediamo con un esempio come viene determinata la dimensione del chunk il processo di replica quando la dimensione dinamica del chunk è abilitata per una tabella. Per questo esempio, La dimensione delle porzioni del server di replica SAP LT è superiore a quella BigQuery Connector per SAP la dimensione e la dimensione del blocco di 10.000 record sono definite /GOOG/SLT_SETTINGS. BigQuery Connector per SAP replica una parte BigQuery nel seguente modo:

  1. Quando la replica viene avviata per una parte che contiene 20.000 record, la dimensione del primo blocco è di 10.000 record, ma se la dimensione in byte Se la richiesta HTTP è superiore a 10 MB, BigQuery Connector per SAP riduce la dimensione del blocco del 50% e la nuova dimensione diventa 5000 record.

  2. BigQuery Connector per SAP riprova a inviare la dimensione del blocco di 5000 record, ma se la dimensione in byte per le richieste HTTP è ancora superiore a 10 MB, BigQuery Connector per SAP riduce ulteriormente la dimensione del blocco del 50%, e la nuova dimensione del blocco diventa 2500 record.

  3. BigQuery Connector per SAP riprova a inviare la dimensione del blocco di 2500 record, Ora, se la dimensione in byte della richiesta HTTP per questo blocco è inferiore a 10 MB, la replica va a buon fine vengono inseriti in BigQuery.

  4. La dimensione del chunk per tutti i blocchi successivi diventa di 2500 record,purché la dimensione in byte per ogni richiesta HTTP è inferiore a 10 MB. Se la dimensione in byte della richiesta HTTP per qualsiasi blocco successivo supera i 10 MB, BigQuery Connector per SAP riduce di nuovo la dimensione del blocco e riprova a inviare a BigQuery, fino a quando non vengono trasferiti correttamente per un particolare blocco. La dimensione del chunk ridotta viene usata solo per lo stato attuale della replica attuale.

Rendimento con dimensione del chunk dinamica

La dimensione dinamica del blocco può influire sulle prestazioni della replica in BigQuery. Per ogni blocco, BigQuery Connector per SAP calcola il numero di record contenuti in un blocco e controlla la dimensione in byte di richieste HTTP. Se la dimensione in byte è superiore a 10 MB, allora BigQuery Connector per SAP riduce la dimensione del blocco e riprova a inviare i dati che aumenta il tempo di replica complessivo.

Usa la dimensione dinamica del chunk solo in situazioni specifiche, dove anche dopo configurando una dimensione del chunk ideale per alcuni record di dati, la dimensione della richiesta potrebbe superare il limite di richieste HTTP in BigQuery e non vuoi ricevere un errore relativo alla dimensione del blocco. Ad esempio:

  • Tabelle di origine che contengono una grande varianza della sparsità dei dati nei campi, ovvero per alcuni record vengono mantenuti meno campi mentre per alcuni record vengono mantenuti molti campi.
  • Le tabelle di origine che contengono campi di testo lunghi come EDID4-SDATA, VARI-CLUSTID e REPOSRC-DATA.

Puoi anche utilizzare la dimensione dinamica del chunk durante la fase di test per identificare la dimensione ideale del chunking per una tabella che puoi definire il sistema SAP di produzione.

Per ulteriori informazioni sulla configurazione della dimensione del blocco, consulta:

Impostazioni del trasferimento di massa del trasporto alla produzione

Per trasferire le impostazioni del trasferimento di massa in produzione, devi prima esportare le impostazioni da un sistema di sviluppo e poi importarle nel di un sistema di produzione.

Facoltativamente, puoi importare tre parti separate delle impostazioni di un trasferimento di massa in produzione:

  • Le impostazioni di replica avanzate, a cui è possibile accedere utilizzando l'LTRS transazione.
  • Le impostazioni della chiave client dalla tabella /GOOG/CLIENT_KEY, che possono essere a cui si accede utilizzando la transazione SM30.
  • BigQuery Connector for SAP le impostazioni del trasferimento di massa, a cui si accede utilizzando la transazione /GOOG/SLT_SETTINGS.

Esportare le impostazioni del trasferimento di massa da un sistema di sviluppo

Nel sistema di sviluppo SAP LT Replication Server, esporta ogni parte delle impostazioni del trasferimento di massa:

  1. Esporta le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona i record del trasferimento di massa che stai trasferendo in produzione.
    3. Dal menu a discesa File, seleziona Esporta tutte le impostazioni.
    4. Nella finestra di dialogo Impostazioni di esportazione, seleziona una destinazione e fai clic su Salva. Le impostazioni vengono salvate in un file compresso in formato CSV sul tuo workstation locale.

  2. Esporta le impostazioni di mass Transfer di BigQuery Connector per SAP:

    1. Esegui la transazione /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Nel campo Tabella delle impostazioni, seleziona Trasferimento di massa.

    3. Seleziona i record del trasferimento di massa che stai trasferendo in produzione.

    4. Fai clic su Trasferimento di massa.

    5. Nel Prompt per la richiesta Workbench, inserisci la richiesta di trasporto. numero e fai clic sull'icona Continua. Per ogni massa selezionata Transfer record, le impostazioni del seguente servizio personalizzato di configurazione sono incluse nel trasporto:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Le impostazioni del trasferimento di massa vengono salvate in una richiesta di trasporto.

  3. Esporta le impostazioni della chiave client includendo manualmente i contenuti di tabella /GOOG/CLIENT_KEY nella richiesta di trasporto.

  4. Salva i file sulla workstation locale.

Importa le impostazioni del trasferimento di massa in un sistema di produzione

Nel sistema di produzione SAP LT Replication Server, importa ogni parte delle impostazioni del trasferimento di massa:

  1. Crea una configurazione di replica di SAP LT Replication Server per il impostazioni del trasferimento di massa.

  2. Importa le impostazioni di replica avanzate:

    1. Esegui la transazione LTRS.
    2. Seleziona il trasferimento di massa che hai creato nel primo passaggio.
    3. Dal menu a discesa File, seleziona Importa tutte le impostazioni.
    4. Nella finestra di dialogo Scegli file, seleziona il file compresso dal tuo workstation locale e fai clic su Apri. Le impostazioni vengono importate come impostazioni per il trasferimento di massa.

  3. Importa la richiesta di trasporto che contiene le impostazioni del trasferimento di massa.

  4. Esegui la transazione SM30.

  5. Aggiorna le impostazioni della chiave client in base alle esigenze dell'ambiente di produzione.

  6. Esegui la transazione /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verificare che nella schermata Massa siano visualizzati i trasferimenti di massa corretti Trasferimenti.

  8. Nella colonna Mass Transfer ID (ID trasferimento di massa), sostituisci l'ID del trasferimento di massa di il sistema di sviluppo con l'ID del trasferimento di massa della replica che hai creato nel primo passaggio.

  9. Nelle schermate delle impostazioni Tabelle e Campi successive, aggiorna altri valori per la tabella e la mappatura dei campi in base alle esigenze completamente gestito di Google Cloud.

  10. Testa la configurazione avviando un caricamento iniziale o una replica. Per informazioni sull'avvio di un caricamento iniziale o di una replica, consulta:

    • Se il server di replica SAP LT è in esecuzione su una VM di Compute Engine, Testa la replica.
    • Se SAP LT Replication Server è in esecuzione su un host esterno al Google Cloud, Verifica replica.

Aggiorna BigQuery Connector per SAP

Google Cloud offre le nuove release BigQuery Connector per SAP per i trasporti SAP.

Gli amministratori SAP possono aggiornare BigQuery Connector per SAP seguendo questa procedura:

  1. Se hai applicato gli aggiornamenti rapidi per la replica delle tabelle di cluster o per configurare il pubblico predefinito per l'autenticazione basata su JWT, prima di aggiornare BigQuery Connector per SAP alla versione 2.6, devi eliminare l'hotfix. Per ulteriori informazioni sull'eliminazione di un aggiornamento rapido consulta la pagina SAP Creazione, modifica ed eliminazione delle implementazioni di miglioramento.
  2. Disattiva la configurazione in SAP LT Replication Server.
  3. Importa la nuova richiesta di trasporto SAP.
  4. Dopo aver convalidato l'importazione e l'attivazione degli oggetti riuscita, attiva il la configurazione in SAP LT Replication Server.

Aggiorna gcloud CLI

Devi mantenere aggiornata Google Cloud CLI sul server di replica SAP LT .

Per ulteriori informazioni sulla gestione di gcloud CLI, consulta Gestione gcloud CLI gcloud.

Monitoraggio

Puoi monitorare diversi punti del percorso dati a partire dai dati SAP alla tabella BigQuery di destinazione, tra cui:

  • Infrastruttura: rete, hardware e sistema operativo
  • Livello di database SAP
  • Livello di applicazione SAP
  • BigQuery Connector per SAP
  • BigQuery

Le opzioni per il monitoraggio in ognuno di questi punti sono presentate nel le seguenti sottosezioni.

Monitoraggio dell'infrastruttura

Su Google Cloud, puoi installare Ops Agent sulle VM host per monitoraggio e logging avanzati. Ops Agent invia i dati a Cloud Monitoring nella console Google Cloud.

Per ulteriori informazioni, vedi:

Per i sistemi che non sono in esecuzione su Google Cloud, puoi anche informazioni sul server eseguendo transazioni SAP, ad esempio transazione ST06.

Monitoraggio del livello di database

Utilizza i codici di transazione SAP standard per monitorare l'integrità del database.

Il codice transazione DBACOCKPIT è la transazione più comune per monitorando il database. Questa transazione fornisce inoltre dettagli log utilizzabili per la risoluzione degli errori.

Per SAP HANA, puoi utilizzare SAP HANA Studio per le operazioni SAP HANA. Puoi installare SAP HANA Studio su qualsiasi macchina frontend.

Durante la risoluzione dei problemi di prestazioni o di altro tipo, controlla quanto segue nel database di origine:

  • Istruzioni SQL costose
  • Serrature
  • Carica cronologia
  • Indici
  • Processi

Monitoraggio del livello dell'applicazione

Puoi utilizzare gli strumenti di monitoraggio e risoluzione dei problemi delle applicazioni SAP per monitorare e risolvere i problemi di BigQuery Connector per SAP, poiché viene eseguito livello di applicazione.

Il monitoraggio e la risoluzione dei problemi delle applicazioni SAP possono essere ulteriormente classificati le seguenti:

  • Monitoraggio e risoluzione dei problemi SAP standard
  • Monitoraggio e risoluzione dei problemi di BigQuery Connector per SAP

Per ambienti più ampi, puoi utilizzare SAP Solution Manager come strumento di monitoraggio centrale.

Puoi utilizzare i codici transazione SAP nell'elenco seguente per monitorare e diagnosticare i problemi su singoli sistemi di applicazioni SAP:

  • Stato configurazione SLT: LTRC
  • Errori e log SLT: LTRO e SLG1
  • Internet Communication Manager (chiamate HTTP e HTTPS): SMICM
  • Sicurezza e certificati: STRUST
  • Trasporti SAP: STMS
  • Connessioni RFC: SM59
  • Comando sistema operativo: SM69
  • Controllo della spedizione: SE80
  • Controlli dell'autorizzazione: SU53
  • Job in background: SM37
  • Log di sistema: SM21

Monitoraggio di BigQuery

Utilizzare Cloud Monitoring per visualizzare le metriche di BigQuery e creare grafici e avvisi. Ogni metrica ha un tipo di risorsa, bigquery_dataset, bigquery_project o global, nonché un insieme di etichette.

Utilizza i tipi di risorse e le etichette per creare query nella sezione Monitoring Query Language (MQL).

Puoi raggruppare o filtrare ogni metrica utilizzando le etichette.

Per ulteriori informazioni su Monitoring, consulta documentazione di Cloud Monitoring.

Visualizza le impostazioni di BigQuery Connector per SAP

Per visualizzare le impostazioni del trasferimento di massa di BigQuery Connector per SAP, nella GUI di SAP, esegui la transazione /GOOG/SLT_SETT_DISP.

Strumento Crea tabella

Per le tabelle di origine vuote in SAP, SLT SAP impedisce di creare tabelle di destinazione in BigQuery. Se devi creare le tabelle di destinazione nel set di dati BigQuery per le tabelle di origine vuote, allora puoi usare lo strumento Crea tabella.

Per eseguire lo strumento Crea tabella:

  1. Nella GUI SAP, esegui la transazione /GOOG/CREATE_BQ_TAB preceduta da /n:

    /n/GOOG/CREATE_BQ_TAB

  2. Nella schermata Crea tabelle di destinazione dalle impostazioni BQ, fornisci i valori per nei seguenti campi:

    • Chiave di trasferimento massiccio: la chiave di trasferimento massiccio contenente le tabelle SAP.
    • Nome tabella SAP: i nomi delle tabelle SAP che devi creare.

  3. Fai clic sull'icona Esegui. Le tabelle di destinazione vengono create set di dati BigQuery.

  4. Facoltativamente, verifica nel set di dati BigQuery se la tabella sia stato creato con lo schema corretto.

Strumento di conversione dei campi di massa

Sebbene BigQuery Connector per SAP suggerisca automaticamente di dati BigQuery per la maggior parte dei campi, potresti dover mappare manualmente i campi. Anziché assegnare manualmente il tipo di dati a ciascun puoi utilizzare lo strumento Conversione campi di massa per mappare i dati digita l'assegnazione per tutti i campi nella schermata di mappatura dei campi di /GOOG/SLT_SETTINGS transazione. Lo strumento Conversione di campi di massa converte tutte le mappature dei campi per una tabella al tipo STRING in BigQuery.

Se una tabella è già in fase di replica o viene aggiunta per il caricamento iniziale nella transazione LTRC, poi non usare lo strumento per queste tabelle, in quanto ciò può causare problemi di mancata corrispondenza dello schema. Puoi utilizzare questo strumento solo per le tabelle SAP per le quali o la replica non è stata avviata.

Per eseguire lo strumento Conversione di campi di massa:

  1. Nella GUI SAP, esegui la transazione /GOOG/MASS_CNVT_FMAP preceduta da /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. Nella schermata Conversione in blocco dei campi, fornisci i valori per nei seguenti campi:

    • Chiave di trasferimento massiccio: la chiave di trasferimento massiccio contenente le tabelle SAP.
    • Nome tabella SAP: i nomi delle tabelle SAP per le quali è necessario tutto il campo mappature da convertire nel tipo STRING.

  3. Fai clic sull'icona Esegui. Per le tabelle selezionate, tutte le le mappature dei campi vengono convertite nel tipo STRING.

Carica strumento di simulazione

Questa sezione fornisce una panoramica dello strumento di simulazione di caricamento e dei puoi utilizzarlo.

Lo strumento di simulazione di caricamento è uno strumento di supporto per BigQuery Connector per SAP che ti consente di simulare la replica dei dati SAP in BigQuery. Lo strumento fa parte del trasporto Google Cloud fornisce BigQuery Connector per SAP. Puoi utilizzare lo strumento di simulazione di caricamento per replicare i dati SAP di origine in BigQuery richiamando direttamente il componente aggiuntivo aziendale (BAdI) di BigQuery Connector per SAP. Poiché lo strumento di simulazione di caricamento non utilizza framework SLT sottostante, i trigger SLT non sono interessati. Non utilizzare Carica lo strumento di simulazione per la replica dei dati negli ambienti di produzione.

Lo strumento Simulazione di carico fornisce un report che puoi analizzare per valutare le prestazioni di replica, identificare potenziali problemi, comprendere la causa principale e risolvere prima della replica effettiva dei dati SAP in BigQuery. utilizzando BigQuery Connector per SAP.

Di seguito sono riportati alcuni casi d'uso comuni in cui puoi utilizzare la simulazione di caricamento questo strumento:

  • Riprodurre e risolvere eventuali problemi relativi a connettività di rete, o problemi di autenticazione.
  • Genera log avanzati delle chiamate API BigQuery per risolvere eventuali problemi.
  • Per qualsiasi richiesta di assistenza per la risoluzione dei problemi, all'assistenza clienti Google Cloud, esegui lo strumento di simulazione di caricamento e fornisci log al team dell'assistenza clienti.
  • Misura le metriche sul rendimento indicando il tempo impiegato per ogni passaggio il processo di replica.
  • Per SAP LT Replication Server in un'architettura incorporata, determina una del blocco note per le tabelle SAP.

Utilizza una configurazione di trasferimento di massa di esempio con lo strumento di simulazione del carico che che crei utilizzando la transazione personalizzata /GOOG/SLT_SETTINGS. Non utilizzare il set di dati di produzione e BigQuery per l'esecuzione dello strumento di simulazione di caricamento.

Quando il server di replica SAP LT si trova in un'architettura incorporata, viene eseguito Carica lo strumento di simulazione con le tabelle SAP standard come MARA e T001.

Quando il server di replica SAP LT si trova in un'architettura autonoma, viene eseguito Carica simulazione con la tabella di esempio /GOOG/TEST_REPL fornita da Google Cloud con BigQuery Connector per SAP. Lo strumento di simulazione di caricamento non supporta per leggere le tabelle di origine da un sistema remoto.

Per ulteriori informazioni sulle architetture per le origini dati SAP su Google Cloud, consulta Architettura di installazione.

Prerequisiti

Prima di eseguire lo strumento di simulazione di caricamento, assicurati che: siano soddisfatti i seguenti prerequisiti:

Come eseguire lo strumento di simulazione di caricamento

Per eseguire lo strumento di simulazione di caricamento, segui questi passaggi:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/LOAD_SIMULATE preceduta da /n:

    /n/GOOG/LOAD_SIMULATE

  2. Fai clic sull'icona Esegui. Viene visualizzata la schermata Simulazione di caricamento SLT.

  3. In Elaborazione delle opzioni, assicurati che sia selezionata l'opzione Esegui simulazione. è selezionata.

  4. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, Seleziona BigQuery.

    • Nel campo Mass Transfer Key, inserisci il trasferimento di massa. chiave per la configurazione del trasferimento di massa.

      Utilizza una configurazione di trasferimento di massa di esempio con lo strumento di simulazione di caricamento. Non utilizzare il set di dati di produzione e le tabelle BigQuery.

    • Nel campo Nome tabella, inserisci il nome della tabella SAP di origine fornito nella configurazione del trasferimento di massa di esempio.

    • (Facoltativo) Nel campo Condizione in cui, inserisci una condizione per i dati selezione dalla tabella di origine.

      Puoi inserire fino a 255 caratteri. Ad esempio, se esegui lo strumento di simulazione di caricamento per la tabella SAP MARA, e devi selezionare il numero di materiale da un intervallo specifico, In Where Condition, specifica un valore come MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • Nel campo Conteggio ciclo, inserisci il numero di cicli di elaborazione eseguito dallo strumento di simulazione di caricamento.

      Ciò è utile quando devi confrontare come si presenta il report sulla simulazione in più cicli. Il valore deve essere maggiore di 1.

    • Nel campo Conteggio record per ciclo, inserisci il numero di record che da inviare a BigQuery in ogni ciclo di elaborazione. Il valore deve essere maggiore di 1.

    • Nel campo Dimensione della porzione, inserisci il numero di record Conteggio dei record per ciclo inviato dal server di replica SAP LT al connettore BAdI di BigQuery Connector per SAP in ogni parte.

    • Seleziona uno o più flag appropriati:

      • Numero esatto di record: indica che è esattamente lo stesso numero di i record forniti nel campo Conteggio record per ciclo vengono inviati BigQuery in ogni ciclo di elaborazione. Se la tabella non dispone di un numero sufficiente di record, viene utilizzata la funzione duplicati di strumenti i record esistenti per raggiungere il conteggio richiesto. I record sono duplicato solo per inserire dati in BigQuery e non inserire dati nella tabella di origine.

      • Utilizza la struttura di destinazione SLT: utilizza la struttura della tabella di registrazione SLT per ottenere i campi della tabella di origine. Se questo flag è non impostato, i campi vengono letti direttamente dalla tabella di origine per generare la struttura di destinazione. Per ulteriori informazioni il flusso di dati di SAP LT Replication Server, consulta Visualizzazione architetturale dettagliata del flusso di dati.

      • Log dettagliato: indica che i record di log sono stati creati per tutti metodi definiti con BigQuery Connector per SAP. Se questo flag non è impostato, è importante solo vengono registrati.

      • Cancella risultati precedenti: cancella i record di log creati in precedenza per la stessa tabella SAP e trasferimento mass. Se il flag non è impostato, vengono aggiunti ai risultati precedenti.

  5. Per eseguire lo strumento Carica simulazione, fai clic sull'icona Esegui.

  6. Al termine della simulazione del carico, nella sezione Opzioni di elaborazione: Seleziona il pulsante di opzione Visualizza report.

  7. Nella sezione Opzioni di selezione, inserisci le seguenti specifiche:

    • Dal menu a discesa nel campo Partner Google Cloud, Seleziona BigQuery.
    • Nel campo Mass Transfer Key, inserisci la chiave di trasferimento di massa per il di esempio di configurazione del trasferimento di massa.
    • Nel campo Nome tabella, inserisci il nome della tabella SAP di origine.
    • (Facoltativo) Per visualizzare il report in base alla data di esecuzione della simulazione del carico, specifica un intervallo di date nel campo Data report.
    • (Facoltativo) Per visualizzare l'ultimo report eseguito insieme a quello corrente, seleziona il flag Last Execution Only (Solo ultima esecuzione).

  8. Per visualizzare il report, fai clic sull'icona Esegui.

La seguente tabella descrive le colonne visualizzate nel report di simulazione:

Nome Descrizione
Trasferisci chiave La chiave di trasferimento di massa per la configurazione del trasferimento di massa.
Tabella SAP Il nome della tabella SAP che viene replicata in in BigQuery.
Timestamp inizio esecuzione L'ora in cui è iniziata l'esecuzione di un BigQuery Connector per SAP .
Timestamp del completamento La data e l'ora in cui è stata completata l'esecuzione di un BigQuery Connector per SAP .
Numero job Numero di job univoco per ogni esecuzione completata che viene generate ogni volta che viene eseguito lo strumento di simulazione di caricamento.
N. ciclo Il numero di sequenza del ciclo di elaborazione in cui il report viene generati. Il conteggio record per ciclo fornito nell'input di simulazione viene trasferito in BigQuery per ogni ciclo.
Numero porzione Il numero di sequenza della parte. Il conteggio record per ciclo fornito nell'input della simulazione viene suddiviso in parti in base al delle porzioni. Il BAdI di BigQuery Connector per SAP per ogni parte.
Nome corso Il nome della classe del connettore BigQuery per SAP.
Nome metodo Il nome del connettore BigQuery per SAP. I metodi che vengono richiamate da BigQuery Connector per SAP e vengono registrate in sequenza. Se nell'input della simulazione è selezionato il flag Dettagliato, vengono registrati tutti i metodi oppure solo i metodi importanti vengono inseriti nei log.
Richiamato per metodo L'ultimo metodo che ha richiamato l'attuale BigQuery Connector per SAP .
Durata Il tempo totale impiegato per l'esecuzione di un BigQuery Connector per SAP .
Numero di ric Il numero di record passati a un BigQuery Connector per SAP . Questa informazione viene mostrata solo per i metodi a cui i record vengono superate.
Metodo URI Il nome del metodo HTTP, nel caso in cui il metodo ABAP effettui una Chiamata API BigQuery.
Stringa URI L'URL HTTP, nel caso in cui il metodo ABAP effettui una Chiamata API BigQuery.
Origine token L'origine del token di autenticazione che la simulazione di caricamento di destinazione. Ciò è applicabile solo se la memorizzazione nella cache dei token attivata nella tabella /GOOG/CLIENT_KEY. I valori possibili sono:
  • A: valore dell'attributo statico di un processo specifico.
  • M: valore della memoria condivisa tra il ricordo condiviso più processi.
  • L: nuovo valore con blocco della memoria. Se è presente un blocco della memoria il token memorizzato nella cache non può essere letto, viene generato un nuovo token.
  • N: nuovo valore senza blocco della memoria. Se un token scade o non è in memoria, viene generato un nuovo token.
Data di scadenza La scadenza del token di autenticazione.
È applicabile solo quando la memorizzazione nella cache dei token è attivata la tabella /GOOG/CLIENT_KEY.
Valore token Valore del token di autenticazione utilizzato dallo strumento di simulazione di caricamento per accedere a BigQuery.
Codice di ritorno Il codice restituito dell'esecuzione del metodo. I valori possibili sono:
Testo errore Il titolo dell'errore, se presente.
Descrizione errore Informazioni dettagliate sull'errore.
Dimensioni payload Le dimensioni del payload HTTP per l'API BigQuery Insert. Se si verifica un errore nell'esecuzione del metodo e la dimensione del payload è maggiore non superi i 10 MB, puoi regolare la dimensione del chunk per la dimensione del payload.
Testo delle informazioni Qualsiasi messaggio informativo pertinente generato dal BAdI di BigQuery Connector per SAP. Ad esempio, quando il chunking dinamico , viene visualizzato il seguente messaggio informativo: Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Stato Stato dell'esecuzione del metodo. Nel caso in cui l'esecuzione di un metodo non vada a buon fine, Consulta la guida alla risoluzione dei problemi relativi a BigQuery Connector per SAP per risolvere il problema.

Strumento di pianificazione della simulazione di caricamento

Puoi pianificare l'esecuzione automatica dello strumento di simulazione di un job in background su SAP LT Replication Server utilizzando nome del programma /GOOG/R_LOAD_SIMULATION. Per ulteriori informazioni da SAP sulla pianificazione dei job in background, consulta la sezione Pianificazione di job in background.

Convalida della replica

Se selezioni il Flag campi aggiuntivi quando crei la destinazione Tabella BigQuery con transazione /GOOG/SLT_SETTINGS, le colonne vengono aggiunte allo schema della tabella per archiviare il tipo di modifica a ciascun record che ha attivato la replica e per un timestamp che rifletta l'ora in cui SAP LT Replication Server ha ricevuto la parte che conteneva il record.

Puoi usare i tipi di modifica e il timestamp per eseguire query su quanto segue: tipi di conteggio dei record:

  • Il numero di record caricati in un oggetto BigQuery durante un caricamento iniziale.
  • Il numero di record replicati in un giorno specificato in un Tabella BigQuery.
  • Il numero totale di record univoci in una tabella BigQuery.

Per ottenere questi conteggi, puoi eseguire una query sulla tabella BigQuery direttamente inviando query SQL nella console Google Cloud; oppure puoi eseguire lo strumento Replication Validation, che genera report Confronta il numero di record BigQuery con SAP LT Replication Server le statistiche o i conteggi di record dalla tabella di origine.

Per una panoramica del Flag campi aggiuntivi, vedi Campi aggiuntivi per la registrazione le modifiche e il conteggio delle query.

Per informazioni su come specificare il flag dei campi aggiuntivi, consulta:

Query SQL per i conteggi dei record

Nella pagina dell'editor SQL di BigQuery in nella console Google Cloud, puoi eseguire query SQL per controllare il conteggio dei record nelle tabelle BigQuery.

Puoi quindi confrontare i conteggi dei record BigQuery con i conteggi nella tabella di origine o nelle statistiche di SAP LT Replication Server.

Query sul conteggio dei record inseriti in modalità di caricamento iniziale

Quando lo schema di una tabella BigQuery include il campo facoltativo colonna operation_flag, record inseriti nella tabella in modalità di caricamento iniziale includono il flag dell'operazione L.

Per ottenere il conteggio dei record ricevuti da BigQuery durante un caricamento iniziale, esegui questa query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Query sul numero di record inseriti in modalità di replica

Quando lo schema di una tabella BigQuery include il campo facoltativo colonna operation_flag, record inseriti nella tabella in modalità di replica includono uno dei seguenti flag delle operazioni:

  • I: il record è stato inserito nella tabella di origine.
  • D: il record è stato eliminato dalla tabella di origine.
  • U: il record è stato aggiornato nella tabella di origine.

Per ottenere il conteggio dei record ricevuti da BigQuery in modalità di replica, esegui questa query:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Query sul conteggio totale dei record in una tabella BigQuery

Quando lo schema di una tabella BigQuery include il campo facoltativo Colonna recordstamp, il campo recordstamp corrispondente di ogni record inserito nella tabella contiene un timestamp che indica quando il record è stato inviato da SAP LT Replication Server a BigQuery.

Per ottenere un conteggio totale dei record in una tabella BigQuery: che puoi confrontare con il conteggio totale dei record in una tabella di origine, puoi usare i campi recordstamp e is_deleted per contare i dati univoci record della tabella BigQuery che non sono stati eliminati dalla tabella di origine.

Se la tabella di origine è in fase di aggiornamento attivo o la replica è attiva quando esegui una query sui record, il conteggio dei record nell'origine e nella destinazione potrebbero non corrispondere esattamente.

Per ottenere il conteggio attuale dei record univoci in BigQuery di destinazione, esegui questa query:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Strumento Replication Validation

Questa sezione fornisce una panoramica dello strumento Replication Validation che cosa puoi fare.

Lo strumento Replication Validation genera report che mettono a confronto il record conteggi nella tabella BigQuery con SAP LT Replication Server e il conteggio dei record nella tabella di origine. Se i conteggi non corrispondono una corrispondenza esatta, lo strumento segnala il report con un cerchio rosso.

Per conteggiare i record in BigQuery, lo strumento utilizza la tecnica SQL mostrate nella sezione precedente, query SQL per il numero di record.

Esegui periodicamente lo strumento Replication Validation per verificare SAP LT Replication Server e BigQuery Connector per SAP stanno replicando i record in BigQuery come previsto.

Per eseguire lo strumento Replication Validation, inserisci la transazione personalizzata /GOOG/REPLIC_VALID preceduto da /n nella GUI di SAP. Per istruzioni passo passo, consulta:

Report di convalida della replica

Puoi generare i seguenti report di convalida con il modulo Strumento di convalida:

  • Conteggi caricamenti iniziali: un confronto tra il numero di record inviati da SAP LT Replication Server in modalità di carico e il numero di dati caricati in BigQuery.
  • Numero di repliche: un confronto del numero di record. inviati da SAP LT Replication Server in modalità di replica e il numero di record inseriti in BigQuery su una giorno specificato.
  • Conteggi attuali: un confronto point-in-time tra il numero di record presenti nella tabella di origine e il numero di record univoci in BigQuery. Impossibile visualizzare il conteggio attuale nella tabella di origine un numero maggiore del limite di numeri interi a 32 bit (da -2.147.483.648 a 2.147.483.647).

Puoi generare ciascun report singolarmente o selezionando Tutti i controlli Quando esegui lo strumento, puoi generare tutti e tre i report in un singola esecuzione. Con il campo Nomi tabella, puoi generare la replica report di convalida per tabelle specifiche nella configurazione del trasferimento di massa.

Visualizzazione dei report di Replication Validation

Dopo aver generato un report, puoi visualizzarlo selezionando l'icona Pulsante di opzione Visualizza report nella sezione Opzioni di elaborazione dell'interfaccia dello strumento Replication Validation.

Le informazioni visualizzate dallo strumento Replication Validation ogni report differisce leggermente in base al tipo.

Tutti i report includono i seguenti tipi di informazioni:

  • Il numero di record di origine deriva dalle statistiche di SAP LT Replication Server e dalle e la tabella di origine.
  • Conteggi dei record di destinazione dal BigQuery di destinazione .
  • Qualsiasi differenza tra i due conteggi. La differenza viene calcolata sottraendo i conteggi di BigQuery dal record di origine conteggi. Un valore positivo indica un problema probabile, perché suggerisce che non tutti i record di origine passano a BigQuery.
  • La differenza nei conteggi visualizzati come percentuale del record di origine conteggio.
  • Un indicatore visivo che indica se i conteggi dell'origine e dei target sono uguali o diverso.

Conteggi di record disuguali

Lo strumento Replication Validation include un campo di stato per ogni report visualizzato.

Un quadrato verde nel campo dello stato indica che il conteggio dei record di origine equivale al conteggio dei record target in BigQuery.

Un cerchio rosso nel campo di stato indica che i conteggi dei record non sono uguale.

Un conteggio di record non paritario non sempre indica un problema. Le seguenti indicatori suggeriscono un possibile problema:

  • Per un report Conteggi correnti, un valore non uguale indica sempre un problema.

  • Per un report Conteggi caricamenti iniziali o Conteggi repliche, un valore positivo indica un probabile problema.

    Un valore negativo relativamente basso non costituisce un problema. Il conteggio in a volte una tabella BigQuery target leggermente superiore al conteggio dei record di origine a causa di eventi come momentanee interruzioni della connettività che causano il inviare di nuovo i dati.

Se visualizzi un conteggio non uguale, esegui nuovamente il report per assicurarti che non sia stato causato da un problema transitorio. Può verificarsi un conteggio di record disuguale a causa della replica nel momento in cui lo strumento ha generato il report.

Per una tabella di origine molto grande o una tabella con filtri impostati SAP LT Replication Server per il caricamento iniziale o la replica, la replica Lo strumento di convalida potrebbe non essere in grado di contare tutti i record obbligatorio per un conteggio uguale.

Pianificazione dei controlli di convalida

Puoi pianificare l'esecuzione automatica dello strumento Replication Validation a intervalli usando la funzionalità dei job in background SAP.

Modificare la mappa dei campi di BigQuery in un file CSV

Le seguenti sezioni descrivono come esportare la mappatura dei campi predefinita in modo che i data engineer o gli amministratori BigQuery possano modificare i valori del campo di destinazione senza richiedere l'accesso a SAP LT Replication Server.

Crea un foglio di lavoro o un file di testo con le mappature dei campi predefinite

Per creare un file CSV da modificare all'esterno di SAP LT Replication Server:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Tabella delle impostazioni, specifica Campi.
    • Nel campo Mass Transfer Key (Chiave trasferimento di massa), specifica l'ID del trasferimento di massa che stai aggiornando.
    • Nel campo Nome tabella, lascia vuoto il campo per lavorare con tutti i campi di tutte le tabelle o specifica il nome di una tabella da utilizzare tabella specifica.
    • Lascia vuoti tutti gli altri campi.

  3. Fai clic sull'icona Esegui. La sezione relativa alla gestione delle impostazioni di BigQuery - Viene visualizzata la schermata Campi.

  4. Nella schermata Manutenzione impostazioni BigQuery - Campi, nascondi tutto tranne quelle del seguente elenco facendo clic con il tasto destro del mouse le intestazioni delle colonne e selezionando Nascondi dal menu a discesa:

    • Nome tabella SAP
    • Nome campo SAP
    • Elemento di dati esterno
    • Nome campo esterno
    • Descrizione campo

  5. Con le cinque colonne rimanenti visualizzate, fai clic sull'icona Esporta.

  6. Dal menu Esporta, seleziona una delle seguenti opzioni:

    • Foglio di lavoro
    • File locale. Per convertire facilmente i contenuti del file in formato CSV, consigliamo di salvare il file nel formato Testo con schede.

  7. Salva le mappature predefinite dei campi facendo clic sull'icona del segno di spunta.

Converti il foglio di lavoro o il file di testo in formato CSV

Per caricare le mappature dei campi modificate utilizzando la transazione personalizzata /GOOG/SLT_SETTINGS, le mappature dei campi deve essere in formato CSV.

Se utilizzi un foglio di lavoro, salvalo come file CSV. prima di caricare il file.

Se utilizzi un file locale in un formato separato da tabulazioni o qualsiasi altro formato, devi modificare il file per renderlo conforme al formato CSV.

Ad esempio:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Carica il file CSV

Per caricare un file CSV modificato:

  1. Esegui la transazione /GOOG/SLT_SETTINGS.

  2. Nella schermata Manutenzione impostazioni SLT, specifica i seguenti valori:

    • Nel campo Tabella delle impostazioni, specifica Campi.
    • Nel campo Mass Transfer Key (Chiave trasferimento di massa), specifica l'ID del trasferimento di massa che stai aggiornando.
    • Seleziona la casella di controllo Carica da file.

  3. Fai clic sull'icona Esegui. L'opzione Seleziona file da caricare si apre la finestra di dialogo.

  4. Nella finestra di dialogo Seleziona file da caricare, seleziona il file CSV che contiene i valori dei campi modificati.

  5. Fai clic su Apri.

  6. Se ricevi un avviso di sicurezza, fai clic su Consenti. Il file viene caricato i valori modificati nel file vengono visualizzati nelle righe pertinenti dei Schermata Manutenzione impostazioni BigQuery - Campi.

  7. Fai clic sull'icona Salva.

  8. Per confermare che i valori sono stati applicati, confronta i valori del file CSV con i valori visualizzati da SAP LT Replication Server.

Gestione degli errori nei dati di origine

Dopo aver ricevuto un blocco di record da BigQuery Connector per SAP, l'API Flusso di dati di BigQuery controlla la presenza di errori nei dati prima inserendo qualsiasi record nella tabella BigQuery.

Puoi controllare in che modo l'API BigQuery e BigQuery Connector per SAP risponde quando vengono rilevati errori nei dati specificando i seguenti flag nelle impostazioni del trasferimento di massa:

  • Il flag Skip Invalid Records (SKIP)
  • Il flag Break at First Error Flag (BREAK)

Il flag SKIP

Se specifichi il flag SKIP, quando l'API BigQuery riceve un blocco di record e trova con un errore nei dati, l'API BigQuery ignora, o salta, il record con l'errore e continua a inserire tutti gli altri dal blocco alla tabella BigQuery.

Se non specifichi il flag SKIP, quando BigQuery trova un record con un errore nei dati, BigQuery elimina l'intero un blocco note senza inserire alcun record a BigQuery . Questo è il comportamento standard.

Specificare il flag SKIP è la scelta migliore per gli ambienti di sviluppo e QA, e non è consigliato per gli ambienti di produzione.

Puoi specificare il flag SKIP nella transazione /GOOG/SLT_SETTINGS quando stai configurando la replica. La specifica viene archiviata Tabella di configurazione /GOOG/BQ_MASTR.

Per vedere in che modo le specifiche SKIP interagiscono con le specifiche BREAK, consulta la tabella a matrice per le interazioni SKIP e BREAK.

Il flag BREAK

Se specifichi il flag BREAK, quando L'API BigQuery informa BigQuery Connector per SAP che è stato rilevato un errore nei dati in un record, BigQuery Connector per SAP si arresta l'invio di record a BigQuery e termina di replica. Questo è il comportamento standard.

Se non specifichi il flag BREAK, quando BigQuery Connector per SAP comunica a BigQuery che è stato rilevato un errore nei dati in un record, BigQuery Connector per SAP continua invio di record a BigQuery inviando il blocco successivo e il job di replica continua.

È consigliabile specificare il flag BREAK negli ambienti di produzione.

Puoi specificare il flag BREAK nella transazione /GOOG/SLT_SETTINGS quando configuri la replica. Quando crei una nuova chiave di trasferimento di massa, il flag BREAK è abilitato per impostazione predefinita.

La specifica viene archiviata nella tabella di configurazione /GOOG/BQ_MASTR.

Per vedere in che modo le specifiche BREAK interagiscono con le specifiche SKIP, consulta la tabella a matrice per le interazioni SKIP e BREAK.

Tabella a matrice per le interazioni SKIP e BREAK

Puoi configurare BigQuery Connector per SAP in modo da gestire gli errori nei dati nei seguenti modi:

SKIP flag BREAK flag Comportamento
FALSE VERO

BigQuery elimina il blocco di record corrente senza inserendo qualsiasi record del blocco corrente Tabella BigQuery.

BigQuery Connector per SAP non invia altri blocchi di record parte corrente e indica a SAP LT Replication Server di terminare il job di replica.

Impostazione predefinita e consigliata.

FALSE FALSE

BigQuery elimina il blocco di record corrente senza inserendo qualsiasi record del blocco corrente Tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non indica il server di replica SAP LT per terminare il job di replica.

VERO VERO

BigQuery ignora solo il record che contiene e inserisce il resto dei record nel blocco corrente nella Tabella BigQuery.

BigQuery Connector per SAP non invia altri blocchi di record parte corrente e indica a SAP LT Replication Server di terminare di replica.

VERO FALSE

BigQuery ignora solo il record che contiene e inserisce il resto dei record nel blocco corrente nella Tabella BigQuery.

BigQuery Connector per SAP invia eventuali blocchi di record rimanenti dalla parte corrente e recupera la parte successiva. BigQuery Connector per SAP non comunica a SAP LT Replication Server di e terminare il job di replica.

Modifiche alla struttura della tabella

Questa sezione spiega come modificare la struttura della tabella di origine SAP, per cui è in corso una replica LTRC esistente.

Aggiungi una colonna a una tabella di origine

Per aggiungere una nuova colonna a una tabella di origine:

  1. Aggiungi una nuova colonna alla tabella di origine. Dopo questo passaggio, lo stato di replica diventa Load/Replication blocked.

  2. Nel sistema SLT, reimposta lo stato di replica utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, vedi Nota SAP 2204955: le tabelle SLT sono in stato "Caricamento /Replica bloccata".

  3. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  4. Convalida il risultato della replica in BigQuery.

Eliminare una colonna da una tabella di origine

Per eliminare una colonna esistente da una tabella di origine:

  1. Nel sistema SLT, sospendi la replica utilizzando la transazione LTRC.

  2. Elimina una colonna dalla tabella di origine. A seguito di questo passaggio, i trigger SLT esistenti vengono eliminati o è stato modificato in uno stato incoerente.

  3. In BigQuery, elimina la colonna dalla destinazione Tabella BigQuery. Per ulteriori informazioni sui passaggi per Eliminare una colonna da una tabella esistente, consulta la documentazione di BigQuery.

  4. Nel sistema SLT, riprendi la replica utilizzando la transazione LTRC.

  5. Nel tuo sistema SLT, ricrea i trigger SLT. Per ulteriori informazioni da SAP su come ricreare i trigger SLT, consulta la Nota SAP 2254376 - Trigger SLT in uno stato incoerente.

  6. Se lo stato della replica è Load /Replication blocked, reimposta lo stato di replica utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, consulta Nota SAP 2204955 - Le tabelle SLT sono in stato "Caricamento /Replica bloccato".

  7. Cancella i log, se presenti.

  8. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  9. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati di una colonna esistente

Quando modifichi il tipo di dati di una colonna esistente nella tabella di origine SAP, dover seguire passaggi specifici a seconda che tu stia modificando a un tipo di dati compatibile o non compatibile con la tabella BigQuery di destinazione.

Un tipo di dati è compatibile con il tipo di dati nel target nella tabella BigQuery quando il tipo di dati esistente e il nuovo tipo di dati di una colonna esistente sono mappati allo stesso tipo di dati nel target Tabella BigQuery. Ad esempio, se il tipo di dati di una colonna viene modificato da INT1 a INT2 in una tabella di origine, sia il valore i tipi di dati siano compatibili con il tipo di dati INTEGER nel target Tabella BigQuery.

Per saperne di più sulla mappatura dei tipi di dati in BigQuery Connector per SAP, consulta Mappatura dei tipi di dati.

Modifica il tipo di dati impostandone uno compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati compatibile: segui questi passaggi:

  1. Modifica il tipo di dati impostandone uno compatibile nel sistema di origine. A seguito di questo passaggio, i trigger SLT esistenti vengono eliminati o è stato modificato in uno stato incoerente.

  2. Nel tuo sistema SLT, ricrea i trigger SLT. Per ulteriori informazioni da SAP su come ricreare i trigger SLT, consulta la Nota SAP 2254376 - Trigger SLT in uno stato incoerente.

  3. Se lo stato della replica è Load /Replication blocked: reimpostare lo stato della replica utilizzando la transazione LTRC. Per ulteriori informazioni da SAP su come reimpostare lo stato della replica, consulta Nota SAP 2204955 - Le tabelle SLT sono in stato "Caricamento /Replica bloccato".

  4. Cancella i log, se presenti.

  5. Aggiungi, aggiorna o elimina una voce nella tabella di origine.

  6. Convalida il risultato della replica in BigQuery.

Modificare il tipo di dati in uno non compatibile

Per modificare il tipo di dati di una colonna esistente in un tipo di dati non compatibile: segui questi passaggi:

  1. Nel sistema SLT, interrompi la replica utilizzando la transazione LTRC.
  2. In BigQuery, elimina la tabella di destinazione.
  3. Modifica il tipo di dati nel sistema di origine.
  4. Nel tuo sistema SLT, avvia la replica utilizzando la transazione LTRC.

Per saperne di più sulle modifiche alla struttura delle tabelle, vedi Connettore BigQuery per SAP: gestire le modifiche alla struttura delle tabelle in modo professionale.

Uscite miglioramento

BigQuery Connector per SAP offre diversi punti di miglioramento nel codice in cui uno sviluppatore ABAP può inserire codice per aggiungere funzionalità personalizzate.

Nella tabella seguente sono elencate le funzioni utilizzate dai punti di ritocco il supporto tecnico, i metodi e la classe che contiene il punto di miglioramento.

Funzione Classe Metodo Spot Opzione
Aggiorna la mappatura per un campo, ad esempio il campo esterno nome, tipo di dati e così via. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Aggiorna il mapping per la tabella dei campi aggiungendo o rimuovendo campi. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Modificare il valore di un campo di origine prima che il campo venga convertito in un campo di destinazione. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Dopo che un campo di origine viene convertito in un campo di destinazione nella tabella target, modifica il valore del campo target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Aggiungi alla tabella di destinazione un campo che non esiste nell'origine durante la conversione da origine a target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo dello schema BigQuery prima Viene creata la tabella BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
In caso di errori HTTP, raccogli i dati di logging dopo il prompt HTTP all'API BigQuery per risolvere il problema. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR

Impostazioni avanzate

Facoltativamente, puoi modificare le impostazioni avanzate per BigQuery Connector per SAP. Google Cloud consiglia di modificare dei parametri delle impostazioni avanzate solo dopo un'analisi completa e l'impatto di nuovi valori sul rendimento. È tua responsabilità garantire che le nuove impostazioni avanzate per BigQuery Connector per SAP non errori e problemi di prestazioni.

Le impostazioni avanzate per BigQuery Connector per SAP vengono applicate al sistema livello e sono comuni a tutte le masse e trasferire le chiavi. Se i parametri delle impostazioni avanzate non vengono modificati, BigQuery Connector for SAP utilizza le impostazioni predefinite.

Per modificare i parametri delle impostazioni avanzate:

  1. Nella GUI di SAP, inserisci la transazione /GOOG/SLT_SETTINGS preceduta da /n:

    /n/GOOG/SLT_SETTINGS

  2. Dal menu a discesa Tabella delle impostazioni nella schermata di avvio per /GOOG/SLT_SETTINGS, seleziona Parametri.

  3. Fai clic sull'icona Esegui. La sezione relativa alla gestione delle impostazioni di BigQuery - Parametri.

  4. Fai clic sull'icona Inserisci riga.

  5. Nella riga visualizzata specifica le seguenti impostazioni:

    1. Nel campo Nome parametro, inserisci il nome del parametro. La descrizione del parametro viene compilata automaticamente.

    2. Nel campo Valore parametro, inserisci un valore.

      Per conoscere i parametri delle impostazioni avanzate, consulta Parametri delle impostazioni avanzate.

  6. Fai clic su Salva.

    Le tue impostazioni avanzate vengono memorizzate come record nell'/GOOG/BQ_PARAM di configurazione automatica e Modificato da, Modificato in data e I campi Modificati alle vengono compilati automaticamente.

Parametri delle impostazioni avanzate

La tabella seguente mostra i parametri delle impostazioni avanzate per BigQuery Connector per SAP.

Nome parametro Descrizione Valore predefinito Valore valido
CHUNK_SIZE_DEF Questa è la dimensione predefinita del blocco di dati di BigQuery Connector per SAP Google Cloud.
Se una dimensione del chunk non viene mantenuta nelle impostazioni, la dimensione predefinita del chunk.		 10.000 Il valore deve rientrare nei limiti di quota di BigQuery.
PERC_REDUC_DEF La riduzione in percentuale della dimensione del blocco.
Se la dimensione dinamica del blocco è abilitata, la dimensione del blocco sarà ridotta di questa percentuale fino al raggiungimento di una dimensione ideale del chunk e i dati nel blocco vengono trasferiti BigQuery correttamente.		 50 Il valore deve essere compreso tra 1 e 99.
CMD_EXEC_TRIES Per i sistemi SAP che non sono in esecuzione su Google Cloud, se operativo comando di sistema creato nella transazione SM69 non riesce a recuperare un token di accesso da Google Cloud, è il numero di volte in cui BigQuery Connector per SAP riprova il recupero del token. 5 Il valore minimo che puoi assegnare a questo parametro è 1. Per facilitare almeno un nuovo tentativo, imposta il valore 2. Il valore massimo di questo parametro deve essere impostato dopo analizzando l'impatto che i tentativi di recupero dei token possono avere delle prestazioni di replica.
CMD_SECS_DEFLT Se hai abilitato la memorizzazione nella cache dei token, questa è la durata secondi dopo i quali scade il token memorizzato nella cache. 3500 Il valore deve essere compreso tra 1 e 3599.