Questa pagina descrive come abilitare la replica in tempo reale dei dati da SAP le applicazioni in Google Cloud utilizzando SAP Landscape Transformation (SLT). La Il contenuto si applica ai modelli SAP SLT Replication e SAP SLT No RFC Replication. disponibili nell'hub di Cloud Data Fusion. Vengono mostrate per SAP Source System, SLT, Cloud Storage e Cloud Data Fusion per:
- Esegui il push dei metadati e delle tabelle SAP in Google Cloud utilizzando SLT SAP.
- Crea un job di replica di Cloud Data Fusion che legga da un bucket Cloud Storage.
La replica SAP SLT ti consente di replicare i tuoi dati in modo continuo e in tempo reale dalle origini SAP in BigQuery. Puoi configurare ed eseguire trasferimenti di dati da SAP senza dover scrivere codice.
Il processo di replica SLT di Cloud Data Fusion è il seguente:
- I dati provengono da un sistema di origine SAP.
- SLT monitora e legge i dati ed esegue il push a Cloud Storage.
- Cloud Data Fusion estrae i dati dal bucket di archiviazione e li scrive in BigQuery.
Puoi trasferire i dati da sistemi SAP supportati, inclusi quelli ospitati da SAP in Google Cloud.
Per ulteriori informazioni, consulta la Panoramica di SAP su Google Cloud. e i dettagli sull'assistenza.
Prima di iniziare
Per utilizzare questo plug-in, devi conoscere il dominio nelle seguenti aree:
- Creazione di pipeline in Cloud Data Fusion
- Gestione degli accessi con IAM
- Configurazione di SAP Cloud e dei sistemi di pianificazione delle risorse aziendali on-premise
Amministratori e utenti che eseguono le configurazioni
Le attività in questa pagina vengono eseguite dalle persone con i seguenti ruoli in Google Cloud o nel loro sistema SAP:
Tipo di utente | Descrizione |
---|---|
Amministratore Google Cloud | Gli utenti a cui è stato assegnato questo ruolo sono amministratori di account Google Cloud. |
Utente Cloud Data Fusion | Gli utenti a cui è stato assegnato questo ruolo sono autorizzati a progettare ed eseguire pipeline di dati. Viene concesso almeno il ruolo Visualizzatore Data Fusion (
roles/datafusion.viewer ). Se utilizzi il controllo dell'accesso basato sui ruoli, potrebbero essere necessari ruoli aggiuntivi.
|
Amministratore SAP | Gli utenti a cui è stato assegnato questo ruolo sono amministratori del sistema SAP. Hanno accesso per scaricare software dal sito del servizio SAP. Non è un ruolo IAM. |
Utente SAP | Gli utenti a cui è stato assegnato questo ruolo sono autorizzati a connettersi a un sistema SAP. Non è un ruolo IAM. |
Operazioni di replica supportate
Il plug-in SAP SLT Replication supporta le seguenti operazioni:
Modellazione dei dati: tutte le operazioni di modellazione dei dati (registra insert
, delete
e
update
) sono supportati da questo plug-in.
Definizione dei dati: come descritto in Nota SAP 2055599 (accesso al supporto SAP richiesto per la visualizzazione), esistono limitazioni riguardo alla fonte le modifiche apportate alla struttura della tabella di sistema vengono replicate automaticamente da SLT. Alcuni dati le operazioni di definizione non sono supportate nel plug-in (devi eseguire manualmente di propagarle).
- Supportato:
- Aggiungi un campo non chiave (dopo aver apportato modifiche in SE11, attiva la tabella utilizzando SE14)
- Non supportato:
- Aggiungere/eliminare il campo della chiave
- Eliminare un campo non chiave
- Modifica i tipi di dati
Requisiti SAP
I seguenti elementi sono obbligatori nel sistema SAP:
- SLT Server versione 2011 SP17 o successiva è installato nell'origine Sistema SAP (incorporato) o come sistema hub SLT dedicato.
- Il tuo sistema SAP di origine è SAP ECC o SAP S/4HANA, che supporta DMIS 2011 SP17 o superiore, ad esempio DMIS 2018, DMIS 2020.
- Il tuo componente aggiuntivo dell'interfaccia utente SAP deve essere compatibile con la versione di SAP Netweaver in uso.
Il tuo pacchetto di assistenza supporta
/UI2/CL_JSON
classePL 12
o successive. In caso contrario, implementa la nota SAP più recente per la classe/UI2/CL_JSON
corrections
in base alla versione del componente aggiuntivo dell'interfaccia utente, ad esempio SAP Nota 2798102 perPL12
.Sono state adottate le seguenti misure di sicurezza:
Requisiti di Cloud Data Fusion
- È necessaria un'istanza Cloud Data Fusion, versione 6.4.0 o successiva, qualsiasi completamente gestita.
- L'account di servizio assegnato all'istanza Cloud Data Fusion è Sono stati concessi i ruoli richiesti (vedi Concessione dell'autorizzazione all'utente con account di servizio).
- Per le istanze private di Cloud Data Fusion, il peering VPC è obbligatorio.
Requisiti di Google Cloud
- Abilitare l'API Cloud Storage nel tuo progetto Google Cloud.
- È necessario concedere all'utente di Cloud Data Fusion l'autorizzazione per creare cartelle nel bucket Cloud Storage (vedi ruoli IAM per Cloud Storage).
- (Facoltativo) Imposta il criterio di conservazione, se necessario dalla tua organizzazione.
Crea il bucket di archiviazione
Prima di creare un job di replica SLT, crea il bucket Cloud Storage. Il job trasferisce i dati nel bucket e aggiorna il bucket gestione temporanea ogni cinque minuti. Quando esegui il job, Cloud Data Fusion legge i dati nel bucket di archiviazione e li scrive in BigQuery.
Se SLT è installato su Google Cloud
Il server SLT deve disporre dell'autorizzazione per creare e modificare Cloud Storage nel bucket che hai creato.
Concedi almeno i seguenti ruoli all'account di servizio:
- Creatore token account di servizio (
roles/iam.serviceAccountTokenCreator
) - Consumer utilizzo dei servizi (
roles/serviceusage.serviceUsageConsumer
) - Amministratore oggetti Storage (
roles/storage.objectAdmin
)
Se SLT non è installato su Google Cloud
Installa Cloud VPN o Cloud Interconnect tra la VM SAP e a Google Cloud per consentire la connessione a un endpoint di metadati interno (vedi Configurare l'accesso privato Google per gli host on-premise.
Se non è possibile mappare i metadati interni:
Installa Google Cloud CLI in base al sistema operativo dell'infrastruttura su cui è in esecuzione SLT.
Creare un account di servizio nel progetto Google Cloud in cui Cloud Storage è abilitato.
Nel sistema operativo SLT, autorizzare l'accesso a Google Cloud con un account di servizio.
Crea una chiave API per l'account di servizio e autorizza lo scopo relativo a Cloud Storage.
Importa la chiave API nell'interfaccia alla gcloud CLI installata in precedenza utilizzando nell'interfaccia a riga di comando.
Per abilitare il comando gcloud CLI che stampa il token di accesso, configurare il comando del sistema operativo SAP nello strumento SM69 di transazione il sistema SLT.
Stampare un token di accesso
L'amministratore SAP configura il comando del sistema operativo SM69
, che recupera un token di accesso da Google Cloud.
Crea uno script per stampare un token di accesso e configurare un sistema operativo SAP
per chiamare lo script come utente <sid>adm
dal server di replica SAP LT
.
Linux
Per creare un comando del sistema operativo:
Nell'host SAP LT Replication Server, in una directory accessibile a
<sid>adm
, crea uno script bash che contenga le seguenti righe:PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME
Utilizzando l'interfaccia utente di SAP, crea un comando del sistema operativo esterno:
- Inserisci la transazione
SM69
. - Fai clic su Crea.
- Nella sezione Comando del riquadro Comando esterno, inserisci il nome del comando, ad esempio
ZGOOGLE_CDF_TOKEN
. Nella sezione Definizione:
- Nel campo Comando del sistema operativo, inserisci
sh
come del file di script. Nel campo Parameters for Operating System Command, inserisci:
/PATH_TO_SCRIPT/FILE_NAME.sh
- Nel campo Comando del sistema operativo, inserisci
Fai clic su Salva.
Per testare lo script, fai clic su Esegui.
Fai di nuovo clic su Esegui.
Viene restituito un token Google Cloud, che viene visualizzato nella parte inferiore della Riquadro dell'interfaccia utente SAP.
- Inserisci la transazione
Windows
Utilizzando l'interfaccia utente SAP, crea un comando del sistema operativo esterno:
- Inserisci la transazione
SM69
. - Fai clic su Crea.
- Nella sezione Comando del riquadro Comando esterno, inserisci il nome del comando, ad esempio
ZGOOGLE_CDF_TOKEN
. Nella sezione Definizione:
- Nel campo Comando del sistema operativo, inserisci
cmd /c
. Nel campo Parameters for Operating System Command, inserisci:
gcloud auth print-access-token SERVICE_ACCOUNT_NAME
- Nel campo Comando del sistema operativo, inserisci
Fai clic su Salva.
Per testare lo script, fai clic su Esegui.
Fai di nuovo clic su Esegui.
Viene restituito un token Google Cloud, che viene visualizzato nella parte inferiore della pagina SAP nel riquadro dell'interfaccia utente.
Requisiti SLT
Il connettore SLT deve avere la seguente configurazione:
- Il connettore supporta SAP ECC NW 7.02, DMIS 2011 SP17 e versioni successive.
- Configurare una connessione RFC o di database tra SLT e il nel sistema di Cloud Storage.
- Configura i certificati SSL:
- Scarica i seguenti certificati CA dal
repository di Google Trust Services:
- GTS Root R1
- GTS CA 1C3
- Nell'interfaccia utente di SAP, utilizza la transazione
STRUST
per importare i certificati principali e secondari nella cartellaSSL Client (Standard) PSE
.
- Scarica i seguenti certificati CA dal
repository di Google Trust Services:
- Internet Communication Manager (ICM) deve essere configurato per HTTPS. Assicurati che
le porte HTTP e HTTPS vengono mantenute e attivate nel sistema SAP SLT.
Può essere verificato mediante il codice transazione
SMICM > Services
. - Abilita l'accesso alle API Google Cloud sulla VM in cui lo SLT SAP in hosting sul sistema. Ciò consente la comunicazione privata ai servizi Google Cloud senza routing tramite la rete internet pubblica.
- Assicurati che la rete possa supportare il volume e la velocità richiesti dei dati e il trasferimento tra l'infrastruttura SAP e Cloud Storage. Per un l'installazione è riuscita, Cloud VPN e/o Cloud Interconnect consigliato. Il throughput dell'API di streaming dipende dalle quote del cliente che sono state concesse al tuo progetto Cloud Storage.
Configurare il server di replica SLT
L'utente SAP esegue questi passaggi.
Nei passaggi seguenti, collegherai il server SLT al sistema di origine e in Cloud Storage, specificando il sistema di origine, le tabelle di dati da replicare e il bucket di archiviazione di destinazione.
Configurare l'SDK Google ABAP
Per configurare SLT per la replica dei dati (una volta per Cloud Data Fusion ), segui questi passaggi:
Per configurare il connettore SLT, l'Utente SAP inserisce quanto segue informazioni nella schermata di configurazione (transazione SAP)
/GOOG/CDF_SETTINGS
) sulla chiave dell'account di servizio Google Cloud per trasferire dati in Cloud Storage. Configura le seguenti proprietà nella tabella /GOOG/CDF_CLT_KY utilizzando la transazione SE16 e prendi nota di questa chiave:- NAME: il nome della chiave dell'account di servizio, ad esempio
CDFSLT
. - NOME ACCOUNT DI SERVIZIO: il nome dell'account di servizio IAM.
- SCOPE: l'ambito dell'account di servizio
- ID PROGETTO: l'ID del tuo progetto Google Cloud
- (Facoltativo) Comando OS EXT: utilizza questo campo solo se SLT non è installato su Google Cloud
CLASSE AUTH: se il comando del sistema operativo è configurato nella tabella
/GOOG/CDF_CLT_KY
, utilizza il valore fisso:/GOOG/CDF_CL_GCP_AUTH
.TOKEN REFRESH SEC: durata dell'aggiornamento del token di autorizzazione
- NAME: il nome della chiave dell'account di servizio, ad esempio
Crea la configurazione della replica
Crea una configurazione di replica nel codice transazione: LTRC
.
- Prima di procedere con la configurazione LTRC, assicurati che la connessione RFC tra SLT e il sistema SAP di origine.
- Per una configurazione SLT, potrebbero essere assegnate più tabelle SAP la replica dei dati.
Vai al codice transazione
LTRC
e fai clic su Nuova configurazione.Inserisci il Nome configurazione e la Descrizione, quindi fai clic su Avanti.
Specifica la connessione RFC del sistema di origine SAP e fai clic su Avanti.
In "Target System Connection Details" (Dettagli connessione sistema di destinazione), seleziona Other (Altro).
Espandi il campo Scenario per comunicazione RFC, seleziona SLT SDK e fai clic su Avanti.
Vai alla finestra Specifica impostazioni di trasferimento e inserisci l'applicazione. nome:
ZGOOGLE_CDF
.Inserisci il Numero di job di trasferimento dati, il Numero di job di caricamento iniziale e il Numero di job di calcolo. Per ulteriori informazioni delle prestazioni, consulta la guida all'ottimizzazione delle prestazioni del server di replica SAP LT.
Fai clic su In tempo reale > Avanti.
Rivedi la configurazione e fai clic su Salva. Tieni presente il trasferimento di massa ID per i passaggi successivi.
Per mantenere l'ID trasferimento collettivo e i dettagli della tabella SAP, esegui la transazione SAP:
/GOOG/CDF_SETTINGS
.Fai clic su Esegui o premi
F8
.Crea una nuova voce facendo clic sull'icona Aggiungi riga.
Inserisci l'ID trasferimento di massa, la chiave del trasferimento di massa, il nome della chiave Google Cloud, e Bucket GCS di destinazione. Seleziona la casella di controllo Is Active (È attivo) e salva. le modifiche.
Seleziona la configurazione nella colonna Configuration Name (Nome configurazione) e fai clic su Provisioning dei dati.
(Facoltativo) Personalizza i nomi della tabella e dei campi.
Fai clic su Nomi personalizzati e salva.
Fai clic su Display.
Crea una nuova voce facendo clic sui pulsanti Aggiungi riga o Crea.
Inserisci il nome della tabella SAP e il nome della tabella esterna da utilizzare in BigQuery e salva le modifiche.
Fai clic sul pulsante Visualizza nella colonna Mostra campi per mantenere la mappatura per i campi della tabella.
Si apre una pagina con le mappature suggerite. (Facoltativo) Modifica il Campo temporaneo Name (Nome) e Field Description (Descrizione campo), quindi salva le mappature.
Vai alla transazione LTRC.
Seleziona il valore nella colonna Nome configurazione e fai clic su Dati Provisioning in corso.
Inserisci il nome della tabella nel campo Nome tabella nel database e seleziona uno scenario di replica.
Fai clic su Execute (Esegui). Questo attiva l'implementazione dell'SDK SLT e avvia trasferire i dati nel bucket di destinazione in Cloud Storage.
Installa i file di trasporto SAP
Per progettare ed eseguire job di replica in Cloud Data Fusion, il SAP vengono forniti come file di trasporto SAP archiviati in un file ZIP. Il download è disponibile quando eseguire il deployment del plug-in nell'hub Cloud Data Fusion.
Scarica il file ZIP del trasporto SLT SAP
Gli ID delle richieste di trasporto SAP e i file associati sono forniti di seguito tabella:
ID trasporto | Archivia | File di dati | Contenuti |
---|---|---|---|
ED1K900520 | K900520.ED1 | R900520.ED1 | Implementazione SAP BADI ES_IUUC_REPL_RUNTIME_OLO_EXIT |
ED1K900337 | K900337.ED1 | R900337.ED1 | Ruolo di autorizzazione /GOOG/SLT_CDF_AUTH |
Per installare i trasporti SAP, segui questi passaggi:
Passaggio 1: carica i file di richiesta di trasporto
- Accedi al sistema operativo dell'istanza SAP.
- Usa il codice transazione SAP
AL11
per ottenere il percorso della cartellaDIR_TRANS
. In genere il percorso è/usr/sap/trans/
. - Copia i cofile nella cartella
DIR_TRANS/cofiles
. - Copia i file di dati nella cartella
DIR_TRANS/data
. - Imposta il campo Utente e gruppo di dati e cofile su
<sid>adm
esapsys
.
Passaggio 2: importa i file di richiesta di trasporto
L'amministratore SAP può importare i file di richiesta di trasporto utilizzando il sistema di gestione del trasporto SAP o il sistema operativo:
Sistema di gestione dei trasporti SAP
- Accedi al sistema SAP come amministratore SAP.
- Inserisci il codice STMS della transazione.
- Fai clic su Panoramica > Importazioni.
- Nella colonna Coda, fai doppio clic sul SID corrente.
- Fai clic su Extra > Altre richieste > Aggiungi.
- Seleziona l'ID richiesta di trasporto e fai clic su Continua.
- Seleziona la richiesta di trasporto nella coda di importazione, quindi fai clic su Richiedi > Importa.
- Inserisci il numero del cliente.
Nella scheda Opzioni, seleziona Sovrascrivi originali e Ignora. Versione componente non valida (se disponibile).
(Facoltativo) Per reimportare i trasporti in un secondo momento, fai clic su Lascia le richieste di trasporto in coda per l'importazione in un secondo momento e Importa di nuovo le richieste di trasporto. Questo è utile per il sistema SAP upgrade e ripristini dei backup.
Fai clic su Continua.
Verificare che il modulo funzione e i ruoli di autorizzazione siano stati importati correttamente utilizzando transazioni come
SE80
ePFCG
.
Sistema operativo
- Accedi al sistema SAP come amministratore SAP.
Aggiungi richieste al buffer di importazione:
tp addtobuffer TRANSPORT_REQUEST_ID SID
Ad esempio:
tp addtobuffer IB1K903958 DD1
Importa le richieste di trasporto:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
Sostituisci
NNN
con il numero del cliente. Ad esempio:tp import IB1K903958 DD1 client=800 U1238
Verificare che il modulo funzione e i ruoli di autorizzazione siano stati importati correttamente utilizzando eventuali transazioni appropriate, come
SE80
ePFCG
.
Autorizzazioni SAP richieste
Per eseguire una pipeline di dati in Cloud Data Fusion, è necessario un utente SAP. Il SAP
l'utente deve essere di tipo Comunicazioni o Finestra di dialogo. Per impedire l'utilizzo della finestra di dialogo SAP
risorse, si consiglia il tipo di comunicazione. Gli utenti possono essere creati
Amministratore con il codice transazione SAP SU01
.
Le autorizzazioni SAP sono necessarie per mantenere e configurare il connettore per SAP, una combinazione di oggetti di autorizzazione dei nuovi connettori e standard SAP. Tu e mantenere gli oggetti di autorizzazione in base ai criteri di sicurezza della propria organizzazione. Il seguente elenco descrive alcune autorizzazioni importanti necessarie per il connettore:
Oggetto autorizzazione: l'oggetto autorizzazione
ZGOOGCDFMT
viene spedito come del ruolo Richiesta di trasporto.Creazione del ruolo: crea un ruolo utilizzando il codice transazione
PFCG
.Per gli oggetti di autorizzazione SAP standard, la tua organizzazione gestisce le autorizzazioni con un proprio meccanismo di sicurezza.
Per gli oggetti di autorizzazione personalizzati, fornisci i valori nei campi di autorizzazione per gli oggetti di autorizzazione
ZGOOGCDFMT
.Per un controllo dell'accesso granulare,
ZGOOGCDFMT
fornisce il gruppo di autorizzazione un'autorizzazione basata su cloud. Utenti con accesso completo, parziale o assente ai ai gruppi di autorizzazione viene fornito l'accesso in base al gruppo assegnate nel proprio ruolo./GOOG/SLT_CDF_AUTH: ruolo con accesso a tutti i gruppi di autorizzazione. Per limitare l'accesso specifico a un determinato gruppo di autorizzazione, mantieni il gruppo di autorizzazione FICDF nella configurazione.
Crea una destinazione RFC per l'origine
Prima di iniziare con la configurazione, assicurati che la connessione RFC sia stabilito tra origine e destinazione.
Vai al codice transazione
SM59
.Fai clic su Crea > Tipo di connessione 3 (connessione ABAP).
Nella finestra Technical Settings, inserisci i dettagli sulla RFC Destinazione.
Fai clic sulla scheda Accesso e sicurezza per gestire le credenziali RFC (RFC) utente e password).
Fai clic su Salva.
Fai clic su Test di connessione. Se il test ha esito positivo, puoi procedere.
Verifica che il test di autorizzazione RFC sia andato a buon fine.
Fai clic su Utilità > Test > Test di autorizzazione.
Configura il plug-in
Per configurare il plug-in, esegui il deployment dall'hub, crea un il job di replica e configurare l'origine e la destinazione con i seguenti passaggi.
Esegui il deployment del plug-in in Cloud Data Fusion
L'utente di Cloud Data Fusion esegue questi passaggi.
Prima di poter eseguire il job di replica di Cloud Data Fusion, esegui il deployment del plug-in di replica SAP SLT:
Vai all'istanza:
Nella console Google Cloud, vai alla pagina Istanze di Cloud Data Fusion .
Abilita la replica in un'istanza nuova o esistente:
- Per una nuova istanza, fai clic su Crea istanza e inserisci un'istanza fai clic su Aggiungi acceleratori, seleziona la colonna Replica casella di controllo e fai clic su Salva.
- Per un'istanza esistente, consulta Abilita la replica su un'istanza esistente.
Fai clic su Visualizza istanza per aprire l'istanza nel Interfaccia web di Cloud Data Fusion.
Fai clic su Hub.
Vai alla scheda SAP, fai clic su SLT SAP e fai clic su Replica SLT SAP Plug-in o SAP SLT No RFC Replication Plugin.
Fai clic su Esegui il deployment.
Crea un job di replica
Il plug-in SAP SLT Replication legge il contenuto delle tabelle SAP utilizzando una Bucket gestione temporanea dell'API Cloud Storage.
Per creare un job di replica per il trasferimento dei dati:
Nell'istanza Cloud Data Fusion aperta, fai clic su Home > Replica > Crea un job di replica. Se non vengono Opzione di Replica, abilita la replica per di Compute Engine.
Inserisci un Nome e una Descrizione univoci per la di replica.
Fai clic su Avanti.
Configura l'origine
Configura l'origine inserendo i valori nei seguenti campi:
- ID progetto: l'ID del tuo progetto Google Cloud (questo campo è precompilati)
Percorso GCS di replica dei dati: il percorso Cloud Storage che contiene dati per la replica. Deve essere lo stesso percorso configurate nei job SLT SAP. Internamente, il percorso fornito è concatenate con
Mass Transfer ID
eSource Table Name
:Formato:
gs://<base-path>/<mass-transfer-id>/<source-table-name>
Esempio:
gs://slt_bucket/012/MARA
GUID: il GUID SLT, un identificatore univoco assegnato a SAP SLT Mass ID trasferimento.
ID trasferimento di massa: l'ID trasferimento di massa SLT è un identificatore univoco e assegnato alla configurazione in SLT SAP.
Percorso GCS della libreria SAP JCo: il percorso di archiviazione che contiene la dei file della libreria SAP JCo caricati dall'utente. Le librerie SAP JCo possono essere scaricate dal SAP Support Portal. (Rimosso nella versione del plug-in 0.10.0.)
Host server SLT: nome host o indirizzo IP del server SLT. (Rimosso in versione plug-in 0.10.0.)
Numero di sistema SAP: il numero del sistema di installazione fornito dal sistema. amministratore (ad es.
00
). (Rimosso nella versione del plug-in 0.10.0.)Client SAP: il client SAP da utilizzare, ad esempio
100
. (Rimosso in versione plug-in 0.10.0.)Lingua SAP: lingua di accesso SAP (ad esempio,
EN
). (Rimosso in versione plug-in 0.10.0.)Nome utente di accesso SAP: il nome utente SAP. (Rimosso nella versione del plug-in 0.10.0.)
- Consigliato: se il nome utente di accesso SAP cambia periodicamente, utilizza una macro.
Password di accesso SAP (M): password utente SAP per l'autenticazione degli utenti.
- Consigliato: utilizza macro sicure per i valori sensibili, come le password. (Rimosso nella versione del plug-in 0.10.0.)
Sospendi la replica SLT quando si interrompe il job CDF: tenta di interrompere il job di replica SLT (per le tabelle interessate) quando si interrompe il job di replica Cloud Data Fusion. Potrebbe non riuscire se il job in Cloud Data Fusion si arresta in modo imprevisto.
Replica dati esistenti: indica se replicare i dati esistenti dalle tabelle di origine. Per impostazione predefinita, i job replicano i dati esistenti dalle tabelle di origine. Se impostato su
false
, tutti i dati esistenti nell'origine vengono ignorate e solo le modifiche che avvengono dopo l'avvio del job vengono replicate.Chiave account di servizio: la chiave da utilizzare durante l'interazione con di archiviazione ideale in Cloud Storage. L'account di servizio deve disporre dell'autorizzazione in scrittura per Cloud Storage. Quando viene eseguito su una VM Google Cloud, deve essere impostato su
auto-detect
per utilizzare l'account di servizio collegato VM.
Fai clic su Avanti.
Configura la destinazione
Per scrivere dati in BigQuery, il plug-in richiede l'accesso in scrittura sia a BigQuery sia a un bucket di staging. Gli eventi di modifica vengono prima scritti in batch da SLT a di archiviazione ideale in Cloud Storage. Vengono quindi caricati in tabelle di gestione temporanea in BigQuery. Le modifiche apportate dalla tabella di gestione temporanea vengono unite tabella di destinazione finale utilizzando una query di unione di BigQuery.
La tabella di destinazione finale include tutte le colonne originali della tabella di origine più una colonna _sequence_num
aggiuntiva. Il numero di sequenza garantisce che i dati non vengano duplicati o persi in scenari di errore del replicatore.
Configura l'origine inserendo i valori nei seguenti campi:
- ID progetto: progetto del set di dati BigQuery. Durante l'esecuzione su un cluster Dataproc, questo campo può essere lasciato vuoto, utilizzando a livello di progetto del cluster.
- Credenziali: consulta Credenziali.
- Chiave account di servizio: i contenuti della chiave dell'account di servizio da utilizzare quando interagisci con Cloud Storage e BigQuery. Quando viene eseguito su un cluster Dataproc, questo campo deve essere lasciato vuoto, poiché viene utilizzato l'account di servizio del cluster.
- Nome set di dati: nome del set di dati da creare in BigQuery. È facoltativo e, per impostazione predefinita, il nome del set di dati è uguale al nome del database di origine. Un nome valido deve contenere solo lettere, numeri e trattini bassi e la lunghezza massima può essere di 1024 caratteri. Qualsiasi verranno sostituiti con un trattino basso nel nome finale del set di dati. tutti i caratteri che superano il limite di lunghezza vengono troncati.
- Encryption Key Name (Nome chiave di crittografia): la chiave di crittografia gestita dal cliente (CMEK) utilizzata per
proteggere le risorse create da questa destinazione. Il nome della chiave di crittografia deve essere
del modulo,
projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>
. - Località: la località in cui si trovano il set di dati BigQuery
il bucket gestione temporanea Cloud Storage viene creato. Ad esempio,
us-east1
per i bucket a livello di regione,us
per i bucket multiregionali (vedi Località). Questo valore viene ignorato se una delle sia specificato, come bucket gestione temporanea e BigQuery vengono creati nella stessa località del bucket. Bucket temporaneo: il bucket in cui gli eventi di modifica vengono scritti prima della loro vengono caricati in tabelle temporanee. Le modifiche vengono scritte in una directory contiene il nome e lo spazio dei nomi del replicatore. Puoi usare lo stesso bucket in sicurezza più replicatori all'interno della stessa istanza. Se è condiviso da replicatori su più istanze, assicurati che lo spazio dei nomi e il nome siano univoci, altrimenti il comportamento è indefinito. Il bucket deve trovarsi nello stesso località come set di dati BigQuery. Se non viene specificato, viene generato viene creato un bucket per ogni job denominato
df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>
.Intervallo di caricamento (secondi): il numero di secondi da attendere prima di caricare un batch di dati in BigQuery.
Prefisso della tabella temporanea: le modifiche vengono scritte in una tabella temporanea prima unito alla tabella finale. I nomi delle tabelle temporanee vengono generati dall'aggiunta questo prefisso al nome della tabella di destinazione.
Richiedi intervento manuale di abbandono: indica se richiedere l'intervento manuale azione amministrativa per eliminare tabelle e set di dati quando viene eliminato o eliminato una tabella si verifica un evento di database. Se impostato su true, il replicatore non o eliminare una tabella o un set di dati. ma non riesce e riprova finché la tabella o il set di dati non esiste. Se il set di dati o la tabella non esiste, è necessario un intervento manuale. L'evento viene ignorato normalmente.
Abilita eliminazioni temporanee: se il criterio è impostato su true, quando viene ricevuto un evento di eliminazione dal target, la colonna
_is_deleted
del record viene impostata sutrue
. In caso contrario, il record viene eliminato dalla tabella BigQuery. Questa configurazione non è operativa per un'origine che genera eventi non in ordine e i record vengono sempre eliminati temporaneamente dalla tabella BigQuery.
Fai clic su Avanti.
Credenziali
Se il plug-in viene eseguito su un cluster Dataproc, l'account di servizio deve essere impostata sul rilevamento automatico. Le credenziali vengono lette automaticamente dall'ambiente del cluster.
Se il plug-in non viene eseguito su un cluster Dataproc, il percorso di è necessario specificare la chiave dell'account di servizio. La chiave dell'account di servizio è disponibile in nella pagina IAM della console Google Cloud. Assicurati che la chiave dell'account abbia l'autorizzazione per accedere a BigQuery. Il file della chiave dell'account di servizio devono essere disponibili su tutti i nodi del tuo cluster e devono essere leggibili da tutti dagli utenti che eseguono il job.
Limitazioni
- Le tabelle devono avere una chiave primaria per essere replicate.
- Le operazioni di ridenominazione delle tabelle non sono supportate.
- Le alterazioni delle tabelle sono supportate parzialmente.
- Una colonna esistente che non supporta valori null può essere modificata in una colonna con valori null.
- Puoi aggiungere nuove colonne con valori null a una tabella esistente.
- Qualsiasi altro tipo di modifica dello schema della tabella non andrà a buon fine.
- Le modifiche alla chiave primaria non avranno esito negativo, ma i dati esistenti non saranno riscritto per rispettare l'univocità della nuova chiave primaria.
Seleziona tabelle e trasformazioni
Nel passaggio Seleziona tabelle e trasformazioni, viene visualizzato un elenco di tabelle selezionate per nel sistema SLT.
- Seleziona le tabelle da replicare.
- (Facoltativo) Seleziona altre operazioni dello schema, come Inserts (Inserimenti), Aggiornamenti o Eliminazioni.
- Per visualizzare lo schema, fai clic su Colonne da replicare per una tabella.
(Facoltativo) Per rinominare le colonne nello schema:
- Mentre visualizzi lo schema, fai clic su Trasforma > Rinomina.
- Nel campo Rinomina, inserisci un nuovo nome e fai clic su Applica.
- Per salvare il nuovo nome, fai clic su Aggiorna e Salva.
Fai clic su Avanti.
(Facoltativo) Configurare le proprietà avanzate
Se conosci la quantità di dati che stai replicando in un'ora, puoi seleziona l'opzione appropriata.
Rivedi valutazione
Il passaggio Rivedi la valutazione analizza la presenza di problemi dello schema, funzionalità mancanti oppure che si verificano durante la replica.
Nella pagina Esamina valutazione, fai clic su Visualizza mappature.
Se si verificano problemi, devi risolverli prima di poter procedere.
(Facoltativo) Se hai rinominato le colonne quando hai selezionato le tabelle e trasformazioni, verifica che in questo passaggio i nuovi nomi siano corretti.
Fai clic su Avanti.
Visualizza il riepilogo ed esegui il deployment del job di replica
Nella pagina Rivedi i dettagli del job di replica, rivedi le impostazioni e fai clic su Esegui il deployment del job di replica.
Seleziona un profilo Compute Engine
Dopo aver eseguito il deployment del job di replica, fai clic su Configura da qualsiasi pagina nell'interfaccia web di Cloud Data Fusion.
Seleziona il profilo Compute Engine da utilizzare per eseguire questo di replica.
Fai clic su Salva.
Avvia il job di replica
- Per eseguire il job di replica, fai clic su Avvia.
(Facoltativo) Ottimizza il rendimento
Per impostazione predefinita, il plug-in è configurato in modo da garantire prestazioni ottimali. Per ulteriori ottimizzazioni, consulta Argomenti di runtime.
Le prestazioni delle comunicazioni SLT e Cloud Data Fusion dipendono questi fattori:
- SLT sul sistema di origine rispetto a un sistema SLT centrale dedicato (preferito )
- Elaborazione dei job in background sul sistema SLT
- Processi di lavoro della finestra di dialogo sul sistema SAP di origine
- Il numero di processi del job in background allocati a ciascun ID trasferimento di massa in Scheda Amministrazione LTRC
- Impostazioni LTRS
- Hardware (CPU e memoria) del sistema SLT
- Il database utilizzato (ad esempio: HANA, Sybase o DB2)
- La larghezza di banda internet (connettività tra il sistema SAP e Google Cloud su internet)
- Utilizzo preesistente (carico) sul sistema
- Il numero di colonne nella tabella. Con un numero maggiore di colonne, la replica diventa lenta e la latenza può aumentare.
Per i caricamenti iniziali sono consigliati i seguenti tipi di lettura nelle impostazioni LTRS:
Sistema SLT | Sistema di origine | Tipo di tabella | Tipo di lettura consigliato [caricamento iniziale] |
---|---|---|---|
SLT 3.0 autonoma [DMIS 2018_1_752 SP 2] |
S/4 HANA 1909 | Trasparente (piccolo/medio) Trasparente (grandi) Tabella cluster |
Calcolo dell'intervallo: 1 Calcolo dell'intervallo: 1 Coda di 4 mittenti |
SLT incorporato [S4CORE 104 HANA 1909] |
N/D | Trasparente (piccole/medie) Trasparente (grandi) Tabella cluster |
Calcolo dell'intervallo: 1 Calcolo dell'intervallo: 1 Coda di 4 mittenti |
SLT 2.0 autonomo [DMIS 2011_1_731 SP 17] |
ECC NW 7.02 | Trasparente (piccole/medie) Trasparente (grandi) Tabella cluster |
5 mittenti in coda 5 mittenti in coda Coda di 4 mittenti |
SLT incorporato [DMIS 2011_1_700 SP 17] |
N/D | Trasparente (piccolo/medio) Trasparente (grandi) Tabella cluster |
5 mittenti in coda 5 mittenti in coda Coda di 4 mittenti |
- Per la replica, utilizza Nessun intervallo per migliorare le prestazioni:
- Gli intervalli devono essere utilizzati solo quando vengono generati backlog in una tabella di logging con elevata latenza.
- Utilizzando un calcolo di intervallo: il tipo di lettura per il caricamento iniziale non è consigliato in nel caso di sistemi SLT 2.0 e non HANA.
- Utilizzando un calcolo di intervallo: il tipo di lettura per il caricamento iniziale potrebbe comportare duplicati in BigQuery.
- Le prestazioni sono sempre migliori quando si utilizza un sistema SLT autonomo.
- È sempre consigliato un sistema SLT autonomo se l'utilizzo delle risorse il sistema di origine è già alto.
Argomenti di runtime
snapshot.thread.count
: passa il numero di thread da cui iniziare eseguire un caricamento di datiSNAPSHOT/INITIAL
in parallelo. Per impostazione predefinita, utilizza di vCPU disponibili nel cluster Dataproc in cui durante l'esecuzione del job di replica.Opzione consigliata: imposta questo parametro solo nei casi in cui hai bisogno di un controllo preciso rispetto al numero di thread paralleli (ad esempio, per ridurre l'utilizzo su ).
poll.file.count
: passa il numero di file da sottoporre a polling dal Percorso Cloud Storage fornito nel percorso GCS della replica dei dati dell'interfaccia web. Per impostazione predefinita, il valore è500
per sondaggio, tuttavia aumenta o diminuisce in base alla configurazione del cluster.Consigliato: imposta questo parametro solo se hai requisiti rigorosi per il ritardo di replica. Valori più bassi potrebbero ridurre il ritardo. Puoi utilizzarlo per migliorare il throughput (se non risponde, utilizza valori superiori a quello predefinito).
bad.files.base.path
: trasmette il percorso di base di Cloud Storage in cui vengono copiati tutti gli errori o i file di dati difettosi trovati durante la replica dei dati. Questo è utile quando esistono requisiti rigorosi per i dati e una località specifica devono essere utilizzati per registrare gli errori trasferimenti.Per impostazione predefinita, tutti i file difettosi vengono copiati dalla directory Cloud Storage percorso fornito nel campo Percorso Cloud Storage per la replica di dati nell'interfaccia web.
Pattern del percorso finale dei file di dati con errori:
gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME
Esempio:
gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8 ac0640fc83c/20220205_1901205168830_DATA_INIT.xml
I criteri per un file non valido sono un file XML danneggiato o non valido, valori PK mancanti o un problema di mancata corrispondenza del tipo di dati di campo.
Dettagli dell'assistenza
Prodotti e versioni SAP supportati
- Rilascio SAP_BASIS 702, livello SP 0016 e successivi.
- Release SAP_ABA 702, livello SP 0016 e versioni successive.
- Rilascio DMIS 2011_1_700, livello SP 0017 e successivi.
Versioni di SLT supportate
Sono supportate le versioni 2 e 3 di SLT.
Modelli di deployment SAP supportati
SLT come sistema autonomo o incorporato nel sistema di origine.
Note SAP che devono essere implementate prima di iniziare a utilizzare SLT
Se il tuo pacchetto di assistenza non include correzioni della classe /UI2/CL_JSON
per PL
12 o versioni successive, implementa la nota SAP più recente per le correzioni della classe /UI2/CL_JSON
,
ad esempio la nota SAP 2798102 per PL12.
Opzione consigliata: implementa le note SAP consigliate dal report
CNV_NOTE_ANALYZER_SLT
in base alla condizione del sistema centrale o di origine. Per
ulteriori informazioni, vedi
Nota SAP 3016862
(è richiesto l'accesso a SAP).
Se SAP è già configurato, non è necessario specificare implementate. Per eventuali errori o problemi specifici, consulta central SAP Note per il tuo Rilasciare SLT.
Limiti per il volume di dati o la larghezza dei record
Non esiste un limite definito per il volume di dati estratti e la larghezza del record.
Velocità effettiva prevista per il plug-in SAP SLT Replication
Per un ambiente configurato in base alle linee guida in Ottimizza le prestazioni, il plug-in può estrarre intorno 13 GB all'ora per il caricamento iniziale e 3 GB all'ora per la replica (CDC). Le prestazioni effettive potrebbero variare con Cloud Data Fusion e il sistema SAP carico di lavoro o traffico di rete.
Supporto per l'estrazione delta (dati modificati) SAP
L'estrazione delta delta SAP è supportata.
Obbligatorio: peering tenant per istanze Cloud Data Fusion
Il peering tenant è obbligatorio quando l'istanza Cloud Data Fusion vengono creati con un indirizzo IP interno. Per ulteriori informazioni sul peering tenant, consulta la sezione Creazione di un'istanza privata.
Risoluzione dei problemi
Il job di replica continua a riavviarsi
Se il job di replica continua a riavviarsi automaticamente, aumenta il memoria del cluster di job di replica ed esegui nuovamente di replica.
Duplicati nel sink di BigQuery
Se definisci il numero di job paralleli nelle impostazioni avanzate del Plug-in SAP SLT Replication: quando le tabelle sono di grandi dimensioni, si verifica un errore causando colonne duplicate nel sink di BigQuery.
Per evitare il problema, rimuovi i job paralleli per caricare i dati.
Scenari di errore
Nella tabella seguente sono elencati alcuni messaggi di errore comuni (il testo tra virgolette sarà sostituiti da valori effettivi al momento dell'attivazione):
ID messaggio | Messaggio | Azione consigliata |
---|---|---|
CDF_SAP_SLT_01402 |
Service account type is not defined for
SERVICE_ACCT_NAME_FROM_UI. |
Assicurati che il percorso Cloud Storage fornito sia corretto. |
CDF_SAP_SLT_01403 |
Service account key provided is not valid due to error:
ROOT_CAUSE. Please provide a valid service account key for
service account type : SERVICE_ACCT_NAME_FROM_UI. |
Controlla la causa principale visualizzata nel messaggio e adotta le misure necessarie un'azione. |
CDF_SAP_SLT_01404 |
Mass Transfer ID could not be found. Please ensure that it exists
in given GCS Bucket. |
Verifica che l'ID trasferimento di massa specificato sia nel formato corretto. |
CDF_SAP_SLT_01502 |
The specified data replication GCS path 'slt_to_cdf_bucket_1' or
Mass Transfer ID '05C' could not be found. Please ensure that it exists in
GCS. |
Assicurati che il percorso Cloud Storage fornito sia corretto. |
CDF_SAP_SLT_01400 |
Metadata file not found. The META_INIT.json file is not present or
file is present with invalid format. |
Controlla la causa principale visualizzata nel messaggio e adotta le misure necessarie un'azione. |
CDF_SAP_SLT_03408 |
Failed to start the event reader. |
Controlla la causa principale visualizzata nel messaggio e adotta le misure necessarie un'azione. |
CDF_SAP_SLT_03409 |
Error while processing TABLE_NAME file for source table
gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME
/FILE_NAME. Root cause: ROOT_CAUSE. |
Controlla la causa principale visualizzata nel messaggio e adotta le misure necessarie un'azione. |
CDF_SAP_SLT_03410 |
Failed to replicate data for source table TABLE_NAME
from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/
TABLE_NAME/FILE_NAME. Root cause:
ROOT_CAUSE. |
Controlla la causa principale visualizzata nel messaggio e adotta le misure necessarie un'azione. |
CDF_SAP_SLT_03411 |
Failed data replication for source table TABLE_NAME.
Root cause: ROOT_CAUSE. |
Controlla la causa principale visualizzata nel messaggio e intervieni in modo appropriato. |
CDF_SAP_SLT_03412 |
Failed to create target table for source table
TABLE_NAME. Root cause: ROOT_CAUSE. |
Controlla la causa principale visualizzata nel messaggio e intervieni di conseguenza. |
Mappatura dei tipi di dati
La tabella seguente mostra la mappatura tra i tipi di dati utilizzati in SAP applicazioni e Cloud Data Fusion.
Tipo di dati SAP | Tipo di ABAP | Descrizione (SAP) | Tipo di dati di Cloud Data Fusion |
---|---|---|---|
Numerico | |||
INT1 | b | Numero intero a 1 byte | int |
INT2 | s | Numero intero a 2 byte | int |
INT4 | i | Intero a 4 byte | int |
INT8 | 8 | Numero intero a 8 byte | long |
DIC | p | Numero pacchettizzato in formato BCD (DEC) | decimal |
DF16_DEC DF16_RAW |
a | Virgola mobile decimale a 8 byte IEEE 754r | decimal |
DF34_DEC DF34_RAW |
e | IEEE 754r a virgola mobile decimale a 16 byte | decimal |
FLTP | f | Numero con rappresentazione in virgola mobile binaria | double |
Carattere | |||
CHAR CHR |
c | Stringa di caratteri | string |
SEGNAPOSTO GEOM_EWKB |
string | Stringa di caratteri | string |
STRINGA GEOM_EWKB |
string | Stringa di caratteri CLOB | bytes |
NUMC ACCP |
n | Testo numerico | string |
Byte | |||
RAW LRAW |
x | Dati binari | bytes |
SEGNALAZIONE | xstring | Stringa byte BLOB | bytes |
Data/Ora | |||
DAT | g | Data | date |
Tempo | t | Ora | time |
TIMESTAMP | utcl | ( Utclong ) TimeStamp |
timestamp |
Passaggi successivi
- Scopri di più su Cloud Data Fusion.
- Scopri di più su SAP su Google Cloud.