Queste istruzioni mostrano come configurare una soluzione per la replica dei dati da applicazioni SAP, come SAP S/4HANA o SAP Business Suite, BigQuery mediante il server di replica SAP Landscape Transformation (LT) e SAP Data Services (DS).
Puoi utilizzare la replica dei dati per eseguire il backup dei dati SAP quasi in tempo reale o per consolidare i dati dei tuoi sistemi SAP con i dati dei consumatori provenienti da altri sistemi in BigQuery per ricavare insight dal machine learning per l'analisi dei dati su scala petabyte.
Le istruzioni sono destinate agli amministratori di sistema SAP che hanno un'esperienza di base con la configurazione di SAP Basis, SAP LT Replication Server, SAP DS e Google Cloud.
Architettura
SAP LT Replication Server può fungere da fornitore di dati per il framework ODP (Operational Data Provisioning) di SAP NetWeaver. SAP LT Replication Server riceve i dati dai sistemi SAP collegati e li memorizza nel framework ODP in una coda delta operativa (ODQ) del sistema SAP LT Replication Server. Pertanto, SAP LT Replication Server a sua volta funge anche da destinazione le configurazioni di SAP LT Replication Server. La Il framework ODP rende i dati disponibili come oggetti ODP che corrispondono tabelle di sistema di origine.
Il framework ODP supporta scenari di estrazione e replica per vari scegliere come target le applicazioni SAP, note come sottoscrittori. Gli iscritti recuperano i dati dalla coda delta per ulteriori elaborazioni.
I dati vengono replicati non appena un sottoscrittore li richiede da un'origine dati tramite un contesto ODP. Più sottoscrittori possono utilizzare la stessa ODQ come origine.
SAP LT Replication Server sfrutta il supporto del rilevamento dei dati modificati (CDC) di SAP Data Services 4.2 SP1 o versioni successive, che include il provisioning dei dati in tempo reale e funzionalità delta per tutte le tabelle di origine.
Il seguente diagramma spiega il flusso di dati attraverso i sistemi:
- Le applicazioni SAP aggiornano i dati nel sistema di origine.
- SAP SAP LT Replication Server replica le modifiche dei dati e archivia i dati nella coda delta operativa.
- SAP DS è abbonato alla coda delta operativa e periodicamente il polling della coda per le modifiche ai dati.
- SAP DS recupera i dati dalla coda delta, li trasforma in essere compatibile con il formato BigQuery e avviare il caricamento che sposterà i dati in BigQuery.
- I dati sono disponibili in BigQuery per l'analisi.
In questo scenario, il sistema di origine SAP, SAP LT Replication Server e SAP Data Services possono essere in esecuzione su Google Cloud o meno. Per ulteriori informazioni da SAP, consulta Provisioning di dati operativi in tempo reale con SAP Landscape Transformation Replication Server.
Componenti principali della soluzione
Per replicare i dati dalle applicazioni SAP su BigQuery utilizzando SAP Landscape Transformation Replication Server e SAP Data Services, sono necessari i seguenti componenti:
| Componente | Versioni obbligatorie | Note |
|---|---|---|
| Stack del server delle applicazioni SAP | Qualsiasi sistema SAP basato su ABAP a partire da R/3 4.6C SAP_Basis (Requisito minimo):
|
In questa guida, il server delle applicazioni e il server del database sono
collettivo
chiamato sistema di origine, anche se sono in esecuzione su
macchine diverse. Definisci l'utente RFC con l'autorizzazione appropriata (Facoltativo) Definisci uno spazio tabella separato per le tabelle di log |
| Sistema di database (DB) | Qualsiasi versione del database indicata come supportata nella tabella di disponibilità dei prodotti SAP (PAM), soggetta a eventuali limitazioni dello stack SAP NetWeaver elencate nella PAM. Visita la pagina service.sap.com/pam. | |
| Sistema operativo | Qualsiasi versione del sistema operativo elencata come supportata in SAP PAM, a qualsiasi Limitazioni dello stack SAP NetWeaver elencati in PAM. Consulta: service.sap.com/pam. | |
| SAP Data Migration Server (DMIS) | DMIS:
|
|
| SAP Landscape Transformation Replication Server | SAP LT Replication Server 2.0 o versioni successive | Richiede una connessione RFC al sistema di origine. La definizione delle dimensioni del sistema SAP LT Replication Server dipende molto dalla quantità di dati archiviati in ODQ e dai periodi di conservazione pianificati. |
| SAP Data Services | SAP Data Services 4.2 SP1 o versioni successive | |
| BigQuery | N/D |
Costi
BigQuery è un componente Google Cloud fatturabile.
Utilizza il Calcolatore prezzi per generare una stima dei costi in base all'utilizzo previsto.
Prerequisiti
Queste istruzioni presuppongono che il server delle applicazioni SAP, il server di database SAP LT Replication Server e SAP Data Services sono già installati e configurato per il normale funzionamento.
Per poter utilizzare BigQuery, è necessario Google Cloud progetto.
Configura un progetto Google Cloud in Google Cloud
Devi abilitare l'API BigQuery e, se non hai ancora creato un progetto Google Cloud, devi farlo anche.
Crea progetto Google Cloud
Vai alla console Google Cloud e registrati seguendo la procedura guidata di configurazione.
Accanto al logo di Google Cloud nell'angolo in alto a sinistra, fai clic sul menu a discesa e seleziona Crea progetto.
Assegna un nome al progetto e fai clic su Crea.
Dopo la creazione del progetto (nella parte superiore viene visualizzata una notifica a destra), aggiorna la pagina.
Abilita API
Abilita l'API BigQuery:
Crea un account di servizio
L'account di servizio (in particolare il relativo file di chiavi) viene utilizzato per autenticare SAP DS in BigQuery. Potrai utilizzare il file della chiave in un secondo momento, quando crea il datastore di destinazione.
Nella console Google Cloud, vai alla pagina Account di servizio.
Selezionare il tuo progetto Google Cloud.
Fai clic su Crea account di servizio.
Inserisci un nome account di servizio.
Fai clic su Crea e continua.
Nell'elenco Seleziona un ruolo, scegli BigQuery > Editor dati BigQuery.
Fai clic su Aggiungi un altro ruolo.
Nell'elenco Seleziona un ruolo, scegli BigQuery > Utente job BigQuery.
Fai clic su Continua.
Se necessario, concedi ad altri utenti l'accesso all'account di servizio.
Fai clic su Fine.
Nella pagina Account di servizio della console Google Cloud, fai clic sull'indirizzo email dell'account di servizio appena creato.
Sotto il nome dell'account di servizio, fai clic sulla scheda Chiavi.
Fai clic sul menu a discesa Aggiungi chiave, quindi seleziona Crea nuova chiave.
Assicurati che sia specificato il tipo di chiave JSON.
Fai clic su Crea.
Salva il file della chiave scaricato automaticamente in una posizione sicura.
Configurazione della replica tra le applicazioni SAP e BigQuery
La configurazione di questa soluzione include i seguenti passaggi di alto livello:
- Configurazione di SAP LT Replication Server
- Configurazione di SAP Data Services
- Creazione del flusso di dati tra SAP Data Services e BigQuery
Configurazione di SAP Landscape Transformation Replication Server
I passaggi che seguono configurano SAP LT Replication Server in modo che agisca come fornitore all'interno del framework di provisioning dei dati operativi e creano una coda delta operativa. In questa configurazione, SAP LT Replication Server utilizza le reti basate su trigger per copiare i dati dal sistema SAP di origine nelle tabelle nel delta in coda. SAP Data Services, che agisce come sottoscrittore nel framework ODP, recupera i dati dalla coda delta, li trasforma e li carica in BigQuery.
Configura la coda delta operativa (ODQ)
- In SAP LT Replication Server, utilizza la transazione
SM59per creare una destinazione RFC per il sistema di applicazioni SAP che è l'origine dati. - In SAP LT Replication Server, utilizza la transazione
LTRCper creare una configurazione. Nella configurazione, definisci l'origine e la destinazione del SAP LT Replication Server. L'obiettivo del trasferimento di dati tramite ODP è la SAP LT Replication Server.- Per specificare l'origine, inserisci la destinazione RFC per il sistema di applicazioni SAP da utilizzare come origine dati.
- Per specificare il target:
- Inserisci NONE come connessione RFC.
- Scegli Scenario di replica ODQ per la comunicazione con la RFC. In questo scenario, specifica che i dati vengono trasferiti utilizzando l'infrastruttura di provisioning dei dati operativi con code delta operative.
- Assegna un alias alla coda.
L'alias di coda viene utilizzato in SAP Data Services per il contesto ODP dell'origine dati dell'ambientazione.
Configurazione di SAP Data Services
Crea un progetto di servizi dati
- Apri l'applicazione SAP Data Services Designer.
- Vai su File > Nuovo > Progetto.
- Specifica un nome nel campo Nome progetto.
- In Repository dei servizi dati, seleziona il repository dei servizi dati.
- Fai clic su Fine. Il progetto viene visualizzato in Esplora progetti a sinistra.
SAP Data Services si connette ai sistemi di origine per raccogliere i metadati all'agente SAP Replication Server per recuperare la configurazione e apportare e i dati di Google Cloud.
Crea un datastore di origine
I passaggi che seguono creano una connessione a SAP LT Replication Server e aggiungono le tabelle di dati al nodo del datastore applicabile nella libreria di oggetti di Designer.
Per utilizzare SAP LT Replication Server con SAP Data Services, devi collegare SAP Data Services alla coda delta operativa corretta in ODP collegando un datastore all'infrastruttura ODP.
- Apri l'applicazione SAP Data Services Designer.
- Fai clic con il tasto destro del mouse sul nome del progetto SAP Data Services in Esplora progetti.
- Seleziona Nuovo > DataStore.
- Inserisci Nome datastore. ad esempio DS_SLT.
- Nel campo Tipo di data store, seleziona Applicazioni SAP.
- Nel campo Nome server applicazioni, fornisci il nome dell'istanza di SAP LT Replication Server.
- Specifica le credenziali di accesso al SAP LT Replication Server.
- Apri la scheda Advanced (Avanzate).
- In Contesto ODP,inserisci SLT~ALIAS, dove ALIAS è la coda specificato in Configurare la coda del delta operativo (ODQ).
- Fai clic su OK.
Il nuovo data store viene visualizzato nella scheda Data store della libreria di oggetti locale in Designer.
Crea il datastore di destinazione
Questi passaggi creano un datastore BigQuery che utilizza il servizio creato in precedenza Crea un account di servizio . L'account di servizio consente a SAP Data Services di accedere in modo sicuro in BigQuery.
Per ulteriori informazioni, consulta Ottenere l'indirizzo email dell'account di servizio Google e Ottenere un file della chiave privata dell'account di servizio Google nella documentazione di SAP Data Services.
- Apri l'applicazione SAP Data Services Designer.
- Fai clic con il tasto destro del mouse sul nome del progetto SAP Data Services in Esplora progetti.
- Seleziona Nuovo > DataStore.
- Compila il campo Nome. ad esempio BQ_DS.
- Fai clic su Avanti.
- Nel campo Tipo di datastore, seleziona Google BigQuery.
- Viene visualizzata l'opzione URL servizio web. Il software esegue automaticamente completa l'opzione con l'URL del servizio web BigQuery predefinito.
- Seleziona Avanzate.
- Completa le opzioni avanzate in base alle descrizioni delle opzioni del data store per BigQuery nella documentazione di SAP Data Services.
- Fai clic su OK.
Il nuovo datastore viene visualizzato nella scheda Datastore nell'oggetto locale di Designer libreria.
Importa gli oggetti ODP di origine per la replica
Questi passaggi importano gli oggetti ODP dal datastore di origine per i caricamenti iniziali e delta e li rendono disponibili in SAP Data Services.
- Apri l'applicazione SAP Data Services Designer.
- Espandi il datastore di origine per il carico di replica in Explorer progetti.
- Seleziona l'opzione Metadati esterni nella parte superiore della riquadro a destra. Viene visualizzato l'elenco dei nodi con tabelle e oggetti ODP disponibili.
- Fai clic sul nodo degli oggetti ODP per recuperare l'elenco di ODP disponibili. di oggetti strutturati. La visualizzazione dell'elenco potrebbe richiedere molto tempo.
- Fai clic sul pulsante Cerca.
- Nella finestra di dialogo, seleziona Dati esterni nel menu Cerca e Oggetto ODP nel menu Tipo di oggetto.
- Nella finestra di dialogo Cerca, seleziona i criteri di ricerca per filtrare l'elenco oggetti ODP di origine.
- Seleziona l'oggetto ODP da importare dall'elenco.
- Fai clic con il tasto destro del mouse e seleziona l'opzione Importa.
- Inserisci il nome del consumatore.
- Inserisci il Nome del progetto.
- Seleziona l'opzione Acquisizione dei dati modificati (CDC) in Modalità di estrazione.
- Fai clic su Importa. Viene avviata l'importazione dell'oggetto ODP in Data Services. L'oggetto ODP è ora disponibile nella raccolta di oggetti nel nodo DS_SLT.
Per ulteriori informazioni, vedi Importazione dei metadati di origine ODP nella documentazione di SAP Data Services.
Creare un file di schema
Questi passaggi creano un flusso di dati in SAP Data Services per generare un file di schema che riflette la struttura delle tabelle di origine. In un secondo momento, utilizzerai il file dello schema per creare una tabella BigQuery.
Lo schema garantisce che il flusso di dati del caricatore BigQuery venga compilato correttamente la nuova tabella BigQuery.
Creare un flusso di dati
- Apri l'applicazione SAP Data Services Designer.
- Fai clic con il tasto destro del mouse sul nome del progetto SAP Data Services in Esplora progetti.
- Seleziona Progetto > Nuovo > Flusso di dati.
- Compila il campo Nome. Ad esempio, DF_BQ.
- Fai clic su Fine.
Aggiornare la raccolta di oggetti
- Fai clic con il tasto destro del mouse sul datastore di origine per il caricamento iniziale in Project Explorer e seleziona l'opzione Aggiorna libreria di oggetti. Questa operazione aggiorna elenco di tabelle di database dell'origine dati che puoi utilizzare nel flusso di dati.
Creare il flusso di dati
- Crea il tuo flusso di dati trascinando le tabelle di origine nell'area di lavoro del flusso di dati e scegliendo Importa come origine quando richiesto.
- Nella scheda Trasformazioni della libreria di oggetti, trascina un file XML_Map. o trasformare dal nodo Platform i al flusso di dati e scegliere Caricamento in batch quando richiesto.
- Collega tutte le tabelle di origine nello spazio di lavoro alla trasformazione della mappa XML.
- Apri la trasformazione mappa XML e completa le sezioni dello schema di input e output in base ai dati che includi nella tabella BigQuery.
- Fai clic con il tasto destro del mouse sul nodo XML_Map nella colonna Schema Out e seleziona Genera uno schema di Google BigQuery dal menu a discesa.
- Inserisci un nome e una posizione per lo schema.
- Fai clic su Salva.
- Fai clic con il tasto destro del mouse sul flusso di dati in Esplora progetti e seleziona Rimuovi.
SAP Data Services genera un file di schema con estensione del file .json.
crea le tabelle BigQuery
Devi creare tabelle nel tuo set di dati BigQuery Google Cloud sia per il caricamento iniziale che per i caricamenti delta. Puoi utilizzare schemi che hai creato in SAP Data Services per creare le tabelle.
La tabella per il caricamento iniziale viene utilizzata per la replica iniziale dell'intero del set di dati di origine. La tabella per i caricamenti delta viene utilizzata per la replica delle modifiche nel set di dati di origine che si verificano dopo il caricamento iniziale. Le tabelle sono in base allo schema generato nel passaggio precedente. La tabella per i caricamenti delta include un campo timestamp aggiuntivo che identifica l'ora di ciascun caricamento delta.
Crea una tabella BigQuery per il caricamento iniziale
Questi passaggi creano una tabella per il caricamento iniziale in BigQuery del set di dati.
- Accedi al tuo progetto Google Cloud nella console Google Cloud.
- Seleziona BigQuery.
- Fai clic sul set di dati applicabile.
- Fai clic su Crea tabella.
- Inserisci un nome per la tabella. Ad esempio, BQ_INIT_LOAD.
- In Schema, attiva/disattiva l'impostazione per attivare la modalità Modifica come testo.
- Imposta lo schema della nuova tabella in BigQuery copiando e incollando i contenuti del file dello schema che hai creato in Creare un file dello schema.
- Fai clic su Crea tabella.
Crea una tabella BigQuery per i caricamenti delta
Questi passaggi creano una tabella per i caricamenti delta del set di dati BigQuery.
- Accedi al tuo progetto Google Cloud nella console Google Cloud.
- Seleziona BigQuery.
- Fai clic sul set di dati applicabile.
- Fai clic su Crea tabella.
- Inserisci il nome della tabella. Ad esempio, BQ_DELTA_LOAD.
- In Schema, attiva/disattiva l'impostazione per attivare la modalità Modifica come testo.
- Imposta lo schema della nuova tabella in BigQuery copiando e incollando i contenuti del file dello schema che hai creato in Creare un file dello schema.
Nell'elenco JSON del file di schema, subito prima della definizione del campo del campo DI_SEQUENCE_NUMBER, aggiungi il seguente campo DL_TIMESTAMP definizione di Kubernetes. Questo campo memorizza il timestamp di ogni esecuzione del caricamento delta:
{ "name": "DL_TIMESTAMP", "type": "TIMESTAMP", "mode": "REQUIRED", "description": "Delta load timestamp" },Fai clic su Crea tabella.
Configurare il flusso di dati tra SAP Data Services e BigQuery
Per configurare il flusso di dati, devi importare le tabelle BigQuery in SAP Data Services come metadati esterni e creare il job di replica e il flusso di dati del caricatore BigQuery.
Importa le tabelle BigQuery
Questa procedura consente di importare le tabelle BigQuery che hai creato nell' passaggio precedente e rendile disponibili in SAP Data Services.
- Nella libreria di oggetti di SAP Data Services Designer, apri il datastore BigQuery creato in precedenza.
- Nella parte superiore del riquadro a destra, seleziona Metadati esterni. La Vengono visualizzate le tabelle BigQuery che hai creato.
- Fai clic con il tasto destro del mouse sul nome della tabella BigQuery applicabile e seleziona Importa.
- Viene avviata l'importazione della tabella selezionata in SAP Data Services. La è ora disponibile nella libreria di oggetti sotto il nodo datastore di destinazione.
Crea un job di replica e il flusso di dati del caricatore BigQuery
Questi passaggi creano un job di replica e il flusso di dati in SAP Data Services utilizzato per caricare i dati da SAP LT Replication Server al Tabella BigQuery.
Il flusso di dati è costituito da due parti. Il primo esegue il caricamento iniziale dei dati degli oggetti ODP di origine nella tabella BigQuery, mentre il secondo abilita i caricamenti delta successivi.
Creare una variabile globale
In modo che il job di replica possa determinare se eseguire un caricamento iniziale un caricamento delta, devi creare una variabile globale per tenere traccia del tipo di carico nel dalla logica del flusso di dati.
- Nel menu dell'applicazione SAP Data Services Designer, vai a Strumenti > Voci.
- Fai clic con il tasto destro del mouse su Variabili globali e seleziona Inserisci.
- Fai clic con il tasto destro del mouse sulla variabile Nome e seleziona Proprietà.
- Inserisci $INITLOAD nella variabile Name.
- In Tipo di dati, seleziona Int.
- Inserisci 0 nel campo Valore.
- Fai clic su OK.
Crea il job di replica
- Fai clic con il tasto destro del mouse sul nome del progetto in Esplora progetti.
- Seleziona Nuovo > Job batch
- Compila il campo Nome. Ad esempio, JOB_SRS_DS_BQ_REPLICATION.
- Fai clic su Fine.
Crea una logica del flusso di dati per il caricamento iniziale
Crea una condizione
- Fai clic con il tasto destro del mouse su Nome job e seleziona l'opzione Aggiungi nuovo > Condizionale.
- Fai clic con il tasto destro del mouse sull'icona della condizione e seleziona Rinomina.
Modifica il nome in InitialOrDelta.
Apri l'editor condizionale facendo doppio clic sull'icona condizionale.
Nel campo Istruzione If, inserisci $INITLOAD = 1, che imposta la per eseguire il caricamento iniziale.
Fai clic con il tasto destro del mouse sul riquadro Quindi e seleziona Aggiungi nuovo > Script.
Fai clic con il tasto destro del mouse sull'icona Script e seleziona Rinomina.
Cambia il nome. Ad esempio, queste istruzioni utilizzano InitialLoadCDCMarker.
Fai doppio clic sull'icona Script per aprire l'editor funzioni.
Inserisci
print('Beginning Initial Load');Inserisci
begin_initial_load();
Fai clic sull'icona Indietro nella barra degli strumenti dell'applicazione per uscire dalla Editor delle funzioni.
Crea un flusso di dati per il caricamento iniziale
- Fai clic con il tasto destro del mouse sul riquadro Quindi e seleziona Aggiungi nuovo > Flusso di dati.
- Rinomina il flusso di dati. Ad esempio, DF_SRS_DS_InitialLoad.
- Collega InitialLoadCDCMarker a DF_SRS_DS_InitialLoad facendo clic sull'icona di output della connessione di InitialLoadCDCMarker e trascinando la linea di connessione all'icona di input di DF_SRS_DS_InitialLoad.
- Fai doppio clic sul flusso di dati DF_SRS_DS_InitialLoad.
Importa e connetti il flusso di dati con gli oggetti del datastore di origine
- Dal datastore, trascina gli oggetti ODP di origine nell'area di lavoro del flusso di dati. In queste istruzioni, il datastore si chiama DS_SLT. Il nome del tuo datastore potrebbe essere diverso.
- Trascina Query transform dal nodo Platform nella sezione Trasforma la scheda della libreria di oggetti nel flusso di dati.
Fai doppio clic sugli oggetti ODP e nella scheda Origine imposta l'opzione Caricamento iniziale su Sì.
Collega tutti gli oggetti ODP di origine nell'area di lavoro alla trasformazione Query.
Fai doppio clic su Trasformazione query.
Seleziona tutti i campi della tabella sotto Schema in a sinistra e trascina e li inserisci in Schema Out (Schema Out) a destra.
Per aggiungere una funzione di conversione per un campo data e ora:
- Seleziona il campo data/ora nell'elenco Schema Out (Schema Out) a destra.
- Seleziona la scheda Mappatura sotto gli elenchi di schemi.
Sostituisci il nome del campo con la seguente funzione:
to_date(to_char(FIELDNAME,'yyyy-mm-dd hh24:mi:ss'), 'yyyy-mm-dd hh24:mi:ss')Dove FIELDNAME è il nome del campo selezionato.
Fai clic sull'icona Indietro nella barra degli strumenti dell'applicazione per tornare al flusso di dati.
Importa e connetti il flusso di dati agli oggetti datastore di destinazione
- Dal datastore nella libreria degli oggetti, trascina Tabella BigQuery per il caricamento iniziale sul flusso di dati. Il nome del datastore in queste istruzioni è BQ_DS. Il nome del datastore potrebbe essere diverso.
- Dal nodo Platform nella scheda Trasformazioni dell'oggetto nella libreria di dati, trascina una trasformazione XML_Map sul flusso di dati.
- Seleziona Modalità batch nella finestra di dialogo.
- Collega la trasformazione Query alla trasformazione XML_Map.
Collega la trasformazione XML_Map alla tabella BigQuery importata.
Apri la trasformazione XML_Map e completa lo schema di input e output in base ai dati che includi in BigQuery tabella.
Fai doppio clic sulla tabella BigQuery nello spazio di lavoro per aprirla e completare le opzioni nella scheda Destinazione come indicato nella tabella seguente:
| Opzione | Descrizione |
|---|---|
| Crea porta | Specifica No, che è l'impostazione predefinita. Se specifichi Yes, viene creato un file di origine o di destinazione. da una porta di flusso di dati incorporata. |
| Modalità | Specifica Tronca per il caricamento iniziale, che sostituisce qualsiasi record esistente nella tabella BigQuery con i dati caricati da SAP Data Services. Tronca è l'impostazione predefinita. |
| Numero di caricatori | Specifica un numero intero positivo per impostare il numero di caricatori (thread)
per l'elaborazione. Il valore predefinito è 4.
Ogni caricatore avvia un job di caricamento riavviabile in BigQuery. Puoi specificare un numero qualsiasi di caricatori. Per aiutarti a determinare un numero appropriato di caricatori, consulta la documentazione SAP, che include: |
| Record con errori massimi per caricatore | Specifica 0 o un numero intero positivo per impostare il numero massimo di record che possono non riuscire per job di caricamento prima che BigQuery interrompa il caricamento dei record. Il valore predefinito è zero (0). |
- Fai clic sull'icona Convalida nella barra degli strumenti in alto.
- Fai clic sull'icona Indietro nella barra degli strumenti dell'applicazione per tornare alla Editor condizionale.
Crea un flusso di dati per il carico delta
Devi creare un flusso di dati per replicare i record di acquisizione dei dati modificati che si accumulano dopo il caricamento iniziale.
Crea un flusso delta condizionale:
- Fai doppio clic sulla condizione InitialOrDelta.
- Fai clic con il tasto destro del mouse nella sezione Else e seleziona Aggiungi nuovo > Script.
- Rinomina lo script. Ad esempio, MarkIniziaCDCLoad.
- Fai doppio clic sull'icona Script per aprire l'Editor funzioni.
Inserisci stampa('Inizio delta del carico");
Fai clic sull'icona Indietro nella barra degli strumenti dell'applicazione per tornare all'Editor delle condizioni.
Crea il flusso di dati per il caricamento delta
- Nell'editor condizionale, fai clic con il tasto destro del mouse e seleziona Aggiungi nuovo > Dati Flusso.
- Rinomina il flusso di dati. ad esempio DF_SRS_DS_DeltaLoad.
- Connetti MarkIniziaCDCLoad con DF_SRS_DS_DeltaLoad, come mostrato in seguendo il diagramma.
Fai doppio clic sul flusso di dati DF_SRS_DS_DeltaLoad.
Importa e connetti il flusso di dati con gli oggetti del datastore di origine
- Trascina gli oggetti ODP di origine dal datastore ai dati nell'area di lavoro di flusso. Il datastore in queste istruzioni utilizza il nome DS_SLT. Il nome del datastore potrebbe essere diverso.
- Dal nodo Piattaforma nella scheda Trasformazioni della libreria di oggetti, trascina la trasformazione Query nel flusso di dati.
- Fai doppio clic sugli oggetti ODP e nella scheda Origine imposta il valore Caricamento iniziale su No.
- Collega tutti gli oggetti ODP di origine nell'area di lavoro alla trasformazione Query.
- Fai doppio clic su Query Transform.
- Seleziona tutti i campi della tabella nell'elenco Schema in a sinistra e trascinale nell'elenco Schema Out (Schema Out) a destra.
Attiva il timestamp per i caricamenti delta
I passaggi che seguono consentono a SAP Data Services di registrare automaticamente il timestamp di ogni esecuzione del caricamento delta in un campo della tabella del caricamento delta.
- Fai clic con il tasto destro del mouse sul nodo Query nel riquadro Schema out (Schema Out) di destra.
- Seleziona Nuova colonna di output.
- Inserisci DL_TIMESTAMP in Nome.
- Seleziona Data e ora in Tipo di dati.
- Fai clic su OK.
- Fai clic sul campo DL_TIMESTAMP appena creato.
- Vai alla scheda Mappatura di seguito
Inserisci la funzione seguente:
- to_date(to_char(sysdate(),'yyyy-mm-dd hh24:mi:ss'), 'yyyy-mm-dd hh24:mi:ss').
Importa e collega il flusso di dati agli oggetti del datastore di destinazione
- Dal data store nella libreria di oggetti, trascina la tabella BigQuery importata per il caricamento delta nello spazio di lavoro del flusso di dati dopo la trasformazione XML_Map. Queste istruzioni utilizzano il esempio di nome datastore BQ_DS. Il nome del tuo datastore potrebbe essere diverso.
- Dal nodo Platform nella scheda Trasformazioni dell'oggetto nella libreria di dati, trascina una trasformazione XML_Map sul flusso di dati.
- Collega la trasformazione Query alla trasformazione XML_Map.
Collega la trasformazione XML_Map alla trasformazione importata Tabella BigQuery.
Apri la trasformazione XML_Map e completa lo schema di input e output in base ai dati che includi in BigQuery tabella.
Fai doppio clic sulla tabella BigQuery nell'area di lavoro per aprirla e completa le opzioni nella scheda Target in base a quanto segue descrizioni:
| Opzione | Descrizione |
|---|---|
| Crea porta | Specifica No, che è il valore predefinito. Se specifichi Yes (Sì), viene creato un file di origine o di destinazione da una porta di flusso di dati incorporata. |
| Modalità | Specifica Aggiungi per i caricamenti delta, che conserva i record esistenti in BigQuery quando vengono caricati nuovi record da SAP Data Services. |
| Numero di caricatori | Specifica un numero intero positivo per impostare il numero di caricatori (thread)
per l'elaborazione.
Ogni caricatore avvia un job di caricamento ripristinabile in in BigQuery. Puoi specificare un numero qualsiasi di caricatori. In genere, i caricamenti delta richiedono meno caricatori rispetto al caricamento iniziale. Per informazioni su come determinare un numero appropriato di caricatori, consulta le Documentazione SAP, tra cui: |
| Numero massimo di record non riusciti per caricatore | Specifica 0 o un numero intero positivo per impostare il numero massimo di record che possono non riuscire per job di caricamento prima che BigQuery interrompa il caricamento dei record. Il valore predefinito è zero (0). |
- Fai clic sull'icona Convalida nella barra degli strumenti in alto.
- Fai clic sull'icona Indietro nella barra degli strumenti dell'applicazione per tornare allo Editor condizionale.
Caricare i dati in BigQuery
I passaggi per un caricamento iniziale e un caricamento delta sono simili. Per ogni job, avvia il job di replica ed esegui il flusso di dati in SAP Data Services per caricare i dati da SAP LT Replication Server in BigQuery. Un'importante la differenza tra le due procedure di caricamento è il valore del campo . Per un caricamento iniziale, $INITLOAD deve essere impostato su 1. Per un caricamento delta, $INITLOAD deve essere 0.
Esegui un caricamento iniziale
Quando esegui un caricamento iniziale, tutti i dati nel set di dati di origine vengono replicata nella tabella BigQuery di destinazione connessa il flusso di dati del caricamento iniziale. Tutti i dati nella tabella di destinazione vengono sovrascritti.
- In SAP Data Services Designer, apri Explorer progetti.
- Fai clic con il tasto destro del mouse sul nome del job di replica e seleziona Esegui. Viene visualizzata una finestra di dialogo.
- Nella finestra di dialogo, vai alla scheda Variabile globale e modifica il valore di $INITLOAD su 1, in modo che il caricamento iniziale venga eseguito per primo.
- Fai clic su OK. Viene avviato il processo di caricamento e nel log di SAP Data Services iniziano a comparire i messaggi di debug. I dati vengono caricati nella tabella che hai creato in BigQuery per i caricamenti iniziali. Il nome del la tabella del caricamento iniziale in queste istruzioni è BQ_INIT_LOAD. Il nome del potrebbe essere diversa.
- Per verificare se il caricamento è stato completato, vai alla console Google Cloud e apri il set di dati BigQuery contenente la tabella. Se Dati ancora in fase di caricamento, "Caricamento in corso..." accanto al nome della tabella.
Dopo il caricamento, i dati sono pronti per l'elaborazione in BigQuery.
Da questo momento in poi, tutte le modifiche alla tabella di origine vengono registrate nella coda delta del server di replica SAP LT. Per caricare i dati dalla coda delta in BigQuery, esegui un job di caricamento delta.
Esegui un caricamento delta
Quando esegui un caricamento delta, solo le modifiche apportate all'insieme di dati di origine dall'ultimo caricamento vengono replicate nella tabella BigQuery di destinazione collegata al flusso di dati del caricamento delta.
- Fai clic con il tasto destro del mouse sul nome del job e seleziona Esegui.
- Fai clic su OK. Viene avviato il processo di caricamento e i messaggi di debug iniziano a comparire nel log di SAP Data Services. I dati vengono caricati nella tabella che hai creato in BigQuery per i caricamenti delta. In queste istruzioni, il nome della tabella di caricamento delta è BQ_DELTA_LOAD. Il nome della tabella potrebbe essere diverso.
- Per verificare se il caricamento è stato completato, vai alla console Google Cloud apri il set di dati BigQuery contenente la tabella. Se Dati ancora in fase di caricamento, "Caricamento in corso..." accanto al nome della tabella.
- Dopo il caricamento, i dati sono pronti per essere elaborati in BigQuery.
Per tenere traccia delle modifiche ai dati di origine, SAP LT Replication Server registra l'ordine delle operazioni sui dati modificati nella colonna DI_SEQUENCE_NUMBER e il tipo di operazione sui dati modificati nella colonna DI_OPERATION_TYPE (D=elimina, U=aggiorna, I=inserisci). SAP LT Replication Server memorizza i dati nelle colonne delle tabelle della coda delta, da cui vengono replicati in BigQuery.
Pianificazione dei caricamenti delta
Puoi pianificare l'esecuzione di un job di caricamento delta a intervalli regolari utilizzando il metodo SAP Data Services Management Console.
- Apri l'applicazione SAP Data Services Management Console.
- Fai clic su Amministratore.
- Espandi il nodo Batch nella struttura ad albero del menu a sinistra.
- Fai clic sul nome del repository SAP Data Services.
- Fai clic sulla scheda Configurazione job batch.
- Fai clic su Aggiungi pianificazione.
- Inserisci Nome pianificazione.
- Seleziona Attivo.
- Nella sezione Seleziona l'ora pianificata per l'esecuzione dei job, specifica la frequenza per l'esecuzione del caricamento delta.
- Importante: Google Cloud limita il numero di Job di caricamento BigQuery che puoi eseguire in un giorno. Assicurati che la pianificazione non superi il limite, che non può essere aumentato. Per ulteriori informazioni sul limite per i job di caricamento di BigQuery, consulta Quote e limiti nella documentazione di BigQuery.
- Espandi Variabili globali e controlla se $INITLOAD è impostato su 0.
- Fai clic su Applica.
Passaggi successivi
Eseguire query e analizzare i dati replicati in BigQuery.
Per ulteriori informazioni sulle query, consulta:
- Panoramica dell'esecuzione di query sui dati di BigQuery nella documentazione di BigQuery.
Per alcune idee su come consolidare i dati di caricamento iniziale e delta in BigQuery su larga scala, consulta:
- Eseguire mutazioni su larga scala in BigQuery disponibile nel blog di Google Cloud.
- Data Manipulation Language nella documentazione di BigQuery.
Esplora architetture di riferimento, diagrammi e best practice su Google Cloud. Dai un'occhiata al nostro Centro architetture cloud.