Origine batch SAP ODP

Questa pagina fornisce indicazioni sulla configurazione del plug-in SAP ODP in Cloud Data Fusion.

Il plug-in SAP ODP consente l'integrazione collettiva dei dati da applicazioni SAP con BigQuery o altri sistemi di destinazione supportati utilizzando Cloud Data Fusion. Il plug-in ha le seguenti funzionalità principali:

Versioni software supportate

Software Versioni
SAP S4/HANA SAP S4/HANA 1909 e versioni successive
SAP ECC SAP ERP6 NW 7.31 SP16 e versioni successive
SAP JCo SAP JCo versione 3.0.20 e successive
Cloud Data Fusion 6.3 e versioni successive

Per saperne di più su SAP su Google Cloud, consulta la panoramica di SAP su Google Cloud.

Prima di iniziare

Configura i seguenti sistemi e servizi utilizzati dal plug-in SAP ODP:

  1. Configura il sistema SAP ERP. Questa procedura include i seguenti passaggi:
    • Installa i file di trasporto SAP.
    • Configura i ruoli e le autorizzazioni SAP richiesti.
    • Configura SAP Java Connector.

  2. Esegui il deployment del plug-in ODP in Cloud Data Fusion.

    • Importante: scegli una versione del plug-in compatibile con la versione di Cloud Data Fusion.
    • Se esegui l'upgrade della versione dell'istanza o del plug-in Cloud Data Fusion, valuta l'impatto delle modifiche sull'ambito funzionale e sul rendimento della pipeline.

  3. Stabilisci la connettività RFC tra Cloud Data Fusion e SAP.

    • Assicurati che la comunicazione sia abilitata tra l'istanza Cloud Data Fusion e il server SAP.
    • Per le istanze private, configura il peering di rete VPC.
    • Sia il sistema SAP sia l'istanza Cloud Data Fusion devono trovarsi nello stesso progetto.

Configurare il plug-in

  1. Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
  2. Verifica che sia selezionata l'opzione Pipeline di dati - Batch (non In tempo reale).
  3. Nel menu Origine, fai clic su SapODP. Il nodo SAP ODP viene visualizzato nella pipeline.
  4. Per configurare l'origine, vai al nodo SAP ODP e fai clic su Properties (Proprietà).

  5. Inserisci le seguenti proprietà. Per un elenco completo, consulta Proprietà.

    1. Inserisci un'etichetta per il nodo SAP ODP, ad esempio SAP ODP tables.

    2. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione esistente e riutilizzabile.

      Nuova connessione

      Per aggiungere una connessione una tantum a SAP:

      1. Mantieni disattivata l'opzione Usa connessione.

      2. Nella sezione Connessione, inserisci le seguenti informazioni dell'account SAP in questi campi:

        1. Nel campo Reference name (Nome di riferimento), inserisci un nome per la connessione che identifica questa origine per la derivazione.
        2. Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifico in SAP. Un amministratore SAP può fornire il nome del client.
        3. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

        4. Seleziona uno dei seguenti tipi di connessione.

          • Diretto (tramite il server delle applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: Host del server applicazioni SAP, Numero di sistema SAP e Router SAP.
          • Bilanciamento del carico (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: Host SAP Message Server, Servizio SAP Message Server o numero di porta, ID sistema SAP (SID) e Nome gruppo di accesso SAP.

        5. Nel campo Contesto, seleziona il tipo di origine dati che stai utilizzando.

        6. Nel campo Nome origine SAP ODP, inserisci il nome dell'origine dati che stai utilizzando.

        7. Nel campo Tipo di estrazione, seleziona il tipo di estrazione dei dati. Il valore predefinito è Completo (tutti i dati).

        8. Fornisci le credenziali SAP: chiedi all'amministratore SAP il nome utente di accesso SAP e la password.

        9. Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso di SAP Java Connector (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.

        10. Per generare uno schema basato sui metadati di SAP che mappano i tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti, fai clic su Ottieni schema. Per saperne di più, consulta Mappature dei tipi di dati.

        11. (Facoltativo) Per ottimizzare il carico di importazione da SAP, inserisci le informazioni nei seguenti campi:

          1. Nel campo Nome abbonato SAP ODP, identifica l'abbonato per l'estrazione dei dati da un'origine dati valida.
          2. L'utilizzo delle opzioni di filtro consente di estrarre i record in base alle condizioni di selezione.
          3. Nel campo Numero di suddivisioni, puoi creare partizioni per estrarre i record di dati in parallelo, il che migliora il rendimento. Il numero di suddivisioni può influire sui processi di lavoro SAP e deve essere selezionato con attenzione.
          4. Nel campo Dimensioni pacchetto, specifica il numero di record da estrarre in una singola chiamata di rete SAP. Le dimensioni del pacchetto influiscono sulle prestazioni e sulle risorse disponibili e devono essere selezionate con attenzione.

      Connessione riutilizzabile

      Per riutilizzare una connessione esistente:

      1. Attiva l'opzione Usa connessione.
      2. Fai clic su Browse connections (Sfoglia connessioni).

      3. Fai clic sul nome della connessione.

      Se non esiste una connessione, per crearne una riutilizzabile, segui questi passaggi:

      1. Fai clic su Aggiungi connessione > SapOdp.
      2. Nella pagina Crea una connessione SapOdp che si apre, inserisci un nome e una descrizione per la connessione.
      3. Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifico in SAP. Un amministratore SAP può fornire il nome del cliente.
      4. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

      5. Seleziona uno dei seguenti tipi di connessione.

        • Diretto (tramite il server delle applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: Host del server applicazioni SAP, Numero di sistema SAP e SAP Router.
        • Bilanciamento del carico (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: Host SAP Message Server, Servizio SAP Message Server o numero di porta, ID sistema SAP (SID) e Nome gruppo di accesso SAP.

      6. Nel nome dell'origine SAP ODP, inserisci il nome dell'origine dati ODP da SAP.

      7. Fornisci le credenziali SAP: chiedi all'amministratore SAP i valori Nome utente di accesso SAP e Password.

      8. Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso di SAP Java Connector (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.

      9. Nel campo Tempo di attesa, inserisci un tempo di attesa (in secondi) prima del successivo tentativo, ad esempio 60.

      10. Nel campo Numero di tentativi, inserisci il numero massimo di tentativi, ad esempio 3.

      11. (Facoltativo) Nel campo Proprietà di connessione SAP aggiuntive, inserisci le coppie chiave-valore che devono sostituire i valori predefiniti di SAP JCo.

      12. Fai clic su Crea.

Proprietà

Proprietà Con macro Proprietà obbligatoria Descrizione
Etichetta No Sì Il nome del nodo nella pipeline di dati.
Utilizzare la connessione No No Utilizza una connessione riutilizzabile. Se viene utilizzata una connessione, non è necessario fornire le credenziali. Per saperne di più, consulta Gestire le connessioni.
Nome No Sì Il nome della connessione riutilizzabile.
Client SAP Sì Sì L'istanza o l'ambiente specifico in un sistema SAP.
Lingua SAP Sì Sì La lingua in cui vengono visualizzati ed elaborati l'interfaccia utente e i dati SAP.
Tipo di connessione No Sì Il tipo di connessione SAP: Direct o Load balanced.
Host del server applicazioni SAP Sì No Solo per il tipo di connessione Direct, questo nome host proviene dal server di applicazioni SAP, che funge da livello middleware tra i client SAP (come l'interfaccia web SAP, i browser web o le app mobile) e il database sottostante.
Numero di sistema SAP Sì No Solo per il tipo di connessione Direct, questo numero è l'identificatore univoco assegnato a ogni sistema SAP. Ad esempio, 00.
SAP Router Sì No Solo per il tipo di connessione Direct, questa è la stringa del router per il server proxy, che fornisce un canale sicuro per la comunicazione tra i sistemi SAP e i client o partner esterni.
Host del server di messaggi SAP Sì No Solo per il tipo di connessione Bilanciamento del carico, questo è il nome dell'host, che facilita il bilanciamento del carico su più server delle applicazioni in SAP.
Servizio o numero di porta del server di messaggi SAP Sì No Solo per il tipo di connessione Bilanciamento del carico, questa è la porta di rete in cui SAP Message Server è in attesa di connessioni in entrata da client SAP e server delle applicazioni all'interno di SAP.
ID sistema SAP (SID) Sì No Solo per il tipo di connessione Bilanciamento del carico, questo ID viene assegnato a ogni sistema SAP.
Nome del gruppo di accesso SAP Sì No Il nome del raggruppamento logico o della configurazione di più server delle applicazioni SAP. Il valore predefinito è PUBLIC.
Tipo di oggetto N/D N/D I tipi di oggetti supportati: DataSources/Extractors o ABAP Core Data Services.
Nome origine SAP ODP Sì Sì Il nome di SAP DataSources o della visualizzazione CDS (ad esempio, 2LIS_02_ITM).
Tipo di estrazione Sì Sì Il plug-in supporta i seguenti due tipi di estrazione dei dati:
  • Completo (tutti i dati): estrae tutti i dati disponibili.
  • Sincronizzazione (selezione automatica in base all'esecuzione precedente): determina se deve essere eseguita la modalità completa, delta (incrementale) o di recupero (recupera i dati dall'ultima esecuzione), in base al tipo e allo stato dell'esecuzione precedente disponibili in SAP. Estrae i dati completi nell'esecuzione iniziale della pipeline (modalità ODP F) e i dati modificati nelle esecuzioni successive della pipeline (modalità ODP D, R).
Nome utente di accesso SAP Sì Sì Nome utente per SAP
Consigliato: se il nome utente cambia periodicamente, utilizza una macro.
Password di accesso SAP Sì Sì Password SAP.
Consigliato: utilizza le macro sicure.
ID progetto GCP Sì Sì Google Cloud ID progetto.
Percorso GCS della libreria SAP JCo Sì Sì Il percorso di Cloud Storage in cui hai caricato i file della libreria SAP JCo.
Ottieni schema N/D N/D Il plug-in genera uno schema basato sui metadati di SAP, che mappa i tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti. Vedi Mappatura dei tipi di dati.
Nome dell'abbonato SAP ODP Sì Sì L'abbonato ODP per l'estrazione dei dati da un'origine dati SAP valida o da una vista CDS. Deve avere le seguenti caratteristiche:
  • Un massimo di 32 caratteri, senza spazi
  • Contengono solo da a a z, da A a Z, da 0 a 9, _ o /
  • Unico per pipeline diverse che estraggono dati dalla stessa origine dati SAP
Se il campo viene lasciato vuoto, Cloud Data Fusion genera un ID utilizzando una combinazione di ID progetto, spazio dei nomi e nomi delle pipeline. Puoi riutilizzare un abbonamento precedente, ad esempio uno creato da uno strumento di terze parti.
Tempo di attesa Sì No Questa proprietà consente ai data engineer di selezionare un tempo di attesa appropriato dopo ogni chiamata di rete da Cloud Data Fusion a SAP.
Conteggio dei tentativi Sì No Il numero di tentativi di ripetizione durante l'attesa del completamento della chiamata di rete.
Opzioni di filtro (uguale) Sì No Il valore che un campo deve avere per essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e delle relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Opzioni di filtro (intervallo) Sì No I limiti inferiore e superiore del valore che un campo deve avere per essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e delle relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Ha il formato low AND high. Esempio di utilizzo:
Nome campo: ERDAT
Valore basso: 2023-11-01
Valore alto: 2023-11-30
Opzioni di filtro (minore o uguale) Sì No Il valore a cui un campo deve essere minore o uguale.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e delle relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (maggiore o uguale) Sì No Il valore che un campo deve superare per essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e delle relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (diverso da) Sì No Definisce il valore a cui un campo non deve essere uguale per essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e delle relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Numero di suddivisioni da generare Sì No Crea partizioni per estrarre i record in parallelo.
Il motore di runtime crea il numero specificato di partizioni (e connessioni SAP) durante l'estrazione dei record.
Fai attenzione quando aumenti questo valore perché aumenta le connessioni simultanee con SAP.
Consigliato: pianifica le connessioni SAP per ogni pipeline e il numero totale di pipeline in esecuzione contemporaneamente.
Se il valore è 0 o il campo è vuoto, Cloud Data Fusion sceglie un valore appropriato in base al numero di esecutori disponibili, ai record da estrarre e alle dimensioni del pacchetto.
Dimensioni del pacchetto (in KB) Sì No Il numero di record da estrarre in una singola chiamata di rete SAP. È il numero di record che SAP memorizza nel buffer in memoria durante ogni chiamata di estrazione di rete.
Presta attenzione quando imposti questa proprietà. Più pipeline di dati che estraggono dati possono raggiungere il picco di utilizzo della memoria, causando errori dovuti a Out of memory.
  • Inserisci un numero intero positivo.
  • Se il valore è 0 o il campo è lasciato vuoto, il plug-in utilizza un valore standard di 70.000 o un valore calcolato in modo appropriato.
  • Se la pipeline di dati non va a buon fine a causa di errori Out of memory, riduci le dimensioni del pacchetto o aumenta la memoria disponibile per i processi di lavoro SAP.
Proprietà di connessione SAP aggiuntive Sì No Imposta proprietà SAP JCo aggiuntive per sostituire i valori predefiniti di SAP JCo. Ad esempio, l'impostazione di jco.destination.pool_capacity = 10 sovrascrive la capacità predefinita del pool di connessioni.

Mappature dei tipi di dati

La tabella seguente è un elenco dei tipi di dati SAP con i tipi di Cloud Data Fusion corrispondenti.

Tipo di dati SAP Tipo ABAP SAP description Tipo di dati Cloud Data Fusion
INT1 (numerico) b Numero intero a 1 byte int
INT2 (numerico) s Numero intero a 2 byte int
INT4 (numerico) i Numero intero a 4 byte int
INT8 (numerico) 8 Numero intero a 8 byte Lungo
DEC (numerico) p Numero compresso in formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (numerico) a Virgola mobile decimale a 8 byte IEEE 754r double
DF34_DEC, DF34_RAW (numerico) e Virgola mobile decimale a 16 byte IEEE 754r double
FLTP (numerico) f Numero binario in virgola mobile double
CHAR, LCHR (personaggio) c Stringa di caratteri string
SSTRING, GEOM_EWKB (personaggio) string Stringa di caratteri string
STRING (Carattere) string CLOB di stringa di caratteri byte
NUMC, ACCP (personaggio) n Testo numerico string
RAW, LRAW (byte) x Dati binari byte
RAWSTRING (byte) xstring BLOB di stringa di byte byte
DATS (data/ora) g Data data
TIMS (data/ora) t Ora tempo
TIMS (data/ora) utcl Utclong), TimeStamp timestamp

Limitazioni

Per assicurarti che le pipeline siano definite ed eseguite correttamente, esamina le seguenti limitazioni dei plug-in:

  • Le dimensioni dei pacchetti superiori a 50.000 non sono supportate.
  • Le origini dati che non supportano l'estrazione delta non funzionano in modalità di sincronizzazione.
  • In un'origine dati personalizzata, se la dimensione del pacchetto non viene gestita, la pipeline non va a buon fine nelle estrazioni di grandi quantità di dati.

Casi d'uso

Sono supportati due contesti di estrazione:

  • Origini dati o estrattori (SAPI)
  • Contesto ODP ABAP CDS (ABAP_CDS)

Il plug-in ODP supporta le seguenti origini dati standard e personalizzate per entrambi i contesti:

Origine dati ODP Contesto Estrazione completa Estrazione delta
SAP Standard pre-delivered SAPI Supportato Supportato
Personalizzato (Z*) SAPI Supportato Supportato
SAP Standard pre delivered ABAP_CDS Supportato Supportato
Personalizzato (Z*) ABAP_CDS Supportato Supportato

Passaggi successivi