Origine batch SAP ODP

Questa pagina fornisce indicazioni sulla configurazione del plug-in SAP ODP in Cloud Data Fusion.

Il plug-in SAP ODP consente l'integrazione collettiva dei dati di applicazioni SAP con BigQuery o altri sistemi di destinazione supportati utilizzando Cloud Data Fusion. Il plug-in ha le seguenti funzionalità principali:

Versioni software supportate

Software Versioni
SAP S4/HANA SAP S4/HANA 1909 e versioni successive
SAP ECC SAP ERP6 NW 7.31 SP16 e versioni successive
JCo SAP SAP JCo versione 3.0.20 e successive
Cloud Data Fusion 6.3 e versioni successive

Per ulteriori informazioni su SAP su Google Cloud, consulta la Panoramica di SAP su Google Cloud.

Prima di iniziare

Configura i seguenti sistemi e servizi utilizzati dal plug-in SAP ODP:

  1. Configura il sistema SAP ERP. La procedura include i seguenti passaggi:
    • Installare i file di trasporto SAP.
    • Configura le autorizzazioni e i ruoli SAP richiesti.
    • Configurare il connettore Java SAP.

  2. Esegui il deployment del plug-in ODP in Cloud Data Fusion.

    • Importante: scegli una versione del plug-in compatibile con la versione di Cloud Data Fusion.
    • Se esegui l'upgrade della versione dell'istanza o del plug-in di Cloud Data Fusion, valuta l'impatto delle modifiche sull'ambito funzionale e sulle prestazioni della pipeline.

  3. Stabilisci la connettività RFC tra Cloud Data Fusion e SAP.

    • Assicurati che la comunicazione sia abilitata tra l'istanza di Cloud Data Fusion e il server SAP.
    • Per le istanze private, configura il peering di rete VPC.
    • Sia il sistema SAP che l'istanza di Cloud Data Fusion devono essere nello stesso progetto.

Configura il plug-in

  1. Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
  2. Verifica che l'opzione pipeline di dati - Batch sia selezionata (non In tempo reale).
  3. Nel menu Origine, fai clic su SapODP. Il nodo ODP SAP viene visualizzato nella pipeline.
  4. Per configurare l'origine, vai al nodo SAP ODP e fai clic su Proprietà.

  5. Inserisci le seguenti proprietà. Per un elenco completo, consulta Proprietà.

    1. Inserisci un'etichetta per il nodo ODP SAP, ad esempio SAP ODP tables.

    2. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione riutilizzabile esistente.

      Nuova connessione

      Per aggiungere una connessione una tantum a SAP, segui questi passaggi:

      1. Mantieni disattivata l'opzione Utilizza connessione.

      2. Nella sezione Connessione, inserisci le seguenti informazioni dall'account SAP in questi campi:

        1. Nel campo Nome riferimento, inserisci un nome per la connessione che identifica questa origine per la derivazione.
        2. Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifici all'interno di SAP. Un amministratore SAP può fornire il nome del client.
        3. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

        4. Seleziona uno dei seguenti tipi di connessione.

          • Diretta (tramite il server di applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: host server applicazioni SAP, numero di sistema SAP e router SAP.
          • Carico bilanciato (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: host del server dei messaggi SAP, numero di porta o servizio del server dei messaggi SAP, ID sistema SAP (SID) e nome gruppo di accesso SAP.

        5. Nel campo Contesto, seleziona il tipo di origine dati che stai utilizzando.

        6. Nel campo Nome origine ODP SAP, inserisci il nome dell'origine dati che stai utilizzando.

        7. Nel campo Tipo di estrazione, seleziona il tipo di estrazione dati. L'impostazione predefinita è Completo (tutti i dati).

        8. Fornisci le credenziali SAP: chiedi all'amministratore SAP di fornirti nome utente di accesso SAP e password.

        9. Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso del connettore Java SAP (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.

        10. Per generare uno schema basato sui metadati di SAP che mappa i tipi di dati SAP ai tipi di dati corrispondenti di Cloud Data Fusion, fai clic su Ottieni schema. Per ulteriori informazioni, consulta Mappature dei tipi di dati.

        11. (Facoltativo) Per ottimizzare il carico di importazione da SAP, inserisci le informazioni nei seguenti campi:

          1. Nel campo Nome sottoscrittore ODP SAP, identifica il sottoscrittore per l'estrazione dei dati da un DataSource valido.
          2. Le Opzioni di filtro consentono di estrarre i record in base alle condizioni di selezione.
          3. Nel campo Numero di suddivisioni, puoi creare partizioni per estrarre i record di dati in parallelo, migliorando le prestazioni. Il numero di suddivisioni può influire sui processi di lavoro SAP e deve essere selezionato con attenzione.
          4. Nel campo Dimensioni pacchetto, specifica il numero di record da estrarre in una singola chiamata di rete SAP. La dimensione del pacchetto influisce sulle prestazioni e sulle risorse disponibili e deve essere selezionata con attenzione.

      Connessione riutilizzabile

      Per riutilizzare una connessione esistente, segui questi passaggi:

      1. Attiva Utilizza connessione.
      2. Fai clic su Browse connections (Sfoglia connessioni).

      3. Fai clic sul nome della connessione.

      Se non esiste una connessione, segui questi passaggi per crearne una riutilizzabile:

      1. Fai clic su Aggiungi connessione > SapOdp.
      2. Nella pagina Crea una connessione SapOdp che si apre, inserisci un nome e una descrizione per la connessione.
      3. Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifici in SAP. Un amministratore SAP può fornire il nome del client.
      4. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

      5. Seleziona uno dei seguenti tipi di connessione.

        • Diretta (tramite il server di applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: host server applicazioni SAP, numero di sistema SAP e router SAP.
        • Carico bilanciato (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: host del server dei messaggi SAP, numero di porta o servizio del server dei messaggi SAP, ID sistema SAP (SID) e nome gruppo di accesso SAP.

      6. Nel nome dell'origine SAP ODP, inserisci il nome DataSource ODP di SAP.

      7. Fornisci le credenziali SAP: chiedi all'amministratore SAP i valori Nome utente di accesso SAP e Password.

      8. Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso del connettore Java SAP (SAP JCo) in Cloud Storage contenente i file della libreria SAP JCo che hai caricato.

      9. Nel campo Tempo di attesa, inserisci un tempo di attesa (in secondi) prima del nuovo tentativo, ad esempio 60.

      10. Nel campo Conteggio tentativi, inserisci il numero massimo di tentativi, ad esempio 3.

      11. (Facoltativo) Nel campo Ulteriori proprietà di connessione SAP, inserisci le coppie chiave-valore che devono sostituire i valori predefiniti di SAP JCo.

      12. Fai clic su Crea.

Proprietà

Proprietà Macro attivata Proprietà obbligatoria Descrizione
Etichetta No Sì Il nome del nodo nella pipeline di dati.
Usa connessione No No Utilizza una connessione riutilizzabile. Se viene utilizzata una connessione, non è necessario fornire le credenziali. Per maggiori informazioni, consulta Gestire le connessioni.
Nome No Sì Il nome della connessione riutilizzabile.
Client SAP Sì Sì L'istanza o l'ambiente specifico in un sistema SAP.
Lingua SAP Sì Sì La lingua in cui vengono visualizzati ed elaborati i dati e l'interfaccia utente SAP.
Tipo di connessione No Sì Il tipo di connessione SAP: Diretta o Carico bilanciato.
Host server applicazioni SAP Sì No Solo per il tipo di connessione Diretta, questo nome host proviene dal server di applicazioni SAP, che funge da livello middleware tra i client SAP (come l'interfaccia web SAP, i browser web o le app mobile) e il database sottostante.
Numero di sistema SAP Sì No Solo per il tipo di connessione diretta, questo numero è l'identificatore univoco assegnato a ciascun sistema SAP. Ad esempio, 00.
Router SAP Sì No Solo per il tipo di connessione Diretta, si tratta della stringa del router per il server proxy, che fornisce un canale sicuro per la comunicazione tra sistemi SAP e clienti o partner esterni.
Host server messaggi SAP Sì No Solo per il tipo di connessione Bilanciato del carico, questo è il nome dell'host, che facilita il bilanciamento del carico tra più server delle applicazioni in SAP.
Numero di porta o di servizio di SAP Message Server Sì No Solo per il tipo di connessione Bilanciato del carico, questa è la porta di rete su cui il server di messaggi SAP ascolta le connessioni in entrata da client e server di applicazioni SAP all'interno di SAP.
ID sistema SAP (SID) Sì No Solo per il tipo di connessione Bilanciata del carico, questo ID viene assegnato a ciascun sistema SAP.
Nome gruppo di accesso SAP Sì No Il nome del raggruppamento logico o della configurazione di più server di applicazioni SAP. Il valore predefinito è PUBLIC.
Tipo di oggetto N/D N/D I tipi di oggetti supportati: DataSources/Extractors o ABAP Core Data Services.
Nome origine SAP ODP Sì Sì Il nome della vista SAP DataSources o CDS (ad esempio, 2LIS_02_ITM).
Tipo di estrazione Sì Sì Il plug-in supporta i seguenti due tipi di estrazione di dati:
  • Completo (tutti i dati): consente di estrarre tutti i dati disponibili.
  • Sincronizzazione (selezione automatica basata sull'esecuzione precedente): determina se deve essere eseguita la modalità completa, delta (incrementale) o di recupero (recupera dati dall'ultima esecuzione), in base al tipo di esecuzione e allo stato precedenti disponibili in SAP. Estrae i dati completi nell'esecuzione iniziale della pipeline (modalità F) e li modifica nelle esecuzioni successive della pipeline (modalità OODP D, R).
Nome utente di accesso SAP Sì Sì Nome utente per SAP
Consigliato: se il nome utente cambia periodicamente, utilizza una macro.
Password di accesso SAP Sì Sì Password SAP.
Consigliato: utilizza macro sicure.
ID progetto Google Cloud Sì Sì ID progetto Google Cloud.
Percorso GCS della libreria JCo SAP Sì Sì Il percorso di Cloud Storage in cui hai caricato i file della libreria SAP JCo.
Ottieni schema N/D N/D Il plug-in genera uno schema basato sui metadati di SAP, che mappa i tipi di dati SAP ai tipi di dati corrispondenti di Cloud Data Fusion. Consulta la sezione Mappatura dei tipi di dati.
Nome abbonato SAP ODP Sì Sì Il sottoscrittore ODP per l'estrazione dei dati da una vista DataSource o CDS SAP valida. Deve contenere quanto segue:
  • Un massimo di 32 caratteri, senza spazi
  • Contenere solo da a a z, A a Z, 0 a 9, _ o /
  • Unico per diverse pipeline che estraggono dati dallo stesso DataSource SAP
Se il campo viene lasciato vuoto, Cloud Data Fusion genera un ID utilizzando una combinazione di ID progetto, spazio dei nomi e nomi pipeline. Puoi riutilizzare un abbonamento precedente, ad esempio quello creato da uno strumento di terze parti.
Tempo di attesa Sì No Questa proprietà consente ai data engineer di selezionare un tempo di attesa appropriato dopo ogni chiamata di rete da Cloud Data Fusion a SAP.
Conteggio dei tentativi Sì No Il numero di nuovi tentativi in attesa del completamento della chiamata di rete.
Opzioni di filtro (uguale) Sì No Il valore che deve essere letto da un campo.
Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Opzioni di filtro (intervallo) Sì No I limiti minimo e alto che deve essere letto da un campo.
Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Ha il formato basso E alto. Esempio di utilizzo:
Nome campo: ERDAT
Valore basso: 2023-11-01
Valore alto: 2023-11-30
Opzioni di filtro (meno uguali) Sì No Il valore al quale un campo deve essere minore o uguale.
Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (maggiore uguale) Sì No Il valore che un campo deve essere maggiore di per essere letto.
Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (diverse) Sì No Definisce il valore che un campo non deve essere uguale per essere letto.
Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Numero di suddivisioni da generare Sì No Crea partizioni per estrarre i record in parallelo.
Il motore di runtime crea il numero specificato di partizioni (e connessioni SAP) durante l'estrazione dei record.
Fai attenzione quando aumenti questo valore, perché questo aumenta le connessioni simultanee con SAP.
Consigliato: pianifica le connessioni SAP per ogni pipeline e il numero totale di pipeline in esecuzione contemporaneamente.
Se il valore è 0 o viene lasciato vuoto, Cloud Data Fusion sceglie un valore appropriato in base al numero di esecutori disponibili, ai record da estrarre e alle dimensioni del pacchetto.
Dimensioni del pacchetto (in kB) Sì No Il numero di record da estrarre in una singola chiamata di rete SAP. Rappresenta il numero di record che SAP memorizza nel buffer in memoria durante ogni chiamata di estrazione della rete.
Presta attenzione quando imposti questa proprietà. L'estrazione dei dati da più pipeline di dati può causare un picco di utilizzo della memoria, causando errori dovuti a Out of memory errori.
  • Inserisci un numero intero positivo.
  • Se 0 o lasciato vuoto, il plug-in utilizza un valore standard di 70.000 o un valore calcolato in modo appropriato.
  • Se la pipeline di dati si arresta a causa di Out of memory errori, riduci le dimensioni del pacchetto o aumenta la memoria disponibile per i processi di lavoro SAP.
Altre proprietà di connessione SAP Sì No Imposta altre proprietà SAP JCo per eseguire l'override dei valori predefiniti di SAP JCo. Ad esempio, l'impostazione di jco.destination.pool_capacity = 10 sostituisce la capacità predefinita del pool di connessioni.

Mappature dei tipi di dati

La seguente tabella è un elenco dei tipi di dati SAP con i tipi di Cloud Data Fusion corrispondenti.

Tipo di dati SAP Tipo ABAP SAP description Tipo di dati di Cloud Data Fusion
INT1 (valore numerico) b Numero intero a 1 byte int
INT2 (valore numerico) s Numero intero a 2 byte int
INT4 (valore numerico) i Numero intero a 4 byte int
INT8 (valore numerico) 8 Numero intero a 8 byte lunghi
DEC (valore numerico) p Numero pacchettizzato in formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (valore numerico) a Virgola mobile decimale 8 byte IEEE 754r double
DF34_DEC, DF34_RAW (valore numerico) e Virgola mobile decimale 16 byte IEEE 754r double
FLTP (valore numerico) f Numero in virgola mobile binario double
CHAR, LCHR (carattere) c Stringa di caratteri string
SSTRING, GEOM_EWKB (carattere) string Stringa di caratteri string
STRING (carattere) string Stringa di caratteri CLOB byte
NUMC, ACCP (carattere) n Testo numerico string
RAW, LRAW (byte) x Dati binari byte
RAWSTRING (byte) stringa X Byte stringa BLOB byte
DATS (data/ora) d Data date
TIMS (data/ora) t Tempo ora
TIMS (data/ora) utcl Utclong), TimeStamp timestamp

Limitazioni

Per assicurarti che le pipeline vengano definite ed eseguite correttamente, esamina le seguenti limitazioni dei plug-in:

  • Le dimensioni dei pacchetti superiori a 50.000 non sono supportate.
  • Le origini dati che non supportano l'estrazione delta non riescono in modalità di sincronizzazione.
  • In un'origine dati personalizzata, se le dimensioni del pacchetto non vengono gestite, la pipeline ha esito negativo nelle estrazioni di dati di grandi dimensioni.

Casi d'uso

Sono supportati due contesti di estrazione:

  • Origini dati o estrattori (SAPI)
  • Contesto ODP ABAP CDS (ABAP_CDS)

Il plug-in ODP supporta le seguenti origini dati standard e personalizzate per entrambi i contesti:

Origine dati ODP Contesto Estrazione completa Estrazione delta
SAP Standard pre-pubblicazione SAPI Supportato Supportato
Personalizzata (Z*) SAPI Supportato Supportato
SAP Standard pre-consegnato ABAP_CDS Supportato Supportato
Personalizzata (Z*) ABAP_CDS Supportato Supportato

Passaggi successivi