Origine batch SAP ODP

Questa pagina fornisce indicazioni sulla configurazione del plug-in SAP ODP in Cloud Data Fusion.

La SAP ODP consente l'integrazione collettiva dei dati da applicazioni SAP BigQuery o altri sistemi di destinazione supportati che utilizzano Cloud Data Fusion. Il plug-in include le seguenti funzioni chiave:

Versioni software supportate

Software Versioni
SAP S4/HANA SAP S4/HANA 1909 e versioni successive
SAP ECC SAP ERP6 NW 7.31 SP16 e versioni successive
JCo SAP SAP JCo versione 3.0.20 e successive
Cloud Data Fusion 6.3 e versioni successive

Per ulteriori informazioni su SAP su Google Cloud, consulta Panoramica di SAP su Google Cloud.

Prima di iniziare

Configura i seguenti sistemi e servizi utilizzati dal plug-in SAP ODP:

  1. Configura il sistema SAP ERP. La procedura prevede i seguenti passaggi:
    • Installa i file di trasporto SAP.
    • Configura le autorizzazioni e i ruoli SAP richiesti.
    • Configura il connettore Java SAP.

  2. Esegui il deployment del plug-in ODP in Cloud Data Fusion.

    • Importante: scegli una versione del plug-in compatibile con la versione di Cloud Data Fusion.
    • Se esegui l'upgrade della versione di Cloud Data Fusion o plug-in, valuta l'impatto delle modifiche le prestazioni e l'ambito funzionale della pipeline.

  3. Stabilisci la connettività RFC tra Cloud Data Fusion e SAP.

    • Assicurati che la comunicazione sia abilitata tra dell'istanza Cloud Data Fusion e del server SAP.
    • Per le istanze private, configura il peering di rete VPC.
    • Sia il sistema SAP sia l'istanza Cloud Data Fusion all'interno dello stesso progetto.

Configura il plug-in

  1. Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
  2. Verifica che sia selezionata l'opzione Pipeline di dati - Batch (non In tempo reale).
  3. Nel menu Origine, fai clic su SapODP. Il nodo SAP ODP nella pipeline.
  4. Per configurare l'origine, vai al nodo SAP ODP e fai clic su Proprietà.

  5. Inserisci le seguenti proprietà. Per un elenco completo, vedi Proprietà:

    1. Inserisci un'etichetta per il nodo SAP ODP per ad esempio SAP ODP tables.

    2. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione esistente riutilizzabile.

      Nuova connessione

      Per aggiungere una connessione una tantum a SAP:

      1. Mantieni disattivata l'opzione Usa connessione.

      2. Nella sezione Connessione, inserisci le informazioni seguenti. dall'account SAP in questi campi:

        1. Nel campo Nome riferimento, inserisci un nome per che identifica l'origine per la derivazione.
        2. Nel campo Client SAP, inserisci il nome del client di un'istanza o un ambiente specifico in SAP. Un amministratore SAP può fornire il nome del cliente.
        3. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

        4. Seleziona uno dei seguenti Tipi di connessione.

          • Diretta (tramite SAP Application Server). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: Host del server delle applicazioni SAP, Numero di sistema SAP e Router SAP.
          • Bilanciamento del carico (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: Host SAP Message Server, Numero di porta o servizio SAP Message Server, ID sistema SAP (SID) e Nome gruppo di accesso SAP.

        5. Nel campo Contesto, seleziona il tipo di origine dati che stai utilizzando.

        6. Nel campo Nome origine SAP ODP, inserisci il nome del dell'origine dati utilizzata.

        7. Nel campo Tipo di estrazione, seleziona il tipo di dati. l'estrazione dei contenuti. Il valore predefinito è Completa (tutti i dati).

        8. Fornisci le credenziali SAP: chiedi all'amministratore SAP di fornirti il nome utente di accesso SAP e la password.

        9. Nel campo JCo Library Cloud Storage path (Percorso Cloud Storage della libreria JCo), inserisci il valore SAP percorso del connettore Java (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.

        10. a generare uno schema basato sui metadati di SAP mappati. Tipi di dati SAP con i dati Cloud Data Fusion corrispondenti fai clic su Ottieni schema. Per ulteriori informazioni, consulta la sezione Dati mappature dei tipi.

        11. (Facoltativo) Per ottimizzare il carico di importazione da SAP, inserisci informazioni nei seguenti campi:

          1. Nel campo Nome dell'abbonato SAP ODP, identifica l'abbonato per l'estrazione dei dati da un DataSource valido.
          2. L'utilizzo delle Opzioni filtro consente di estrarre i record in base alle condizioni di selezione.
          3. Nel campo Numero di suddivisioni puoi creare per estrarre i record di dati in parallelo, migliora le prestazioni. Il numero di suddivisioni può influire su SAP processi di lavoro e devono essere selezionati con attenzione.
          4. Nel campo Dimensione pacchetto, specifica il numero di da estrarre in una singola chiamata di rete SAP. La le dimensioni del pacchetto influiscono sulle prestazioni e sulle risorse disponibili e devono essere selezionati con attenzione.

      Connessione riutilizzabile

      Per riutilizzare una connessione esistente:

      1. Attiva l'opzione Usa connessione.
      2. Fai clic su Browse connections (Sfoglia connessioni).

      3. Fai clic sul nome della connessione.

      Se non esiste una connessione, per crearne una riutilizzabile:

      1. Fai clic su Aggiungi connessione > SapOdp.
      2. Nella pagina Crea una connessione SapOdp che si apre, inserisci un nome e una descrizione per la connessione.
      3. Nel campo Client SAP, inserisci il nome di un un'istanza o un ambiente specifico in SAP. Un SAP amministratore può fornire il nome del client.
      4. Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).

      5. Seleziona uno dei seguenti tipi di connessione.

        • Direct (tramite server di applicazioni SAP). Se scegli per questo tipo predefinito, inserisci le informazioni nel seguente campi: Host server delle applicazioni SAP, Sistema SAP numero e router SAP.
        • Bilanciamento del carico (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: Host Server dei messaggi SAP, servizio Server dei messaggi SAP o numero di porta, ID sistema SAP (SID) e accesso SAP nome del gruppo.

      6. Nel nome dell'origine SAP ODP, inserisci il nome dell'origine dati ODP di SAP.

      7. Fornisci le credenziali SAP: chiedi all'amministratore SAP i valori di Nome utente di accesso SAP e Password.

      8. Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso del connettore Java SAP (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.

      9. Nel campo Tempo di attesa, inserisci il tempo di attesa (in secondi). prima del prossimo tentativo, ad esempio 60.

      10. Nel campo Conteggio tentativi, inserisci il numero massimo di nuovi tentativi, ad esempio 3.

      11. (Facoltativo) Nella sezione Altre proprietà di connessione SAP inserisci coppie chiave-valore che devono sostituire la JCo SAP i valori predefiniti.

      12. Fai clic su Crea.

Proprietà

Proprietà Macro attivata Proprietà obbligatoria Descrizione
Etichetta No Sì Il nome del nodo nella pipeline di dati.
Utilizzare la connessione No No Utilizza una connessione riutilizzabile. Se viene utilizzata una connessione, non è necessario fornire le credenziali. Per saperne di più, consulta Gestire le connessioni.
Nome No Sì Il nome della connessione riutilizzabile.
Client SAP Sì Sì L'istanza o l'ambiente specifico in un sistema SAP.
Lingua SAP Sì Sì La lingua in cui vengono visualizzati e visualizzati i dati e l'interfaccia utente SAP elaborati.
Tipo di connessione No Sì Il tipo di connessione SAP: Diretta o Bilanciata.
Host del server applicazioni SAP Sì No Solo per il tipo di connessione Diretta, questo nome host proviene dal server di applicazioni SAP, che funge da livello intermedio tra i client SAP (come l'interfaccia web SAP, i browser web o le app mobile) e il database sottostante.
Numero di sistema SAP Sì No Solo per il tipo di connessione Diretta, questo numero corrisponde al valore un identificatore univoco assegnato a ciascun sistema SAP. Ad esempio, 00.
Router SAP Sì No Solo per il tipo di connessione Diretta, si tratta della stringa del router per il server proxy, che fornisce un canale sicuro per la comunicazione tra i sistemi SAP e i partner o i clienti esterni.
Host di SAP Message Server Sì No Solo per il tipo di connessione Load Bilanciato, questo è nome dell'host, il che facilita il bilanciamento del carico tra più server delle applicazioni in SAP.
Numero di porta o servizio SAP Message Server Sì No Solo per il tipo di connessione Load Bilanciato, questo è porta di rete su cui il server di messaggi SAP rimane in ascolto delle connessioni in entrata da client e server delle applicazioni SAP all'interno di SAP.
ID sistema SAP (SID) Sì No Solo per il tipo di connessione Con bilanciamento del carico, questo ID è assegnati a ciascun sistema SAP.
Nome gruppo di accesso SAP Sì No Il nome del raggruppamento logico o della configurazione di più SAP server delle applicazioni. Il valore predefinito è PUBLIC.
Tipo di oggetto N/D N/D I tipi di oggetti supportati: DataSources/Extractors o ABAP Core Data Services.
Nome origine SAP ODP Sì Sì Il nome della vista SAP DataSources o CDS (ad esempio, 2LIS_02_ITM).
Tipo di estrazione Sì Sì Il plug-in supporta i seguenti due tipi di estrazione dati:
  • Completa (tutti i dati): estrae tutti i dati disponibili.
  • Sincronizzazione (selezione automatica in base alle esecuzione): determina se pieno, delta (incrementale) o Recovery (recupero dati dall'ultima esecuzione) deve essere eseguita, in base il tipo e lo stato di esecuzione precedenti disponibili in SAP. Estrae dati completi nell'esecuzione iniziale della pipeline (modalità ODP F) e modifiche i dati nelle successive esecuzioni della pipeline (modalità ODP D, R).
Nome utente di accesso SAP Sì Sì Nome utente per SAP
Opzione consigliata: se il nome utente cambia periodicamente, utilizza una macro.
Password di accesso SAP Sì Sì Password SAP.
Opzione consigliata: utilizza macro sicure.
ID progetto Google Cloud Sì Sì ID progetto Google Cloud.
Percorso GCS della libreria JCo di SAP Sì Sì Il percorso di Cloud Storage in cui hai caricato i file della libreria SAP JCo.
Ottieni schema N/D N/D Il plug-in genera uno schema basato sui metadati di SAP, che mappa i tipi di dati SAP ai tipi di dati Cloud Data Fusion corrispondenti. Consulta la sezione Mappatura dei tipi di dati.
Nome sottoscrittore SAP ODP Sì Sì Il sottoscrittore ODP per l'estrazione dei dati da un'origine dati SAP valida o CDS. Deve avere quanto segue:
  • Avere un massimo di 32 caratteri, senza spazi.
  • Contengono solo a-z, A-Z, 0-9, _ o /
  • Unico per pipeline diverse che estraggono dati dalla stessa origine dati SAP
Se il campo viene lasciato vuoto, Cloud Data Fusion genera un ID utilizzando una combinazione di ID progetto, spazio dei nomi e nomi pipeline. Puoi riutilizzare un abbonamento precedente, ad esempio uno creato da uno strumento di terze parti.
Tempo di attesa Sì No Questa proprietà consente ai data engineer di selezionare un tempo di attesa appropriato dopo ogni chiamata di rete da Cloud Data Fusion a SAP.
Numero di tentativi Sì No Il numero di nuovi tentativi in attesa della chiamata di rete a completato.
Opzioni di filtro (uguale) Sì No Il valore che un campo deve essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Opzioni di filtro (intervallo) Sì No I limiti bassi e alti del valore che un campo deve essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Ha il formato low AND high. Esempio di utilizzo:
Nome campo: ERDAT
Valore basso: 2023-11-01
Valore elevato: 2023-11-30
Opzioni di filtro (meno uguale) Sì No Il valore che un campo deve essere minore o uguale a.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e relative coppie di valori. Definisce la condizione di filtro da applicare durante la lettura dei dati da un SAP SorgenteDati. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di un tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (maggiore o uguale) Sì No Il valore maggiore di cui deve essere maggiore un campo per essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e relative coppie di valori. Definiscono la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MATNR
Valore: 10008
Opzioni di filtro (non uguale) Sì No Definisce il valore che un campo non deve essere uguale per poter essere letto.
Le opzioni di filtro sono elenchi di nomi di campi di metadati e relative coppie di valori. Definisce la condizione di filtro da applicare durante la lettura dei dati da un SAP SorgenteDati. Vengono estratti solo i record che soddisfano le condizioni.
La chiave del filtro corrisponde a un campo nello schema. Deve essere di di tipo semplice (non ARRAY, RECORD o UNION). Esempio di utilizzo:
Nome campo: MTART
Valore: FERT
Numero di suddivisioni da generare Sì No Crea partizioni per estrarre i record in parallelo.
Il motore di runtime crea il numero specificato di partizioni (e SAP) connessioni) durante l'estrazione dei record.
Fai attenzione quando aumenti questo valore perché aumenta il e connessioni simultanee con SAP.
Consigliato: pianifica le connessioni SAP per ogni e il numero totale di pipeline in esecuzione contemporaneamente.
Se il valore è 0 o se viene lasciato vuoto, Cloud Data Fusion sceglie un valore il valore appropriato, in base al numero di esecutori disponibili, record da estrarre e le dimensioni del pacchetto.
Dimensioni del pacchetto (in KB) Sì No Il numero di record da estrarre in una singola chiamata di rete SAP. È il numero di record che SAP memorizza nella memoria durante ogni chiamata di estrazione della rete.
Presta attenzione quando imposti questa proprietà. Più pipeline di dati l'estrazione dei dati può raggiungere un picco di utilizzo della memoria, causando errori dovuti Out of memory errore.
  • Inserisci un numero intero positivo.
  • Se il valore è 0 o se viene lasciato vuoto, il plug-in utilizza il valore standard 70.000 oppure calcolato in modo appropriato.
  • Se la pipeline di dati non va a buon fine a causa di errori Out of memory, diminuisci le dimensioni del pacchetto o aumenta la memoria disponibile per i tuoi processi di lavoro SAP.
Altre proprietà di connessione SAP Sì No Imposta proprietà SAP JCo aggiuntive per sostituire quelle predefinite di SAP JCo. Ad esempio, l'impostazione di jco.destination.pool_capacity = 10 sostituisce la capacità predefinita del pool di connessioni.

Mappature dei tipi di dati

La tabella seguente è un elenco dei tipi di dati SAP con le corrispondenti tipi di Cloud Data Fusion.

Tipo di dati SAP Tipo di ABAP SAP description Tipo di dati di Cloud Data Fusion
INT1 (numerico) b Numero intero a 1 byte int
INT2 (numerica) s Numero intero a 2 byte int
INT4 (numerica) i Numero intero a 4 byte int
INT8 (numerico) 8 Intero a 8 byte Lungo
DEC (numerica) p Numero pacchettizzato in formato BCD (DEC) decimal
DF16_DEC, DF16_RAW (numerico) a IEEE 754r a virgola mobile decimale da 8 byte double
DF34_DEC, DF34_RAW (numerico) e Virgola mobile decimale 16 byte IEEE 754r double
FLTP (numerica) f Numero con rappresentazione in virgola mobile binaria double
CHAR, LCHR (carattere) c Stringa di caratteri string
SSTRING, GEOM_EWKB (carattere) string Stringa di caratteri string
STRING (Carattere) string Stringa di caratteri CLOB byte
NUMC, ACCP (carattere) n Testo numerico string
RAW, LRAW (byte) x Dati binari byte
RAWSTRING (byte) xstring Stringa byte BLOB byte
DATS (Data/ora) g Data data
TIMS (Data/Ora) t Ora tempo
TIMS (Data/ora) utcl Utclong), TimeStamp timestamp

Limitazioni

Per assicurarti che le pipeline siano definite ed eseguite correttamente, esamina le seguenti limitazioni dei plug-in:

  • I pacchetti di dimensioni superiori a 50.000 non sono supportati.
  • Le origini dati che non supportano l'estrazione delta non riescono in modalità di sincronizzazione.
  • In un'origine dati personalizzata, se le dimensioni del pacchetto non vengono gestite, la pipeline non va a buon fine nelle estrazioni di dati di grandi dimensioni.

Casi d'uso

Sono supportati due contesti di estrazione:

  • DataSources o Extractors (SAPI)
  • Contesto ODP ABAP CDS (ABAP_CDS)

Il plug-in ODP supporta le seguenti origini dati standard e personalizzate per entrambi contesti:

Origine dati ODP Contesto Estrazione completa Estrazione delta
Standard SAP precaricato SAPI Supportato Supportato
Personalizzato (Z*) SAPI Supportato Supportato
Standard SAP precaricato ABAP_CDS Supportato Supportato
Personalizzato (Z*) ABAP_CDS Supportato Supportato

Passaggi successivi