Il plug-in SAP ODP consente l'integrazione collettiva dei dati di applicazioni SAP con BigQuery o altri sistemi di destinazione supportati utilizzando Cloud Data Fusion. Il plug-in ha le seguenti funzionalità principali:
- Utilizza SAP ECC, SAP S4/HANA o SAP BW come sistema di origine
- Utilizza SAP CDC (Change Data Capture) per monitorare ed estrarre dati nuovi e delta nelle origini dati
- Utilizza la modalità di estrazione batch
- Supporta SAP DataSources e viste CDS ABAP come origini dati
Versioni software supportate
Software | Versioni |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 e versioni successive |
SAP ECC | SAP ERP6 NW 7.31 SP16 e versioni successive |
JCo SAP | SAP JCo versione 3.0.20 e successive |
Cloud Data Fusion | 6.3 e versioni successive |
Per ulteriori informazioni su SAP su Google Cloud, consulta la Panoramica di SAP su Google Cloud.
Prima di iniziare
Configura i seguenti sistemi e servizi utilizzati dal plug-in SAP ODP:
- Configura il sistema SAP ERP.
La procedura include i seguenti passaggi:
- Installare i file di trasporto SAP.
- Configura le autorizzazioni e i ruoli SAP richiesti.
- Configurare il connettore Java SAP.
Esegui il deployment del plug-in ODP in Cloud Data Fusion.
- Importante: scegli una versione del plug-in compatibile con la versione di Cloud Data Fusion.
- Se esegui l'upgrade della versione dell'istanza o del plug-in di Cloud Data Fusion, valuta l'impatto delle modifiche sull'ambito funzionale e sulle prestazioni della pipeline.
Stabilisci la connettività RFC tra Cloud Data Fusion e SAP.
- Assicurati che la comunicazione sia abilitata tra l'istanza di Cloud Data Fusion e il server SAP.
- Per le istanze private, configura il peering di rete VPC.
- Sia il sistema SAP che l'istanza di Cloud Data Fusion devono essere nello stesso progetto.
Configura il plug-in
- Vai all'interfaccia web di Cloud Data Fusion e fai clic su Studio.
- Verifica che l'opzione pipeline di dati - Batch sia selezionata (non In tempo reale).
- Nel menu Origine, fai clic su SapODP. Il nodo ODP SAP viene visualizzato nella pipeline.
- Per configurare l'origine, vai al nodo SAP ODP e fai clic su Proprietà.
Inserisci le seguenti proprietà. Per un elenco completo, consulta Proprietà.
- Inserisci un'etichetta per il nodo ODP SAP, ad esempio
SAP ODP tables
. Inserisci i dettagli della connessione. Puoi configurare una nuova connessione una tantum o una connessione riutilizzabile esistente.
Nuova connessione
Per aggiungere una connessione una tantum a SAP, segui questi passaggi:
- Mantieni disattivata l'opzione Utilizza connessione.
Nella sezione Connessione, inserisci le seguenti informazioni dall'account SAP in questi campi:
- Nel campo Nome riferimento, inserisci un nome per la connessione che identifica questa origine per la derivazione.
- Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifici all'interno di SAP. Un amministratore SAP può fornire il nome del client.
- Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).
Seleziona uno dei seguenti tipi di connessione.
- Diretta (tramite il server di applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: host server applicazioni SAP, numero di sistema SAP e router SAP.
- Carico bilanciato (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: host del server dei messaggi SAP, numero di porta o servizio del server dei messaggi SAP, ID sistema SAP (SID) e nome gruppo di accesso SAP.
Nel campo Contesto, seleziona il tipo di origine dati che stai utilizzando.
Nel campo Nome origine ODP SAP, inserisci il nome dell'origine dati che stai utilizzando.
Nel campo Tipo di estrazione, seleziona il tipo di estrazione dati. L'impostazione predefinita è Completo (tutti i dati).
Fornisci le credenziali SAP: chiedi all'amministratore SAP di fornirti nome utente di accesso SAP e password.
Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso del connettore Java SAP (SAP JCo) in Cloud Storage che contiene i file della libreria SAP JCo che hai caricato.
Per generare uno schema basato sui metadati di SAP che mappa i tipi di dati SAP ai tipi di dati corrispondenti di Cloud Data Fusion, fai clic su Ottieni schema. Per ulteriori informazioni, consulta Mappature dei tipi di dati.
(Facoltativo) Per ottimizzare il carico di importazione da SAP, inserisci le informazioni nei seguenti campi:
- Nel campo Nome sottoscrittore ODP SAP, identifica il sottoscrittore per l'estrazione dei dati da un DataSource valido.
- Le Opzioni di filtro consentono di estrarre i record in base alle condizioni di selezione.
- Nel campo Numero di suddivisioni, puoi creare partizioni per estrarre i record di dati in parallelo, migliorando le prestazioni. Il numero di suddivisioni può influire sui processi di lavoro SAP e deve essere selezionato con attenzione.
- Nel campo Dimensioni pacchetto, specifica il numero di record da estrarre in una singola chiamata di rete SAP. La dimensione del pacchetto influisce sulle prestazioni e sulle risorse disponibili e deve essere selezionata con attenzione.
Connessione riutilizzabile
Per riutilizzare una connessione esistente, segui questi passaggi:
- Attiva Utilizza connessione.
- Fai clic su Browse connections (Sfoglia connessioni).
Fai clic sul nome della connessione.
Se non esiste una connessione, segui questi passaggi per crearne una riutilizzabile:
- Fai clic su Aggiungi connessione > SapOdp.
- Nella pagina Crea una connessione SapOdp che si apre, inserisci un nome e una descrizione per la connessione.
- Nel campo Client SAP, inserisci il nome client di un'istanza o un ambiente specifici in SAP. Un amministratore SAP può fornire il nome del client.
- Nel campo Lingua SAP, inserisci una lingua di accesso SAP. Il valore predefinito è EN (inglese).
Seleziona uno dei seguenti tipi di connessione.
- Diretta (tramite il server di applicazioni SAP). Se scegli questo tipo predefinito, inserisci le informazioni nei seguenti campi: host server applicazioni SAP, numero di sistema SAP e router SAP.
- Carico bilanciato (tramite SAP Message Server). Se scegli questo tipo, inserisci le informazioni nei seguenti campi: host del server dei messaggi SAP, numero di porta o servizio del server dei messaggi SAP, ID sistema SAP (SID) e nome gruppo di accesso SAP.
Nel nome dell'origine SAP ODP, inserisci il nome DataSource ODP di SAP.
Fornisci le credenziali SAP: chiedi all'amministratore SAP i valori Nome utente di accesso SAP e Password.
Nel campo Percorso Cloud Storage della libreria JCo, inserisci il percorso del connettore Java SAP (SAP JCo) in Cloud Storage contenente i file della libreria SAP JCo che hai caricato.
Nel campo Tempo di attesa, inserisci un tempo di attesa (in secondi) prima del nuovo tentativo, ad esempio
60
.Nel campo Conteggio tentativi, inserisci il numero massimo di tentativi, ad esempio
3
.(Facoltativo) Nel campo Ulteriori proprietà di connessione SAP, inserisci le coppie chiave-valore che devono sostituire i valori predefiniti di SAP JCo.
Fai clic su Crea.
- Inserisci un'etichetta per il nodo ODP SAP, ad esempio
Proprietà
Proprietà | Macro attivata | Proprietà obbligatoria | Descrizione |
---|---|---|---|
Etichetta | No | Sì | Il nome del nodo nella pipeline di dati. |
Usa connessione | No | No | Utilizza una connessione riutilizzabile. Se viene utilizzata una connessione, non è necessario fornire le credenziali. Per maggiori informazioni, consulta Gestire le connessioni. |
Nome | No | Sì | Il nome della connessione riutilizzabile. |
Client SAP | Sì | Sì | L'istanza o l'ambiente specifico in un sistema SAP. |
Lingua SAP | Sì | Sì | La lingua in cui vengono visualizzati ed elaborati i dati e l'interfaccia utente SAP. |
Tipo di connessione | No | Sì | Il tipo di connessione SAP: Diretta o Carico bilanciato. |
Host server applicazioni SAP | Sì | No | Solo per il tipo di connessione Diretta, questo nome host proviene dal server di applicazioni SAP, che funge da livello middleware tra i client SAP (come l'interfaccia web SAP, i browser web o le app mobile) e il database sottostante. |
Numero di sistema SAP | Sì | No | Solo per il tipo di connessione diretta, questo numero è l'identificatore univoco assegnato a ciascun sistema SAP. Ad esempio,
00 . |
Router SAP | Sì | No | Solo per il tipo di connessione Diretta, si tratta della stringa del router per il server proxy, che fornisce un canale sicuro per la comunicazione tra sistemi SAP e clienti o partner esterni. |
Host server messaggi SAP | Sì | No | Solo per il tipo di connessione Bilanciato del carico, questo è il nome dell'host, che facilita il bilanciamento del carico tra più server delle applicazioni in SAP. |
Numero di porta o di servizio di SAP Message Server | Sì | No | Solo per il tipo di connessione Bilanciato del carico, questa è la porta di rete su cui il server di messaggi SAP ascolta le connessioni in entrata da client e server di applicazioni SAP all'interno di SAP. |
ID sistema SAP (SID) | Sì | No | Solo per il tipo di connessione Bilanciata del carico, questo ID viene assegnato a ciascun sistema SAP. |
Nome gruppo di accesso SAP | Sì | No | Il nome del raggruppamento logico o della configurazione di più server di applicazioni SAP. Il valore predefinito è PUBLIC . |
Tipo di oggetto | N/D | N/D | I tipi di oggetti supportati: DataSources/Extractors o ABAP Core Data Services. |
Nome origine SAP ODP | Sì | Sì | Il nome della vista SAP DataSources o CDS (ad esempio, 2LIS_02_ITM ). |
Tipo di estrazione | Sì | Sì | Il plug-in supporta i seguenti due tipi di estrazione di dati:
|
Nome utente di accesso SAP | Sì | Sì | Nome utente per SAP Consigliato: se il nome utente cambia periodicamente, utilizza una macro. |
Password di accesso SAP | Sì | Sì | Password SAP. Consigliato: utilizza macro sicure. |
ID progetto Google Cloud | Sì | Sì | ID progetto Google Cloud. |
Percorso GCS della libreria JCo SAP | Sì | Sì | Il percorso di Cloud Storage in cui hai caricato i file della libreria SAP JCo. |
Ottieni schema | N/D | N/D | Il plug-in genera uno schema basato sui metadati di SAP, che mappa i tipi di dati SAP ai tipi di dati corrispondenti di Cloud Data Fusion. Consulta la sezione Mappatura dei tipi di dati. |
Nome abbonato SAP ODP | Sì | Sì | Il sottoscrittore ODP per l'estrazione dei dati da una vista DataSource o CDS SAP valida. Deve contenere quanto segue:
|
Tempo di attesa | Sì | No | Questa proprietà consente ai data engineer di selezionare un tempo di attesa appropriato dopo ogni chiamata di rete da Cloud Data Fusion a SAP. |
Conteggio dei tentativi | Sì | No | Il numero di nuovi tentativi in attesa del completamento della chiamata di rete. |
Opzioni di filtro (uguale) | Sì | No | Il valore che deve essere letto da un campo. Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni. La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY , RECORD o UNION ). Esempio di utilizzo:Nome campo: MTART Valore: FERT |
Opzioni di filtro (intervallo) | Sì | No | I limiti minimo e alto che deve essere letto da un campo. Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni. La chiave del filtro corrisponde a un campo nello schema. Ha il formato basso E alto. Esempio di utilizzo: Nome campo: ERDAT Valore basso: 2023-11-01 Valore alto: 2023-11-30 |
Opzioni di filtro (meno uguali) | Sì | No | Il valore al quale un campo deve essere minore o uguale. Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni. La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY , RECORD o UNION ). Esempio di utilizzo:Nome campo: MATNR Valore: 10008 |
Opzioni di filtro (maggiore uguale) | Sì | No | Il valore che un campo deve essere maggiore di per essere letto. Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni. La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY , RECORD o UNION ). Esempio di utilizzo:Nome campo: MATNR Valore: 10008 |
Opzioni di filtro (diverse) | Sì | No | Definisce il valore che un campo non deve essere uguale per essere letto. Le opzioni di filtro sono elenchi di nomi dei campi di metadati e delle relative coppie di valori. Definiscino la condizione di filtro da applicare durante la lettura dei dati da un'origine dati SAP. Vengono estratti solo i record che soddisfano le condizioni. La chiave del filtro corrisponde a un campo nello schema. Deve essere di tipo semplice (non ARRAY , RECORD o UNION ). Esempio di utilizzo:Nome campo: MTART Valore: FERT |
Numero di suddivisioni da generare | Sì | No | Crea partizioni per estrarre i record in parallelo. Il motore di runtime crea il numero specificato di partizioni (e connessioni SAP) durante l'estrazione dei record. Fai attenzione quando aumenti questo valore, perché questo aumenta le connessioni simultanee con SAP. Consigliato: pianifica le connessioni SAP per ogni pipeline e il numero totale di pipeline in esecuzione contemporaneamente. Se il valore è 0 o viene lasciato vuoto, Cloud Data Fusion sceglie un valore appropriato in base al numero di esecutori disponibili, ai record da estrarre e alle dimensioni del pacchetto. |
Dimensioni del pacchetto (in kB) | Sì | No | Il numero di record da estrarre in una singola chiamata di rete SAP. Rappresenta il numero di record che SAP memorizza nel buffer in memoria durante ogni chiamata di estrazione della rete. Presta attenzione quando imposti questa proprietà. L'estrazione dei dati da più pipeline di dati può causare un picco di utilizzo della memoria, causando errori dovuti a Out of memory errori.
|
Altre proprietà di connessione SAP | Sì | No | Imposta altre proprietà SAP JCo per eseguire l'override dei valori predefiniti di SAP JCo.
Ad esempio, l'impostazione di jco.destination.pool_capacity = 10
sostituisce la capacità predefinita del pool di connessioni. |
Mappature dei tipi di dati
La seguente tabella è un elenco dei tipi di dati SAP con i tipi di Cloud Data Fusion corrispondenti.
Tipo di dati SAP | Tipo ABAP | SAP description | Tipo di dati di Cloud Data Fusion |
---|---|---|---|
INT1 (valore numerico) |
b | Numero intero a 1 byte | int |
INT2 (valore numerico) |
s | Numero intero a 2 byte | int |
INT4 (valore numerico) |
i | Numero intero a 4 byte | int |
INT8 (valore numerico) |
8 | Numero intero a 8 byte | lunghi |
DEC (valore numerico) |
p | Numero pacchettizzato in formato BCD (DEC) | decimal |
DF16_DEC , DF16_RAW (valore numerico) |
a | Virgola mobile decimale 8 byte IEEE 754r | double |
DF34_DEC , DF34_RAW (valore numerico) |
e | Virgola mobile decimale 16 byte IEEE 754r | double |
FLTP (valore numerico) |
f | Numero in virgola mobile binario | double |
CHAR , LCHR (carattere) |
c | Stringa di caratteri | string |
SSTRING , GEOM_EWKB (carattere) |
string | Stringa di caratteri | string |
STRING (carattere) |
string | Stringa di caratteri CLOB | byte |
NUMC , ACCP (carattere) |
n | Testo numerico | string |
RAW , LRAW (byte) |
x | Dati binari | byte |
RAWSTRING (byte) |
stringa X | Byte stringa BLOB | byte |
DATS (data/ora) |
d | Data | date |
TIMS (data/ora) |
t | Tempo | ora |
TIMS (data/ora) |
utcl | Utclong), TimeStamp | timestamp |
Limitazioni
Per assicurarti che le pipeline vengano definite ed eseguite correttamente, esamina le seguenti limitazioni dei plug-in:
- Le dimensioni dei pacchetti superiori a 50.000 non sono supportate.
- Le origini dati che non supportano l'estrazione delta non riescono in modalità di sincronizzazione.
- In un'origine dati personalizzata, se le dimensioni del pacchetto non vengono gestite, la pipeline ha esito negativo nelle estrazioni di dati di grandi dimensioni.
Casi d'uso
Sono supportati due contesti di estrazione:
- Origini dati o estrattori (SAPI)
- Contesto ODP ABAP CDS (ABAP_CDS)
Il plug-in ODP supporta le seguenti origini dati standard e personalizzate per entrambi i contesti:
Origine dati ODP | Contesto | Estrazione completa | Estrazione delta |
---|---|---|---|
SAP Standard pre-pubblicazione | SAPI | Supportato | Supportato |
Personalizzata (Z*) | SAPI | Supportato | Supportato |
SAP Standard pre-consegnato | ABAP_CDS | Supportato | Supportato |
Personalizzata (Z*) | ABAP_CDS | Supportato | Supportato |
Note di rilascio
Passaggi successivi
- Scopri di più su Cloud Data Fusion.
- Scopri di più su SAP su Google Cloud.