Plugin SAP ODP memungkinkan integrasi data massal dari aplikasi SAP dengan BigQuery atau sistem target lain yang didukung menggunakan Cloud Data Fusion. Plugin ini memiliki fitur utama berikut:
- Menggunakan SAP ECC, SAP S4/HANA, atau SAP BW sebagai sistem sumber
- Menggunakan SAP CDC (Change Data Capture) untuk melacak dan mengekstrak data baru dan delta di sumber data
- Menggunakan mode ekstraksi batch
- Mendukung SAP DataSources dan tampilan ABAP CDS sebagai sumber data
Versi software yang didukung
Software | Versi |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 dan yang lebih baru |
SAP ECC | SAP ERP6 NW 7.31 SP16 dan yang lebih baru |
SAP JCo | SAP JCo versi 3.0.20 dan yang lebih baru |
Cloud Data Fusion | 6.3 dan yang lebih baru |
Untuk mengetahui informasi selengkapnya tentang SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.
Sebelum memulai
Siapkan sistem dan layanan berikut yang digunakan oleh plugin SAP ODP:
- Mengonfigurasi sistem SAP ERP.
Proses ini mencakup langkah-langkah berikut:
- Instal file Transport SAP.
- Siapkan otorisasi dan peran SAP yang diperlukan.
- Siapkan SAP Java Connector.
Deploy plugin ODP di Cloud Data Fusion.
- Penting: pilih versi plugin yang kompatibel dengan versi Cloud Data Fusion.
- Jika Anda mengupgrade versi instance atau plugin Cloud Data Fusion, evaluasi dampak perubahan pada cakupan dan performa fungsional pipeline.
Buat konektivitas RFC antara Cloud Data Fusion dan SAP.
- Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP.
- Untuk instance pribadi, siapkan peering jaringan VPC.
- Sistem SAP dan instance Cloud Data Fusion harus berada di project yang sama.
Mengonfigurasi plugin
- Buka antarmuka web Cloud Data Fusion dan klik Studio.
- Pastikan Data Pipeline - Batch dipilih (bukan Real-Time).
- Di menu Sumber, klik SapODP. Node ODP SAP akan muncul di pipeline Anda.
- Untuk mengonfigurasi sumber, buka node ODP SAP, lalu klik Properti.
Masukkan properti berikut. Untuk mengetahui daftar lengkapnya, lihat Properti.
- Masukkan Label untuk node SAP ODP—misalnya,
SAP ODP tables
. Masukkan detail koneksi. Anda dapat menyiapkan koneksi baru satu kali, atau koneksi yang sudah ada dan dapat digunakan kembali.
Koneksi baru
Untuk menambahkan koneksi satu kali ke SAP, ikuti langkah-langkah berikut:
- Tetap nonaktifkan Gunakan koneksi.
Di bagian Connection, masukkan informasi berikut dari akun SAP di kolom ini:
- Di kolom Reference name, masukkan nama untuk koneksi yang mengidentifikasi sumber ini untuk garis keturunan.
- Di kolom SAP client, masukkan nama klien dari instance atau lingkungan tertentu dalam SAP. Administrator SAP dapat memberikan nama klien.
- Di kolom SAP language, masukkan bahasa login SAP. Defaultnya adalah EN (Inggris).
Pilih salah satu Jenis koneksi berikut.
- Langsung (melalui Server Aplikasi SAP). Jika Anda memilih jenis default ini, masukkan informasi di kolom berikut: Host server aplikasi SAP, Nomor sistem SAP, dan Router SAP.
- Load balanced (melalui SAP Message Server). Jika Anda memilih jenis ini, masukkan informasi di kolom berikut: host SAP Message Server, layanan atau nomor port SAP Message Server, ID Sistem SAP (SID), dan nama grup login SAP.
Di kolom Context, pilih jenis sumber data yang Anda gunakan.
Di kolom SAP ODP source name, masukkan nama sumber data yang Anda gunakan.
Di kolom Extract type, pilih jenis ekstraksi data. Default-nya adalah Lengkap (semua data).
Berikan kredensial SAP: minta Nama pengguna login SAP dan Sandi kepada administrator SAP.
Di kolom JCo Library Cloud Storage path, masukkan jalur SAP JCo Connector (SAP JCo) di Cloud Storage yang berisi file library SAP JCo yang Anda upload.
Untuk membuat skema berdasarkan metadata dari SAP yang memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai, klik Get schema. Untuk mengetahui informasi selengkapnya, lihat Pemetaan jenis data.
Opsional: untuk mengoptimalkan beban transfer dari SAP, masukkan informasi di kolom berikut:
- Di kolom SAP ODP subscriber name, identifikasi pelanggan untuk ekstraksi data dari DataSource yang valid.
- Dengan menggunakan Opsi filter, Anda dapat mengekstrak data berdasarkan kondisi pilihan.
- Di kolom Jumlah pemisahan, Anda dapat membuat partisi untuk mengekstrak kumpulan data secara paralel, yang meningkatkan performa. Jumlah pemisahan dapat memengaruhi proses kerja SAP dan harus dipilih dengan cermat.
- Di kolom Package size, tentukan jumlah kumpulan data yang akan diekstrak dalam satu panggilan jaringan SAP. Ukuran paket memengaruhi performa dan resource yang tersedia dan harus dipilih dengan cermat.
Koneksi yang dapat digunakan kembali
Untuk menggunakan kembali koneksi yang ada, ikuti langkah-langkah berikut:
- Aktifkan Gunakan koneksi.
- Klik Jelajahi koneksi.
Klik nama koneksi.
Jika koneksi tidak ada, untuk membuat koneksi yang dapat digunakan kembali, ikuti langkah-langkah berikut:
- Klik Tambahkan koneksi > SapOdp.
- Di halaman Buat koneksi SapOdp yang terbuka, masukkan nama dan deskripsi koneksi.
- Di kolom SAP client, masukkan nama klien dari instance atau lingkungan tertentu di SAP. Administrator SAP dapat memberikan nama klien.
- Di kolom SAP language, masukkan bahasa login SAP. Defaultnya adalah EN (Inggris).
Pilih salah satu Jenis koneksi berikut.
- Langsung (melalui Server Aplikasi SAP). Jika Anda memilih jenis default ini, masukkan informasi di kolom berikut: Host server aplikasi SAP, Nomor sistem SAP, dan Router SAP.
- Load balanced (melalui SAP Message Server). Jika Anda memilih jenis ini, masukkan informasi di kolom berikut: Host SAP Message Server, layanan SAP Message Server atau nomor port, ID Sistem SAP (SID), dan nama grup login SAP.
Di nama sumber ODP SAP, masukkan nama DataSource ODP dari SAP.
Berikan kredensial SAP: minta nilai Nama pengguna login SAP dan Sandi kepada administrator SAP.
Di kolom JCo Library Cloud Storage path, masukkan jalur SAP Java Connector (SAP JCo) di Cloud Storage yang berisi file library SAP JCo yang Anda upload.
Di kolom Wait time, masukkan waktu tunggu (dalam detik) sebelum percobaan ulang berikutnya—misalnya,
60
.Di kolom Retry count, masukkan jumlah maksimum percobaan ulang—misalnya,
3
.Opsional: di kolom Additional SAP connection properties, masukkan pasangan nilai kunci yang harus mengganti setelan default JCo SAP.
Klik Create.
- Masukkan Label untuk node SAP ODP—misalnya,
Properti
Properti | Makro diaktifkan | Properti wajib | Deskripsi |
---|---|---|---|
Label | Tidak | Ya | Nama node di pipeline data Anda. |
Menggunakan koneksi | Tidak | Tidak | Gunakan koneksi yang dapat digunakan kembali. Jika koneksi digunakan, Anda tidak perlu menyediakan kredensial. Untuk mengetahui informasi selengkapnya, lihat Mengelola koneksi. |
Nama | Tidak | Ya | Nama koneksi yang dapat digunakan kembali. |
Klien SAP | Ya | Ya | Instance atau lingkungan tertentu dalam sistem SAP. |
Bahasa SAP | Ya | Ya | Bahasa yang digunakan untuk menampilkan dan memproses antarmuka pengguna dan data SAP. |
Jenis koneksi | Tidak | Ya | Jenis koneksi SAP: Langsung atau Load balanced. |
Host server aplikasi SAP | Ya | Tidak | Khusus untuk jenis koneksi Langsung, nama host ini berasal dari Server Aplikasi SAP, yang berfungsi sebagai lapisan middleware antara klien SAP (seperti antarmuka web SAP, browser web, atau aplikasi seluler) dan database yang mendasarinya. |
Nomor sistem SAP | Ya | Tidak | Khusus untuk jenis koneksi Langsung, angka ini adalah
ID unik yang ditetapkan ke setiap sistem SAP. Misalnya,
00 . |
Router SAP | Ya | Tidak | Khusus untuk jenis koneksi Langsung, ini adalah string router untuk server proxy, yang menyediakan saluran aman untuk komunikasi antara sistem SAP dan klien atau partner eksternal. |
Host Server Pesan SAP | Ya | Tidak | Khusus untuk jenis koneksi Load balanced, ini adalah nama host, yang memfasilitasi load balancing di beberapa server aplikasi di SAP. |
Layanan atau nomor port Server Pesan SAP | Ya | Tidak | Khusus untuk jenis koneksi Load balanced, ini adalah port jaringan tempat Server Pesan SAP memproses koneksi masuk dari klien SAP dan server aplikasi dalam SAP. |
ID sistem SAP (SID) | Ya | Tidak | Khusus untuk jenis koneksi Load balanced, ID ini ditetapkan ke setiap sistem SAP. |
Nama grup login SAP | Ya | Tidak | Nama pengelompokan atau konfigurasi logis dari beberapa server aplikasi SAP. Nilai defaultnya adalah PUBLIC . |
Jenis objek | T/A | T/A | Jenis objek yang didukung: DataSources/Extractors atau ABAP Core Data Services. |
Nama sumber SAP ODP | Ya | Ya | Nama tampilan CDS atau DataSources SAP (misalnya,
2LIS_02_ITM ). |
Jenis ekstrak | Ya | Ya | Plugin ini mendukung dua jenis ekstraksi data berikut:
|
Nama pengguna login SAP | Ya | Ya | Nama pengguna untuk SAP Direkomendasikan: Jika nama pengguna berubah secara berkala, gunakan makro. |
Sandi login SAP | Ya | Ya | Sandi SAP. Direkomendasikan: gunakan makro aman. |
ID project GCP | Ya | Ya | ID project Google Cloud. |
Jalur GCS library JCo SAP | Ya | Ya | Jalur ke Cloud Storage tempat Anda mengupload file library SAP JCo. |
Dapatkan skema | T/A | T/A | Plugin ini menghasilkan skema berdasarkan metadata dari SAP, yang memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai. Lihat Pemetaan jenis data. |
Nama pelanggan SAP ODP | Ya | Ya | Pelanggan ODP untuk ekstraksi data dari tampilan CDS atau DataSource SAP yang valid. Harus memiliki hal berikut:
|
Waktu tunggu | Ya | Tidak | Properti ini memungkinkan engineer data memilih waktu tunggu yang sesuai setelah setiap panggilan jaringan dari Cloud Data Fusion ke SAP. |
Jumlah percobaan ulang | Ya | Tidak | Jumlah upaya percobaan ulang saat menunggu panggilan jaringan selesai. |
Opsi filter (sama dengan) | Ya | Tidak | Nilai yang harus dimiliki kolom agar dapat dibaca. Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Fungsi ini menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak. Kunci filter sesuai dengan kolom dalam skema. Kolom ini harus berjenis sederhana (bukan ARRAY , RECORD , atau UNION ). Contoh penggunaan:Nama kolom: MTART Nilai: FERT |
Opsi filter (rentang) | Ya | Tidak | Batas rendah dan tinggi menentukan nilai yang harus dimiliki kolom agar dapat dibaca. Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Fungsi ini menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak. Kunci filter sesuai dengan kolom dalam skema. Formatnya adalah rendah DAN tinggi. Contoh penggunaan: Nama kolom: ERDAT Nilai rendah: 2023-11-01 Nilai tinggi: 2023-11-30 |
Opsi filter (kurang sama dengan) | Ya | Tidak | Nilai yang harus kurang dari atau sama dengan kolom. Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Fungsi ini menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak. Kunci filter sesuai dengan kolom dalam skema. Kolom ini harus berjenis sederhana (bukan ARRAY , RECORD , atau UNION ). Contoh penggunaan:Nama kolom: MATNR Nilai: 10008 |
Opsi filter (lebih besar sama dengan) | Ya | Tidak | Nilai yang harus lebih besar dari kolom agar dapat dibaca. Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Fungsi ini menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak. Kunci filter sesuai dengan kolom dalam skema. Kolom ini harus berjenis sederhana (bukan ARRAY , RECORD , atau UNION ). Contoh penggunaan:Nama kolom: MATNR Nilai: 10008 |
Opsi filter (tidak sama) | Ya | Tidak | Menentukan nilai yang tidak boleh sama dengan kolom yang akan dibaca. Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Fungsi ini menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak. Kunci filter sesuai dengan kolom dalam skema. Kolom ini harus berjenis sederhana (bukan ARRAY , RECORD , atau UNION ). Contoh penggunaan:Nama kolom: MTART Nilai: FERT |
Jumlah pemisahan yang akan dihasilkan | Ya | Tidak | Membuat partisi untuk mengekstrak data secara paralel. Mesin runtime membuat jumlah partisi (dan koneksi SAP) yang ditentukan saat mengekstrak data. Berhati-hatilah saat menaikkan nilai ini karena akan meningkatkan koneksi serentak dengan SAP. Direkomendasikan: rencanakan koneksi SAP untuk setiap pipeline dan jumlah total pipeline yang berjalan secara serentak. Jika nilainya 0 atau dibiarkan kosong, Cloud Data Fusion akan memilih nilai yang sesuai, berdasarkan jumlah eksekutor yang tersedia, data yang akan diekstrak, dan ukuran paket. |
Ukuran paket (dalam KB) | Ya | Tidak | Jumlah kumpulan data yang akan diekstrak dalam satu panggilan jaringan SAP. Ini adalah
jumlah data yang di-buffer SAP dalam memori selama setiap panggilan
ekstrasi jaringan. Berhati-hatilah saat menetapkan properti ini. Beberapa pipeline data yang mengekstrak data dapat memaksimalkan penggunaan memori, sehingga menyebabkan kegagalan karena error Out of memory .
|
Properti koneksi SAP tambahan | Ya | Tidak | Tetapkan properti SAP JCo tambahan untuk mengganti setelan default SAP JCo.
Misalnya, menetapkan jco.destination.pool_capacity = 10 akan mengganti kapasitas kumpulan koneksi default. |
Pemetaan jenis data
Tabel berikut adalah daftar jenis data SAP dengan jenis Cloud Data Fusion yang sesuai.
Jenis data SAP | Jenis ABAP | Deskripsi SAP | Jenis data Cloud Data Fusion |
---|---|---|---|
INT1 (Numerik) |
b | Bilangan bulat 1 byte | int |
INT2 (Numerik) |
s | Bilangan bulat 2 byte | int |
INT4 (Numerik) |
i | Bilangan bulat 4 byte | int |
INT8 (Numerik) |
8 | Bilangan bulat 8 byte | long |
DEC (Numerik) |
p | Angka yang dipaketkan dalam format BCD (DEC) | decimal |
DF16_DEC , DF16_RAW (Numerik) |
a | Floating point desimal 8 byte IEEE 754r | double |
DF34_DEC , DF34_RAW (Numerik) |
e | Floating point desimal 16 byte IEEE 754r | double |
FLTP (Numerik) |
f | Bilangan floating point biner | double |
CHAR , LCHR (Karakter) |
c | String karakter | string |
SSTRING , GEOM_EWKB (Karakter) |
string | String karakter | string |
STRING (Karakter) |
string | CLOB string karakter | byte |
NUMC , ACCP (Karakter) |
n | Teks numerik | string |
RAW , LRAW (Byte) |
x | Data biner | byte |
RAWSTRING (Byte) |
xstring | BLOB string byte | byte |
DATS (Tanggal/Waktu) |
d | Tanggal | date |
TIMS (Tanggal/Waktu) |
t | Waktu | waktu |
TIMS (Tanggal/Waktu) |
utcl | Utclong), TimeStamp | timestamp |
Batasan
Untuk memastikan pipeline ditentukan dan dijalankan dengan benar, tinjau batasan plugin berikut:
- Ukuran paket yang lebih besar dari 50 ribu tidak didukung.
- Sumber data yang tidak mendukung ekstraksi delta akan gagal dalam mode Sinkronisasi.
- Di sumber data kustom, jika ukuran paket tidak ditangani, pipeline akan gagal dalam ekstraksi data besar.
Kasus penggunaan
Dua konteks ekstraksi didukung:
- DataSources atau Extractors (SAPI)
- CDS ABAP konteks ODP (ABAP_CDS)
Plugin ODP mendukung sumber data standar dan kustom berikut untuk kedua konteks:
Sumber data ODP | Konteks | Ekstraksi penuh | Ekstraksi delta |
---|---|---|---|
SAP Standard yang sudah dikirimkan | SAPI | Didukung | Didukung |
Kustom (Z*) | SAPI | Didukung | Didukung |
SAP Standard yang sudah dikirimkan | ABAP_CDS | Didukung | Didukung |
Kustom (Z*) | ABAP_CDS | Didukung | Didukung |
Langkah selanjutnya
- Pelajari Cloud Data Fusion lebih lanjut.
- Pelajari SAP di Google Cloud lebih lanjut.