Sumber batch SAP ODP

Halaman ini memberikan panduan tentang cara mengonfigurasi plugin SAP ODP di Cloud Data Fusion.

Plugin SAP ODP memungkinkan integrasi data massal dari aplikasi SAP dengan BigQuery atau sistem target lain yang didukung menggunakan Cloud Data Fusion. Plugin ini memiliki fitur utama berikut:

Versi software yang didukung

Software Versi
SAP S4/HANA SAP S4/HANA 1909 dan yang lebih baru
SAP ECC SAP ERP6 NW 7.31 SP16 dan yang lebih baru
SAP JCo SAP JCo versi 3.0.20 dan yang lebih baru
Cloud Data Fusion 6.3 dan yang lebih baru

Untuk mengetahui informasi selengkapnya tentang SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.

Sebelum memulai

Siapkan sistem dan layanan berikut yang digunakan oleh plugin SAP ODP:

  1. Konfigurasi sistem SAP ERP. Proses ini mencakup langkah-langkah berikut:
    • Instal file Transport SAP.
    • Siapkan otorisasi dan peran SAP yang diperlukan.
    • Siapkan SAP Java Connector.

  2. Deploy plugin ODP di Cloud Data Fusion.

    • Penting: pilih versi plugin yang kompatibel dengan versi Cloud Data Fusion.
    • Jika Anda mengupgrade versi instance atau plugin Cloud Data Fusion, evaluasi dampak perubahan pada cakupan fungsional dan performa pipeline.

  3. Buat konektivitas RFC antara Cloud Data Fusion dan SAP.

    • Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP.
    • Untuk instance pribadi, siapkan peering jaringan VPC.
    • Sistem SAP dan instance Cloud Data Fusion harus berada di project yang sama.

Mengonfigurasi plugin

  1. Buka antarmuka web Cloud Data Fusion lalu klik Studio.
  2. Pastikan Data Pipeline - Batch dipilih (bukan Realtime).
  3. Di menu Source, klik SapODP. Node SAP ODP akan muncul di pipeline Anda.
  4. Untuk mengonfigurasi sumber, buka node SAP ODP, lalu klik Properties.

  5. Masukkan properti berikut. Untuk mengetahui daftar lengkapnya, lihat Properti.

    1. Masukkan Label untuk node SAP ODP—misalnya, SAP ODP tables.

    2. Masukkan detail koneksi. Anda dapat menyiapkan koneksi baru satu kali, atau koneksi yang sudah ada dan dapat digunakan kembali.

      Koneksi baru

      Untuk menambahkan koneksi sekali pakai ke SAP, ikuti langkah-langkah berikut:

      1. Biarkan Gunakan koneksi dinonaktifkan.

      2. Di bagian Connection, masukkan informasi berikut dari akun SAP di kolom ini:

        1. Di kolom Nama referensi, masukkan nama untuk koneksi yang mengidentifikasi sumber ini untuk silsilah.
        2. Di kolom SAP client, masukkan nama klien dari instance atau lingkungan tertentu dalam SAP. Administrator SAP dapat memberikan nama klien.
        3. Di kolom SAP language, masukkan bahasa login SAP. Defaultnya adalah EN (Inggris).

        4. Pilih salah satu Jenis koneksi berikut.

          • Langsung (melalui SAP Application Server). Jika Anda memilih jenis default ini, masukkan informasi di kolom berikut: SAP application server host, SAP system number, dan SAP router.
          • Load balanced (melalui SAP Message Server). Jika Anda memilih jenis ini, masukkan informasi di kolom berikut: Host SAP Message Server, SAP Message Server service atau nomor port, SAP System ID (SID), dan nama grup login SAP.

        5. Di kolom Konteks, pilih jenis sumber data yang Anda gunakan.

        6. Di kolom SAP ODP source name, masukkan nama sumber data yang Anda gunakan.

        7. Di kolom Jenis ekstraksi, pilih jenis ekstraksi data. Defaultnya adalah Penuh (semua data).

        8. Berikan kredensial SAP: minta nama pengguna login SAP dan Sandi kepada administrator SAP.

        9. Di kolom JCo Library Cloud Storage path, masukkan jalur SAP Java Connector (SAP JCo) di Cloud Storage yang berisi file library SAP JCo yang Anda upload.

        10. Untuk membuat skema berdasarkan metadata dari SAP yang memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai, klik Dapatkan skema. Untuk mengetahui informasi selengkapnya, lihat Pemetaan jenis data.

        11. Opsional: Untuk mengoptimalkan beban penyerapan dari SAP, masukkan informasi di kolom berikut:

          1. Di kolom SAP ODP subscriber name, identifikasi pelanggan untuk ekstraksi data dari DataSource yang valid.
          2. Dengan Opsi filter, Anda dapat mengekstrak data berdasarkan kondisi pilihan.
          3. Di kolom Number of splits, Anda dapat membuat partisi untuk mengekstrak rekaman data secara paralel, yang meningkatkan performa. Jumlah pemisahan dapat memengaruhi proses kerja SAP dan harus dipilih dengan cermat.
          4. Di kolom Package size, tentukan jumlah kumpulan data yang akan diekstrak dalam panggilan jaringan SAP Tunggal. Ukuran paket memengaruhi performa dan resource yang tersedia, serta harus dipilih dengan cermat.

      Koneksi yang dapat digunakan kembali

      Untuk menggunakan kembali koneksi yang ada, ikuti langkah-langkah berikut:

      1. Aktifkan Gunakan koneksi.
      2. Klik Jelajahi koneksi.

      3. Klik nama koneksi.

      Jika koneksi tidak ada, untuk membuat koneksi yang dapat digunakan kembali, ikuti langkah-langkah berikut:

      1. Klik Tambahkan koneksi > SapOdp.
      2. Di halaman Buat koneksi SapOdp yang terbuka, masukkan nama dan deskripsi koneksi.
      3. Di kolom SAP client, masukkan nama klien dari instance atau lingkungan tertentu di SAP. Administrator SAP dapat memberikan nama klien.
      4. Di kolom SAP language, masukkan bahasa login SAP. Defaultnya adalah EN (Inggris).

      5. Pilih salah satu Jenis koneksi berikut.

        • Langsung (melalui SAP Application Server). Jika Anda memilih jenis default ini, masukkan informasi di kolom berikut: SAP application server host, SAP system number, dan SAP router.
        • Load balanced (melalui SAP Message Server). Jika Anda memilih jenis ini, masukkan informasi di kolom berikut: Host SAP Message Server, SAP Message Server service atau nomor port, ID Sistem SAP (SID), dan nama grup login SAP.

      6. Di nama sumber ODP SAP, masukkan nama DataSource ODP dari SAP.

      7. Berikan kredensial SAP: minta administrator SAP untuk memberikan nilai Nama pengguna login SAP dan Sandi.

      8. Di kolom JCo Library Cloud Storage path, masukkan jalur SAP Java Connector (SAP JCo) di Cloud Storage yang berisi file library SAP JCo yang Anda upload.

      9. Di kolom Wait time, masukkan waktu tunggu (dalam detik) sebelum percobaan ulang berikutnya—misalnya, 60.

      10. Di kolom Retry count, masukkan jumlah maksimum upaya percobaan ulang—misalnya, 3.

      11. Opsional: di kolom Additional SAP connection properties, masukkan pasangan nilai kunci yang harus menggantikan setelan default SAP JCo.

      12. Klik Buat.

Properti

Properti Makro diaktifkan Properti wajib Deskripsi
Label Tidak Ya Nama node dalam pipeline data Anda.
Gunakan koneksi Tidak Tidak Gunakan koneksi yang dapat digunakan kembali. Jika koneksi digunakan, Anda tidak perlu memberikan kredensial. Untuk mengetahui informasi selengkapnya, lihat Mengelola koneksi.
Nama Tidak Ya Nama koneksi yang dapat digunakan kembali.
Klien SAP Ya Ya Instance atau lingkungan tertentu dalam sistem SAP.
Bahasa SAP Ya Ya Bahasa yang digunakan untuk menampilkan dan memproses data serta antarmuka pengguna SAP.
Jenis koneksi Tidak Ya Jenis koneksi SAP: Langsung atau Load balanced.
Host server aplikasi SAP Ya Tidak Khusus untuk jenis koneksi Langsung, nama host ini berasal dari Server Aplikasi SAP, yang berfungsi sebagai lapisan middleware antara klien SAP (seperti antarmuka web SAP, browser web, atau aplikasi seluler) dan database yang mendasarinya.
Nomor sistem SAP Ya Tidak Khusus jenis koneksi Langsung, angka ini adalah ID unik yang ditetapkan untuk setiap sistem SAP. Misalnya, 00.
SAP router Ya Tidak Khusus untuk jenis koneksi Langsung, ini adalah string router untuk server proxy, yang menyediakan saluran aman untuk komunikasi antara sistem SAP dan klien atau partner eksternal.
Host SAP Message Server Ya Tidak Khusus untuk jenis koneksi Load balanced, ini adalah nama host, yang memfasilitasi load balancing di beberapa server aplikasi di SAP.
Nomor port atau layanan SAP Message Server Ya Tidak Khusus untuk jenis koneksi Load balanced, ini adalah port jaringan tempat SAP Message Server memproses koneksi masuk dari klien SAP dan server aplikasi dalam SAP.
ID sistem SAP (SID) Ya Tidak Khusus untuk jenis koneksi Load balanced, ID ini ditetapkan ke setiap sistem SAP.
Nama grup logon SAP Ya Tidak Nama pengelompokan atau konfigurasi logis dari beberapa server aplikasi SAP. Nilai defaultnya adalah PUBLIC.
Jenis objek T/A T/A Jenis objek yang didukung: DataSources/Extractors atau ABAP Core Data Services.
Nama sumber SAP ODP Ya Ya Nama DataSource atau tampilan CDS SAP (misalnya, 2LIS_02_ITM).
Jenis ekstraksi Ya Ya Plugin ini mendukung dua jenis ekstraksi data berikut:
  • Penuh (semua data): mengekstrak semua data yang tersedia.
  • Sinkronkan (pemilihan otomatis berdasarkan eksekusi sebelumnya): menentukan apakah mode pemulihan penuh, delta (inkremental), atau (memulihkan data dari eksekusi terakhir) harus dijalankan, berdasarkan jenis dan status eksekusi sebelumnya yang tersedia di SAP. Ekstraksi data lengkap dalam eksekusi pipeline awal (mode ODP F) dan perubahan data dalam eksekusi pipeline berikutnya (mode ODP D, R).
Nama pengguna logon SAP Ya Ya Nama pengguna untuk SAP
Direkomendasikan: Jika nama pengguna berubah secara berkala, gunakan makro.
Sandi logon SAP Ya Ya Sandi SAP.
Direkomendasikan: gunakan makro aman.
Project ID GCP Ya Ya Google Cloud project ID.
Jalur GCS library SAP JCo Ya Ya Jalur ke Cloud Storage tempat Anda mengupload file library SAP JCo.
Mendapatkan skema T/A T/A Plugin ini menghasilkan skema berdasarkan metadata dari SAP, yang memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai. Lihat Pemetaan jenis data.
Nama pelanggan ODP SAP Ya Ya Pelanggan ODP untuk ekstraksi data dari DataSource SAP atau tampilan CDS yang valid. Harus memiliki hal berikut:
  • Maksimum 32 karakter, tanpa spasi
  • Hanya berisi a hingga z, A hingga Z, 0 hingga 9, _, atau /
  • Unik untuk pipeline yang berbeda yang mengekstrak data dari DataSource SAP yang sama
Jika kolom dibiarkan kosong, Cloud Data Fusion akan membuat ID menggunakan kombinasi ID project, namespace, dan nama pipeline. Anda dapat menggunakan kembali langganan sebelumnya, seperti langganan yang dibuat oleh alat pihak ketiga.
Waktu tunggu Ya Tidak Properti ini memungkinkan engineer data memilih waktu tunggu yang sesuai setelah setiap panggilan jaringan dari Cloud Data Fusion ke SAP.
Jumlah percobaan ulang Ya Tidak Jumlah upaya percobaan ulang saat menunggu panggilan jaringan selesai.
Opsi filter (sama dengan) Ya Tidak Nilai yang harus dimiliki kolom agar dapat dibaca.
Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Mereka menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak.
Kunci filter sesuai dengan kolom dalam skema. Nilainya harus berupa jenis sederhana (bukan ARRAY, RECORD, atau UNION). Contoh penggunaan:
Nama kolom: MTART
Nilai: FERT
Opsi filter (rentang) Ya Tidak Batas rendah dan tinggi nilai yang harus dimiliki kolom agar dapat dibaca.
Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Mereka menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak.
Kunci filter sesuai dengan kolom dalam skema. Formatnya adalah rendah DAN tinggi. Contoh penggunaan:
Nama kolom: ERDAT
Nilai rendah: 2023-11-01
Nilai tinggi: 2023-11-30
Opsi filter (kurang dari atau sama dengan) Ya Tidak Nilai yang harus lebih kecil dari atau sama dengan nilai kolom.
Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Mereka menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak.
Kunci filter sesuai dengan kolom dalam skema. Nilainya harus berupa jenis sederhana (bukan ARRAY, RECORD, atau UNION). Contoh penggunaan:
Nama kolom: MATNR
Nilai: 10008
Opsi filter (lebih besar atau sama dengan) Ya Tidak Nilai yang harus lebih besar dari nilai kolom agar dapat dibaca.
Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Mereka menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak.
Kunci filter sesuai dengan kolom dalam skema. Nilainya harus berupa jenis sederhana (bukan ARRAY, RECORD, atau UNION). Contoh penggunaan:
Nama kolom: MATNR
Nilai: 10008
Opsi filter (tidak sama dengan) Ya Tidak Menentukan nilai yang tidak boleh sama dengan kolom agar dapat dibaca.
Opsi filter adalah daftar nama kolom metadata dan pasangan nilainya. Mereka menentukan kondisi filter yang akan diterapkan saat membaca data dari SAP DataSource. Hanya data yang memenuhi kondisi yang diekstrak.
Kunci filter sesuai dengan kolom dalam skema. Nilainya harus berupa jenis sederhana (bukan ARRAY, RECORD, atau UNION). Contoh penggunaan:
Nama kolom: MTART
Nilai: FERT
Jumlah pemisahan yang akan dibuat Ya Tidak Membuat partisi untuk mengekstrak rekaman secara paralel.
Mesin runtime membuat jumlah partisi yang ditentukan (dan koneksi SAP) saat mengekstrak data.
Berhati-hatilah saat meningkatkan nilai ini karena akan meningkatkan koneksi serentak dengan SAP.
Direkomendasikan: rencanakan koneksi SAP untuk setiap pipeline dan jumlah total pipeline yang berjalan secara bersamaan.
Jika nilainya 0 atau dibiarkan kosong, Cloud Data Fusion akan memilih nilai yang sesuai, berdasarkan jumlah eksekutor yang tersedia, jumlah rekaman yang akan diekstrak, dan ukuran paket.
Ukuran paket (dalam KB) Ya Tidak Jumlah kumpulan data yang akan diekstrak dalam satu panggilan jaringan SAP. Parameter ini adalah jumlah data yang di-buffer SAP dalam memori selama setiap panggilan ekstraksi jaringan.
Berhati-hatilah saat menyetel properti ini. Beberapa pipeline data yang mengekstrak data dapat mencapai puncak penggunaan memori, sehingga menyebabkan kegagalan karena error Out of memory.
  • Masukkan bilangan bulat positif.
  • Jika 0 atau dibiarkan kosong, plugin akan menggunakan nilai standar 70000, atau nilai yang dihitung dengan tepat.
  • Jika pipeline data gagal karena error Out of memory, kurangi ukuran paket atau tingkatkan memori yang tersedia untuk proses kerja SAP Anda.
Properti koneksi SAP tambahan Ya Tidak Tetapkan properti SAP JCo tambahan untuk mengganti default SAP JCo. Misalnya, menyetel jco.destination.pool_capacity = 10 akan menggantikan kapasitas pool koneksi default.

Pemetaan jenis data

Tabel berikut adalah daftar jenis data SAP dengan jenis Cloud Data Fusion yang sesuai.

Jenis data SAP Jenis ABAP Deskripsi SAP Jenis data Cloud Data Fusion
INT1 (Numerik) b Bilangan bulat 1 byte int
INT2 (Numerik) s Bilangan bulat 2 byte int
INT4 (Numerik) i Bilangan bulat 4 byte int
INT8 (Numerik) 8 Bilangan bulat 8 byte long
DEC (Numerik) p Angka yang dikemas dalam format BCD (DEC) decimal
DF16_DEC, DF16_RAW (Numerik) a Floating point desimal 8 byte IEEE 754r double
DF34_DEC, DF34_RAW (Numerik) e Floating point desimal 16 byte IEEE 754r double
FLTP (Numerik) f Bilangan floating point biner double
CHAR, LCHR (Karakter) c String karakter string
SSTRING, GEOM_EWKB (Karakter) string String karakter string
STRING (Karakter) string CLOB string karakter byte
NUMC, ACCP (Karakter) n Teks numerik string
RAW, LRAW (Byte) x Data biner byte
RAWSTRING (Byte) xstring BLOB string byte byte
DATS (Tanggal/Waktu) d Tanggal tanggal
TIMS (Tanggal/Waktu) t Waktu waktu
TIMS (Tanggal/Waktu) utcl Utclong), TimeStamp timestamp

Batasan

Untuk memastikan pipeline ditentukan dan dieksekusi dengan benar, tinjau batasan plugin berikut:

  • Ukuran paket yang lebih besar dari 50 ribu tidak didukung.
  • Sumber data yang tidak mendukung ekstraksi delta akan gagal dalam mode Sinkronisasi.
  • Di sumber data kustom, jika ukuran paket tidak ditangani, maka pipeline akan gagal dalam ekstraksi data berukuran besar.

Kasus penggunaan

Dua konteks ekstraksi didukung:

  • DataSource atau Ekstraktor (SAPI)
  • ABAP CDS konteks ODP (ABAP_CDS)

Plugin ODP mendukung sumber data standar dan kustom berikut untuk kedua konteks:

Sumber data ODP Konteks Ekstraksi penuh Ekstraksi delta
SAP Standard yang telah disediakan sebelumnya SAPI Didukung Didukung
Kustom (Z*) SAPI Didukung Didukung
SAP Standard yang telah disediakan sebelumnya ABAP_CDS Didukung Didukung
Kustom (Z*) ABAP_CDS Didukung Didukung

Langkah berikutnya