Sumber batch SAP OData

Panduan ini menjelaskan cara men-deploy, mengonfigurasi, dan menjalankan pipeline data yang menggunakan plugin SAP OData.

Anda dapat menggunakan SAP sebagai sumber untuk ekstraksi data berbasis batch di Cloud Data Fusion menggunakan Open Data Protocol (OData). Plugin SAP OData membantu Anda mengonfigurasi dan menjalankan transfer data dari SAP OData Catalog Services tanpa coding apa pun.

Untuk mengetahui informasi selengkapnya tentang Layanan dan DataSources SAP OData Catalog yang didukung, lihat detail dukungan. Untuk mengetahui informasi selengkapnya tentang SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.

Tujuan

• Mengonfigurasi sistem ERP SAP (mengaktifkan DataSources di SAP).
• Deploy plugin di lingkungan Cloud Data Fusion Anda.
• Download transpor SAP dari Cloud Data Fusion dan instal di SAP.

• Gunakan Cloud Data Fusion dan SAP OData untuk membuat pipeline data guna mengintegrasikan data SAP.

Sebelum memulai

Untuk menggunakan plugin ini, Anda memerlukan pengetahuan domain dalam area berikut:

• Membuat pipeline di Cloud Data Fusion
• Pengelolaan akses dengan IAM
• Mengonfigurasi sistem SAP Cloud dan enterprise resource planning (ERP) lokal

Peran pengguna

Tugas di halaman ini dijalankan oleh orang dengan peran berikut di Google Cloud atau di sistem SAP mereka:

Jenis pengguna	Deskripsi
Admin Google Cloud	Pengguna yang diberi peran ini adalah administrator akun Google Cloud.
Pengguna Cloud Data Fusion	Pengguna yang diberi peran ini diberi otorisasi untuk mendesain dan menjalankan pipeline data. Mereka setidaknya diberi peran Data Fusion Viewer ( roles/datafusion.viewer). Jika menggunakan kontrol akses berbasis peran, Anda mungkin memerlukan peran tambahan.
Admin SAP	Pengguna yang diberi peran ini adalah administrator sistem SAP. Mereka memiliki akses untuk mendownload software dari situs layanan SAP. Ini bukan peran IAM.
Pengguna SAP	Pengguna yang diberi peran ini diberi otorisasi untuk terhubung ke sistem SAP. Ini bukan peran IAM.

Prasyarat untuk ekstraksi OData

1. Layanan OData Catalog harus diaktifkan di sistem SAP.

2. Data harus diisi di layanan OData.

Prasyarat untuk sistem SAP Anda

• Dalam rilis SAP NetWeaver 7.02 hingga SAP NetWeaver 7.31, fungsi Gateway OData dan SAP dikirimkan dengan komponen software SAP berikut:

  • IW_FND
  • GW_CORE
  • IW_BEP

• Pada rilis SAP NetWeaver 7.40 dan yang lebih baru, semua fungsi tersedia di komponen SAP_GWFND, yang harus tersedia di SAP NetWeaver.

Opsional: Menginstal file transport SAP

Komponen SAP yang diperlukan untuk panggilan load balancing ke SAP dikirimkan sebagai file transpor SAP yang diarsipkan sebagai file zip (satu permintaan transport, yang terdiri dari satu cofile dan satu file data). Anda dapat menggunakan langkah ini untuk membatasi beberapa panggilan paralel ke SAP, berdasarkan proses kerja yang tersedia di SAP.

Download file zip tersedia saat Anda men-deploy plugin di Cloud Data Fusion Hub.

Download file zip transportasi SAP ODATA

ID permintaan transpor SAP dan file terkait diberikan dalam tabel berikut:

ID Transport	{i>Cofile<i}	File data	Konten
ED1K900360	K900360.ED1	R900360.ED1	Modul fungsi RFC yang diekspos melalui OData

Saat Anda mengimpor file transpor ke SAP, project OData SAP berikut akan dibuat:

• Project OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Node layanan IIC: GOOG

Untuk menginstal transport SAP, ikuti langkah-langkah berikut:

Langkah 1: Upload file permintaan transportasi

1. Login ke sistem operasi Instance SAP.
2. Gunakan kode transaksi SAP AL11 guna mendapatkan jalur untuk folder DIR_TRANS. Biasanya, jalurnya adalah /usr/sap/trans/.
3. Salin cofile ke folder DIR_TRANS/cofiles.
4. Salin file data ke folder DIR_TRANS/data.
5. Tetapkan data dan cofile Pengguna dan Grup ke <sid>adm dan sapsys.

Langkah 2: Impor file permintaan transportasi

Administrator SAP dapat mengimpor file permintaan transportasi menggunakan salah satu opsi berikut:

Opsi 1: Impor file permintaan transportasi menggunakan sistem pengelolaan transportasi SAP

1. Login ke sistem SAP sebagai administrator SAP.
2. Masukkan STMS transaksi.
3. Klik Overview > Imports.
4. Di kolom Queue, klik dua kali SID saat ini.
5. Klik Tambahan > Permintaan lainnya > Tambahkan.
6. Pilih ID permintaan transportasi, lalu klik Lanjutkan.
7. Pilih permintaan transportasi di antrean impor, lalu klik Request > Import.
8. Masukkan Nomor klien.

9. Pada tab Options, pilih override originals dan Ignore invalid component version (jika tersedia).

   (Opsional) Untuk menjadwalkan impor ulang transport di lain waktu, pilih Biarkan permintaan transportasi dalam antrean untuk impor nanti dan Impor permintaan transportasi lagi. Hal ini berguna untuk upgrade sistem SAP dan pemulihan cadangan.

10. Klik Lanjutkan.

11. Untuk memverifikasi impor, gunakan transaksi apa pun, seperti SE80 dan SU01.

Opsi 2: Mengimpor file permintaan transportasi pada tingkat sistem operasi

1. Login ke sistem SAP sebagai administrator sistem SAP.

2. Tambahkan permintaan yang sesuai ke buffering impor dengan menjalankan perintah berikut:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Contoh: tp addtobuffer IB1K903958 DD1

3. Impor permintaan transport dengan menjalankan perintah berikut:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Ganti NNN dengan nomor klien. Contoh: tp import IB1K903958 DD1 client=800 U1238

   Catatan: U1238 menunjukkan untuk menyetel opsi yang dijelaskan pada langkah 9-10 di Opsi 1. Nomor tersebut menunjukkan nomor urut opsi yang sesuai di GUI SAP, yang mungkin bervariasi menurut sistem. Jumlah tersebut perlu disesuaikan oleh administrator SAP Anda.

4. Pastikan bahwa modul fungsi dan peran otorisasi berhasil diimpor menggunakan transaksi yang sesuai, seperti SE80 dan SU01.

Mendapatkan daftar kolom yang dapat difilter untuk layanan katalog SAP

Hanya beberapa kolom DataSource yang dapat digunakan untuk kondisi filter (ini adalah batasan SAP secara desain).

Guna mendapatkan daftar kolom yang dapat difilter untuk layanan katalog SAP, ikuti langkah-langkah berikut:

1. Login ke sistem SAP.
2. Buka t-code SEGW.

3. Masukkan nama Project OData yang merupakan substring nama Layanan. Misalnya:

   • Nama layanan: MM_PUR_POITEMS_MONI_SRV
   • Nama project: MM_PUR_POITEMS_MONI

4. Klik Enter.

5. Buka entitas yang ingin difilter, lalu pilih Properti.

   Anda dapat menggunakan kolom yang ditampilkan di Properti sebagai filter. Operasi yang didukung adalah Equal dan Between (Range).

   

Untuk mengetahui daftar operator yang didukung dalam bahasa ekspresi, lihat dokumentasi open source OData: Konvensi URI (OData Versi 2.0).

Contoh URI dengan filter:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Mengonfigurasi sistem ERP SAP

Admin SAP melakukan tugas-tugas di bagian ini.

Plugin SAP OData menggunakan layanan OData yang diaktifkan di setiap Server SAP tempat data diekstrak. Layanan OData ini dapat berupa standar yang disediakan oleh SAP atau layanan OData kustom yang dikembangkan di sistem SAP Anda.

Langkah 1: Instal SAP Gateway 2.0

Admin SAP (Basis) harus memverifikasi bahwa komponen SAP Gateway 2.0 tersedia dalam sistem sumber SAP, bergantung pada rilis NetWeaver. Untuk informasi selengkapnya tentang cara menginstal SAP Gateway 2.0, login ke SAP ONE Support Launchpad dan lihat Catatan 1569624 (harus login) .

Langkah 2: Aktifkan layanan OData

Aktifkan layanan OData yang diperlukan di sistem sumber. Untuk mengetahui informasi selengkapnya, lihat Server frontend: Mengaktifkan layanan OData.

Langkah 3: Buat Peran Otorisasi

Untuk terhubung ke DataSource, buat Peran Otorisasi dengan otorisasi yang diperlukan di SAP, lalu berikan peran tersebut kepada pengguna SAP.

Untuk membuat Peran Otorisasi di SAP, ikuti langkah-langkah berikut:

1. Di GUI SAP, masukkan kode transaksi PFCG untuk membuka jendela Role Pemeliharaan.

2. Di kolom Peran, masukkan nama untuk peran tersebut.

   Contoh: ZODATA_AUTH

3. Klik Peran Tunggal.

   Jendela Create Roles akan terbuka.

4. Di kolom Description, masukkan deskripsi, lalu klik Save.

   Misalnya: Authorizations for SAP OData plugin.

5. Klik tab Authorizations. Judul jendela akan berubah menjadi Change Roles.

6. Di bagian Edit Authorization Data and Generate Profiles, klik Change Authorization Data.

   Jendela Choose Template akan terbuka.

7. Klik Jangan pilih template.

   Jendela Ubah peran: Otorisasi akan terbuka.

8. Klik Manual.

9. Berikan otorisasi yang ditampilkan dalam tabel Otorisasi SAP berikut.

10. Klik Save.

11. Untuk mengaktifkan Peran Otorisasi, klik ikon Buat.

Otorisasi SAP

Class Objek	Teks Class Objek	Objek otorisasi	Teks objek otorisasi	Otorisasi	Text	Nilai
AAAB	Objek Otorisasi Lintas Aplikasi	S_SERVICE	Pemeriksaan di Awal Layanan Eksternal	SRV_NAME	Nama modul program, transaksi, atau fungsi	*
AAAB	Objek Otorisasi Lintas Aplikasi	S_SERVICE	Pemeriksaan di Awal Layanan Eksternal	SRV_TYPE	Jenis Tanda Pemeriksaan dan Nilai Default Otorisasi	HT
FI	Akuntansi Keuangan	F_UNI_HIER	Akses Hierarki Universal	ACTV	Aktivitas	03
FI	Akuntansi Keuangan	F_UNI_HIER	Akses Hierarki Universal	HRYTYPE	Jenis Hierarki	*
FI	Akuntansi Keuangan	F_UNI_HIER	Akses Hierarki Universal	{i>HRYID<i}	ID Hierarki	*

Untuk mendesain dan menjalankan pipeline data di Cloud Data Fusion (sebagai pengguna Cloud Data Fusion), Anda memerlukan kredensial pengguna SAP (nama pengguna dan sandi) untuk mengonfigurasi plugin agar terhubung ke DataSource.

Pengguna SAP harus berjenis Communications atau Dialog. Untuk menghindari penggunaan resource dialog SAP, jenis Communications direkomendasikan. Pengguna dapat dibuat menggunakan kode transaksi SU01 SAP.

Opsional: Langkah 4: Amankan koneksi

Anda dapat mengamankan komunikasi melalui jaringan antara instance Cloud Data Fusion pribadi dan SAP.

Catatan: Sertifikat X.509 diperlukan untuk tugas ini.

Untuk mengamankan koneksi, ikuti langkah-langkah berikut:

1. Admin SAP harus membuat sertifikat X509. Untuk membuat sertifikat, lihat Membuat PSE Server SSL.
2. Google Cloud Admin harus menyalin file X509 ke bucket Cloud Storage yang dapat dibaca di project yang sama dengan instance Cloud Data Fusion dan memberikan jalur bucket kepada pengguna Cloud Data Fusion, yang memasukkannya saat mengonfigurasi plugin.
3. Admin Google Cloud harus memberikan akses baca untuk file X509 kepada pengguna Cloud Data Fusion yang mendesain dan menjalankan pipeline.

Opsional: Langkah 5: Buat layanan OData kustom

Anda dapat menyesuaikan cara ekstraksi data dengan membuat layanan OData kustom di SAP:

• Untuk membuat layanan OData kustom, lihat Pembuatan layanan OData bagi pemula.
• Untuk membuat layanan OData kustom menggunakan tampilan layanan data inti (CDS), lihat Cara Membuat layanan OData dan Mengekspos Tampilan CDS sebagai layanan OData.
• Semua layanan OData kustom harus mendukung kueri $top, $skip, dan $count. Kueri ini memungkinkan plugin mempartisi data untuk ekstraksi berurutan dan paralel. Jika digunakan, kueri $filter, $expand, atau $select juga harus didukung.

Menyiapkan Cloud Data Fusion

Pengguna Cloud Data Fusion akan menjalankan tugas-tugas di bagian ini.

Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP. Untuk instance pribadi, siapkan peering jaringan. Setelah peering jaringan dibuat dengan project tempat Sistem SAP dihosting, tidak ada konfigurasi tambahan yang diperlukan untuk terhubung ke instance Cloud Data Fusion Anda. Sistem SAP dan instance Cloud Data Fusion harus berada di dalam project yang sama.

Langkah 1: Siapkan lingkungan Cloud Data Fusion

Untuk mengonfigurasi lingkungan Cloud Data Fusion untuk plugin:

1. Buka detail instance:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Klik Instance, lalu klik nama instance untuk membuka halaman Detail instance.

      Buka Instance

2. Pastikan instance telah diupgrade ke versi 6.4.0 atau yang lebih baru. Jika instance berada dalam versi sebelumnya, Anda harus mengupgradenya.

3. Klik Lihat instance. Saat UI Cloud Data Fusion terbuka, klik Hub.

4. Pilih tab SAP > SAP OData.

   Jika tab SAP tidak terlihat, lihat Memecahkan masalah integrasi SAP.

5. Klik Deploy SAP OData Plugin.

   Plugin sekarang muncul di menu Sumber di halaman Studio.

   

Langkah 2: Konfigurasikan plugin

Plugin SAP OData membaca konten SAP DataSource.

Untuk memfilter data, Anda dapat mengonfigurasi properti berikut di halaman SAP OData Properties.

Nama properti	Deskripsi
Dasar
Nama Referensi	Nama yang digunakan untuk mengidentifikasi sumber ini secara unik untuk silsilah, anotasi metadata, dll.
URL Dasar OData SAP	URL OData Base Gateway SAP ((gunakan jalur URL lengkap, mirip dengan https://ADDRESS:PORT/sap/opu/odata/sap/).
Versi OData	Versi SAP OData yang didukung.
Nama Layanan	Nama layanan SAP OData tempat Anda ingin mengekstrak entity.
Nama Entitas	Nama entity yang sedang diekstrak, seperti Results. Anda dapat menggunakan awalan, seperti C_PurchaseOrderItemMoni/Results. Kolom ini mendukung parameter Kategori dan Entitas. Contoh: Parameter untuk Kategori: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Parameter untuk Entity: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Parameter untuk Kategori dan Entitas: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Tombol Dapatkan Skema	Menghasilkan skema berdasarkan metadata dari SAP, dengan pemetaan otomatis jenis data SAP ke jenis data Cloud Data Fusion yang sesuai (fungsi yang sama seperti tombol Validasi).
Kredensial^*
Jenis SAP	Dasar (melalui Nama Pengguna dan Sandi).
Nama Pengguna SAP Logon	Nama Pengguna SAP Direkomendasikan: Jika Nama Pengguna SAP Logon berubah secara berkala, gunakan makro.
Sandi Login SAP	Sandi Pengguna SAP Direkomendasikan: Gunakan makro aman untuk nilai sensitif, seperti sandi.
Sertifikat Klien SAP X.509 (Lihat Menggunakan Sertifikat Klien X.509 di Server Aplikasi SAP NetWeaver untuk ABAP.
Project ID GCP	ID unik global untuk project Anda. Kolom ini wajib diisi jika kolom X.509 Certificate Cloud Storage Path tidak berisi nilai makro.
Jalur GCS	Jalur bucket Cloud Storage yang berisi sertifikat X.509 yang diupload pengguna, yang sesuai dengan server aplikasi SAP untuk panggilan aman berdasarkan persyaratan Anda (lihat langkah Mengamankan koneksi).
Frasa sandi	Frasa sandi yang sesuai dengan sertifikat X.509 yang diberikan.
Lanjutan
Opsi Filter	Menunjukkan nilai yang harus dibaca kolom. Gunakan kondisi filter ini untuk membatasi volume data output. Misalnya: `Price Gt 200` memilih data dengan nilai kolom `Price` lebih besar dari `200`. (Lihat Mendapatkan daftar kolom yang dapat difilter untuk layanan katalog SAP.)
Pilih Kolom	Kolom yang akan dipertahankan dalam data yang diekstrak (misalnya: Kategori, Harga, Nama, Pemasok/Alamat).
Luaskan Kolom	Daftar kolom kompleks yang akan diperluas dalam data output yang diekstrak (misalnya: Produk/Pemasok).
Jumlah Baris untuk Dilewati	Jumlah total baris yang akan dilewati (misalnya: 10).
Jumlah Baris untuk Diambil	Jumlah total baris yang akan diekstrak.
Jumlah Bagian yang akan Dihasilkan	Jumlah bagian yang digunakan untuk mempartisi data input. Lebih banyak partisi akan meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Jika dibiarkan kosong, plugin akan memilih nilai yang optimal (direkomendasikan).
Ukuran Batch	Jumlah baris yang akan diambil di setiap panggilan jaringan ke SAP. Ukuran yang kecil menyebabkan panggilan jaringan yang sering melakukan pengulangan overhead terkait. Ukuran yang besar dapat memperlambat pengambilan data dan menyebabkan penggunaan resource yang berlebihan dalam SAP. Jika nilainya ditetapkan ke 0, nilai defaultnya adalah 2500, dan batas baris yang diambil di setiap batch adalah 5000.

^* Makro didukung di properti kredensial. Anda dapat menggunakannya untuk mengelola koneksi SAP secara terpusat. Misalnya, Anda dapat menetapkan nilai saat runtime menggunakan parameter runtime atau plugin Penyetel Argumen.

Jenis OData yang didukung

Tabel berikut menunjukkan pemetaan antara jenis data OData v2 yang digunakan dalam aplikasi SAP dan jenis data Cloud Data Fusion.

Jenis OData	Deskripsi (SAP)	Jenis data Cloud Data Fusion
Angka
SByte	Nilai bilangan bulat 8-bit bertanda tangan	int
Bita	Nilai bilangan bulat 8-bit yang tidak ditandatangani	int
Int16	Nilai bilangan bulat 16-bit bertanda tangan	int
Int32	Nilai bilangan bulat 32-bit bertanda tangan	int
Int64	Nilai bilangan bulat 64-bit bertanda tangan yang ditambahkan dengan karakter: 'L' Contoh: 64L, -352L	long
Sekali	Angka floating point dengan presisi 7 digit yang dapat mewakili nilai dengan rentang perkiraan ± 1.18e -38 hingga ± 3.40e +38, ditambah dengan karakter: 'f' Contoh: 2.0f	float
Ganda	Angka floating point dengan presisi 15 digit yang dapat mewakili nilai dengan rentang perkiraan ± 2,23e -308 hingga ± 1,79e +308, ditambahkan dengan karakter: 'd' Contoh: 1E+10d, 2.029d, 2.0d	double
Desimal	Nilai numerik dengan presisi dan skala tetap yang mendeskripsikan nilai numerik mulai dari negatif 10^255 + 1 hingga positif 10^255 -1, ditambahkan dengan karakter: 'M' atau 'm' Contoh: 2.345M	decimal
Karakter
Panduan	Nilai ID unik 16 byte (128-bit), dimulai dengan karakter: 'guide' Contoh: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	Data karakter dengan panjang tetap atau variabel yang dienkode dalam UTF-8	string
Byte
Biner	Data biner dengan panjang tetap atau variabel, dimulai dengan 'X' atau 'biner' (keduanya peka huruf besar/kecil) Contoh: X'23AB', binary'23ABFF'	bytes
Logis
Boolean	Konsep matematika logika bernilai biner	boolean
Date/Time
Date/Time	Tanggal dan waktu dengan nilai mulai dari 00.00.00 pada 1 Januari 1753 hingga 23.59.59 pada 31 Desember 9999	timestamp
Waktu	Waktu dengan nilai mulai dari 0:00:00.x hingga 23:59:59.y, dengan 'x' dan 'y' bergantung pada presisi	time
DateTimeOffset	Tanggal dan waktu sebagai Offset, dalam menit dari GMT, dengan nilai mulai dari 00.00.00 pada 1 Januari 1753 hingga 23.59.59, 31 Desember 9999	timestamp
Kompleks
Properti Navigasi dan Non-Navigasi (multiplisitas = *)	Koleksi dari jenis sederhana, dengan multiplisitas one-to-many.	array, string, int, dll.
Properti (multiplisitas = 0,1)	Rujukan ke jenis kompleks lainnya dengan multiplisitas	record

Validasi

Klik Validate di kanan atas atau Get Schema.

Plugin memvalidasi properti dan menghasilkan skema berdasarkan metadata dari SAP. Solusi ini otomatis memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai.

Menjalankan pipeline data

1. Setelah men-deploy pipeline, klik Konfigurasikan di panel tengah atas.
2. Pilih Materi.
3. Jika diperlukan, ubah Executor CPU dan Memory berdasarkan ukuran data keseluruhan dan jumlah transformasi yang digunakan dalam pipeline.
4. Klik Save.
5. Untuk memulai pipeline data, klik Jalankan.

Performa

Plugin ini menggunakan kemampuan paralelisasi Cloud Data Fusion. Panduan berikut dapat membantu Anda mengonfigurasi lingkungan runtime agar Anda menyediakan resource yang cukup ke mesin runtime untuk mencapai tingkat paralelisme dan performa yang diinginkan.

Catatan: Saat runtime, plugin membaca jumlah proses kerja SAP yang tersedia dan memori yang dialokasikan per proses kerja SAP untuk menyesuaikan Jumlah Split dan Batch Size secara otomatis jika Anda belum menentukan nilai ini.

Mengoptimalkan konfigurasi plugin

Direkomendasikan: Kecuali Anda sudah memahami setelan memori sistem SAP, biarkan Number of Splits to Generate dan Batch Size kosong (tidak ditentukan).

Untuk mendapatkan performa yang lebih baik saat Anda menjalankan pipeline, gunakan konfigurasi berikut:

• Jumlah Bagian yang akan Dihasilkan: nilai antara 8 dan 16 direkomendasikan. Namun, resource tersebut dapat meningkat menjadi 32, atau bahkan 64, dengan konfigurasi yang sesuai di sisi SAP (mengalokasikan resource memori yang sesuai untuk proses kerja di SAP). Konfigurasi ini meningkatkan paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi yang ditentukan (dan koneksi SAP) saat mengekstrak kumpulan data.

  • Jika Layanan Konfigurasi (yang disertakan dengan plugin saat Anda mengimpor file transpor SAP) tersedia: plugin akan secara default disetel ke konfigurasi sistem SAP. Pembagiannya mencakup 50% dari proses kerja dialog yang tersedia di SAP. Catatan: Layanan Konfigurasi hanya dapat diimpor dari sistem S4HANA.

  • Jika Layanan Konfigurasi tidak tersedia, setelan defaultnya adalah pemisahan 7.

  • Dalam kedua kasus tersebut, jika Anda menentukan nilai yang berbeda, nilai yang Anda berikan akan berlaku di atas nilai pemisahan default,kecuali jika nilai ini dibatasi oleh proses dialog yang tersedia di SAP, dikurangi dua bagian.

  • Jika jumlah data yang akan diekstrak kurang dari 2500, jumlah bagiannya adalah 1.

• Batch Size: ini adalah jumlah data yang akan diambil dalam setiap panggilan jaringan ke SAP. Ukuran tumpukan yang lebih kecil menyebabkan panggilan jaringan yang sering, sehingga mengulangi overhead terkait. Secara default, jumlah minimum adalah 1000 dan maksimum adalah 50000.

Untuk mengetahui informasi selengkapnya, lihat Batas entity OData.

Setelan resource Cloud Data Fusion

Direkomendasikan: Gunakan 1 CPU dan memori 4 GB per Executor (nilai ini berlaku untuk setiap proses Executor). Tetapkan keduanya dalam dialog Configure > Resources.

Setelan cluster Dataproc

Direkomendasikan: Minimal, alokasikan total CPU (di seluruh pekerja) yang lebih besar dari jumlah pemisahan yang diinginkan (lihat Konfigurasi plugin).

Setiap pekerja harus memiliki memori sebesar 6,5 GB atau lebih yang dialokasikan per CPU di setelan Dataproc (artinya tersedia 4 GB atau lebih per Cloud Data Fusion Executor). Setelan lain dapat dipertahankan dengan nilai default.

Direkomendasikan: Gunakan cluster Dataproc persisten untuk mengurangi runtime pipeline data (tindakan ini menghilangkan langkah Penyediaan yang mungkin memerlukan waktu beberapa menit atau lebih). Tetapkan ini di bagian konfigurasi Compute Engine.

Contoh konfigurasi dan throughput

Contoh konfigurasi pengembangan dan pengujian

• Cluster Dataproc dengan 8 pekerja, masing-masing dengan 4 CPU dan memori 26 GB. Buat hingga 28 bagian.
• Cluster Dataproc dengan 2 pekerja, masing-masing dengan 8 CPU dan memori 52 GB. Buat hingga 12 bagian.

Contoh konfigurasi dan throughput produksi

• Cluster Dataproc dengan 8 pekerja, masing-masing dengan 8 CPU dan memori 32 GB. Buat hingga 32 bagian (setengah dari CPU yang tersedia).
• Cluster Dataproc dengan 16 pekerja, masing-masing dengan 8 CPU dan memori 32 GB. Buat hingga 64 bagian (setengah dari CPU yang tersedia).

Throughput sampel untuk sistem sumber produksi SAP S4HANA 1909

Tabel berikut memiliki throughput sampel. Throughput yang ditampilkan tanpa opsi filter kecuali jika ditentukan lain. Saat menggunakan opsi filter, throughput akan dikurangi.

Ukuran batch	Pisahkan	Layanan OData	Total baris	Baris diekstrak	Throughput (baris per detik)
1.000	4	ZACDOCA_CDS	5,37 JT	5,37 JT	1069
2500	10	ZACDOCA_CDS	5,37 JT	5,37 JT	3384
5.000	8	ZACDOCA_CDS	5,37 JT	5,37 JT	4630
5.000	9	ZACDOCA_CDS	5,37 JT	5,37 JT	4817

Throughput sampel untuk sistem sumber produksi cloud SAP S4HANA

Ukuran batch	Pisahkan	Layanan OData	Total baris	Baris diekstrak	Throughput (GB/jam)
2500	40	TEST_04_UOM_ODATA_CDS/	201 JT	10 JT	25,48
5.000	50	TEST_04_UOM_ODATA_CDS/	201 JT	10 JT	26,78

Detail dukungan

Produk dan versi SAP yang didukung

• Sumber yang didukung termasuk SAP S4/HANA 1909 dan yang lebih baru, S4/HANA di cloud SAP, serta aplikasi SAP apa pun yang mampu mengekspos Layanan OData.

• File transpor yang berisi layanan OData kustom untuk load balancing panggilan ke SAP harus diimpor di S4/HANA 1909 dan yang lebih baru. Layanan membantu menghitung jumlah bagian (partisi data) yang dapat dibaca plugin secara paralel (lihat jumlah bagian).

• OData versi 2 didukung.

• Plugin ini diuji dengan server SAP S/4HANA yang di-deploy di Google Cloud.

Layanan Katalog OData SAP didukung untuk ekstraksi

Plugin mendukung jenis DataSource berikut:

• Data transaksi
• Tampilan CDS yang terekspos melalui OData

• Data master

  • Atribut
  • Pesan teks
  • Hierarki

Catatan: API OData operasional tidak didukung untuk ekstraksi (misalnya, antarmuka untuk pesanan pembelian (PO) atau pembuatan pesanan penjualan).

Catatan SAP

Tidak ada catatan SAP yang diperlukan sebelum ekstraksi, tetapi sistem SAP harus memiliki SAP Gateway yang tersedia. Untuk informasi selengkapnya, lihat catatan 1560585 (situs eksternal ini memerlukan login SAP).

Batasan pada volume data atau lebar kumpulan data

Tidak ada batas yang ditentukan untuk volume data yang diekstrak. Kami telah menguji dengan hingga 6 juta baris yang diekstrak dalam satu panggilan, dengan lebar kumpulan data 1 KB. Untuk SAP S4/HANA di cloud, kami telah menguji hingga 10 juta baris yang diekstrak dalam satu panggilan, dengan lebar maksimum 1 KB.

Throughput plugin yang diharapkan

Untuk lingkungan yang dikonfigurasi sesuai dengan pedoman di bagian Performa, plugin dapat mengekstrak sekitar 38 GB per jam. Performa sebenarnya dapat bervariasi bergantung pada pemuatan sistem Cloud Data Fusion dan SAP atau traffic jaringan.

Ekstraksi Delta (data yang diubah)

Ekstraksi delta tidak didukung.

Skenario error

Saat runtime, plugin akan menulis entri log di log pipeline data Cloud Data Fusion. Entri ini diawali dengan CDF_SAP untuk memudahkan identifikasi.

Catatan: Klik Advanced logs untuk melihat semua pesan yang dicatat ke dalam log di Cloud Data Fusion.

Pada waktu desain, saat Anda memvalidasi setelan plugin, pesan akan ditampilkan di tab Properties dan ditandai dengan warna merah.

Tabel berikut mencantumkan beberapa pesan error umum (teks dalam akan diganti dengan nilai sebenarnya saat runtime):

ID Pesan	Pesan	Tindakan yang disarankan
Tidak ada	Properti '' wajib untuk jenis koneksi ''.	Masukkan nilai sebenarnya atau variabel makro.
Tidak ada	Nilai untuk properti '' tidak valid.	Masukkan bilangan bulat non-negatif (0 atau lebih besar, tanpa desimal) atau variabel makro.
CDF_SAP_ODATA_01505	Gagal menyiapkan skema output Cloud Data Fusion. Periksa nilai makro runtime yang disediakan.	Pastikan nilai makro yang diberikan sudah benar.
T/A	Sertifikat '<UI input in GCS Path>' dengan sertifikat SAP X509 tidak ada. Pastikan sertifikat X509 yang diperlukan diupload ke bucket Google Cloud Storage yang ditentukan, '<GCS bucket name>'.	Pastikan jalur Cloud Storage yang diberikan sudah benar.
CDF_SAP_ODATA_01532	Kode error umum yang terkait dengan masalah konektivitas SAP OData Gagal memanggil layanan OData SAP tertentu. Penyebab Utama: <Pesan akar masalah layanan OData SAP>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01534	Kode kesalahan umum apa pun yang terkait dengan kesalahan layanan SAP OData. Validasi layanan gagal. Penyebab Utama: Pesan penyebab utama layanan OData AP>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01503	Gagal mengambil total jumlah data yang tersedia dari <Nama entity layanan SAP OData>. Penyebab Utama: <Pesan akar penyebab layanan SAP Odata>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01506	Tidak ada data yang ditemukan untuk diekstrak di <Nama entitas layanan OData SAP>. Pastikan entitas yang diberikan berisi catatan.	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01537	Gagal memproses data untuk <Nama entitas layanan OData SAP>. Penyebab Utama: <Pesan akar penyebab layanan SAP OData>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01536	Gagal mengambil kumpulan data dari <Nama entitas layanan OData SAP>. Penyebab Utama: <Pesan akar penyebab layanan SAP OData>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01504	Gagal menghasilkan string metadata yang dienkode untuk layanan OData yang ditentukan <Nama layanan OData SAP>. Penyebab Utama: <Pesan akar masalah layanan SAP OData>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_ODATA_01533	Gagal mendekode metadata dari string metadata yang dienkode yang diberikan untuk layanan <SAP OData service name>. Penyebab Utama: <Pesan akar masalah layanan SAP OData>	Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.

Langkah selanjutnya

• Pelajari Cloud Data Fusion lebih lanjut.
• Pelajari SAP di Google Cloud lebih lanjut.