Sumber batch SAP BW Open Hub

Panduan ini menjelaskan cara men-deploy, mengonfigurasi, dan menjalankan pipeline data yang menggunakan plugin SAP BW Open Hub Batch Source. Anda dapat menggunakan SAP sebagai sumber untuk ekstraksi data berbasis batch dan delta di Cloud Data Fusion melalui Layanan BW Open Hub.

Plugin ini memungkinkan integrasi data massal dari aplikasi SAP dengan Cloud Data Fusion. Anda dapat mengonfigurasi dan menjalankan transfer data massal dari DataSources SAP tanpa coding apa pun.

Untuk aplikasi dan objek SAP yang didukung untuk diekstrak, lihat Detail dukungan. Untuk mengetahui informasi selengkapnya tentang cara menjalankan SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.

Tujuan

• Konfigurasikan sistem SAP BW.
• Deploy plugin di lingkungan Cloud Data Fusion Anda.
• Download transpor SAP dari Cloud Data Fusion dan instal di SAP.
• Gunakan Cloud Data Fusion dan SAP BW Open Hub Batch Source untuk membuat pipeline data guna mengintegrasikan data SAP.

Sebelum memulai

Untuk menggunakan plugin ini, Anda memerlukan pengetahuan domain di bidang berikut:

• Membuat pipeline di Cloud Data Fusion
• Mengonfigurasi sistem SAP BW atau BW4HANA

Peran pengguna

Tugas di halaman ini dilakukan oleh orang dengan peran berikut di Google Cloud atau di sistem SAP mereka:

Jenis pengguna	Deskripsi
Google Cloud Admin	Pengguna yang diberi peran ini adalah administrator akun Google Cloud.
Pengguna Cloud Data Fusion	Pengguna yang diberi peran ini diberi otorisasi untuk mendesain dan menjalankan pipeline data. Mereka diberi, minimal, peran Data Fusion Viewer ( roles/datafusion.viewer). Jika menggunakan kontrol akses berbasis peran, Anda mungkin memerlukan peran tambahan.
Admin SAP	Pengguna yang diberi peran ini adalah administrator sistem SAP. Mereka memiliki akses untuk mendownload software dari situs layanan SAP. Ini bukan peran IAM.
Pengguna SAP	Pengguna yang diberi peran ini diberi otorisasi untuk terhubung ke sistem SAP. Ini bukan peran IAM.

Prasyarat untuk SAP BW

Anda memerlukan SAP HANA Studio untuk membuat dan mengedit Proses Transfer Data dan Rantai Proses.

Prasyarat untuk Cloud Data Fusion

• Jaringan VPC diperlukan untuk pembuatan instance Cloud Data Fusion.
• Instance Cloud Data Fusion, versi 6.8.0 atau yang lebih baru, edisi apa pun, diperlukan.
• Peran yang diperlukan harus diberikan ke akun layanan yang ditetapkan ke instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.
• Anda harus menggunakan koneksi peering antara VPC Anda dan jaringan VPC bersama Google.

Mengonfigurasi sistem SAP BW

SAP BW Open Hub Batch Source menggunakan Remote Function Module (RFM), yang harus diinstal di setiap Server SAP tempat data diekstrak. RFM ini dikirim sebagai transpor SAP.

Untuk mengonfigurasi sistem SAP, ikuti langkah-langkah berikut:

1. Pengguna Cloud Data Fusion harus mendownload file zip yang berisi transpor SAP dan memberikannya kepada Admin SAP. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Cloud Data Fusion.
2. Admin SAP harus mengimpor transpor SAP ke sistem SAP dan memverifikasi objek yang dibuat. Untuk mengetahui informasi selengkapnya, lihat Menginstal transpor SAP.
3. Opsional: Pengguna SAP dapat mengubah Objek Otorisasi Standar SAP dari peran yang dikirimkan /GOOG/BWOH_CDF_AUTH berdasarkan kebijakan keamanan organisasi mereka.

Menginstal file transpor SAP

Untuk mendesain dan menjalankan pipeline data di Cloud Data Fusion, komponen SAP dikirim dalam file transpor SAP, yang diarsipkan dalam file zip. Download tersedia saat Anda men-deploy plugin di Cloud Data Fusion Hub.

Mendownload file zip transpor SAP BW OH

ID permintaan transpor SAP dan file terkait diberikan dalam tabel berikut:

Transpor SAP

ID Transportasi	Cofile	File data	Konten
BW1K900054	K900054.BW1	R900054.BW1	BWOH Cloud Data Fusion Connector versi 1.0 Modul Fungsi: /GOOG/BWOH_GET_PC_LOG /GOOG/BWOH_GET_PRO_CHA_DETAILS /GOOG/BWOH_API_OHS_ETL_READ /GOOG/BWOH_GET_PC_RUNS /GOOG/BWOH_SET_LAST_RUN /GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055	K900055.BW1	R900055.BW1	Peran Otorisasi /GOOG/BWOH_CDF_AUTH

Untuk menginstal transpor SAP, ikuti langkah-langkah berikut:

Langkah 1: Upload file permintaan transportasi

1. Login ke sistem operasi Instance SAP.
2. Gunakan kode transaksi SAP AL11 untuk mendapatkan jalur folder DIR_TRANS. Biasanya, jalurnya adalah /usr/sap/trans/.
3. Salin cofile ke folder DIR_TRANS/cofiles.
4. Salin file data ke folder DIR_TRANS/data.
5. Tetapkan Pengguna dan Grup data dan cofile ke <sid>adm dan sapsys.

Langkah 2: Impor file permintaan transpor

Administrator SAP dapat mengimpor file permintaan transpor menggunakan salah satu opsi berikut:

Opsi 1: Mengimpor file permintaan transpor menggunakan sistem pengelolaan transpor SAP

1. Login ke sistem SAP sebagai administrator SAP.
2. Masukkan STMS transaksi.
3. Klik Ringkasan > Impor.
4. Di kolom Antrean, klik dua kali SID saat ini.
5. Klik Tambahan > Permintaan Lainnya > Tambahkan.
6. Pilih ID permintaan transpor, lalu klik Lanjutkan.
7. Pilih permintaan transpor di antrean impor, lalu klik Minta > Impor.
8. Masukkan nomor Klien.

9. Di tab Options, pilih Overwrite Originals dan Ignore Invalid Component Version.

   Opsional: Pilih Tinggalkan Permintaan Transpor dalam Antrean untuk Diimpor Nanti. Hal ini menyebabkan permintaan diimpor lagi dalam urutan yang benar dengan impor berikutnya dari semua permintaan. Opsi ini berguna jika Anda harus melakukan impor awal untuk setiap permintaan.

10. Klik Lanjutkan.

11. Pastikan modul fungsi dan peran otorisasi berhasil diimpor menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Opsi 2: Mengimpor file permintaan transpor di tingkat sistem operasi

1. Login ke sistem SAP sebagai administrator SAP.

2. Tambahkan permintaan yang sesuai ke buffer impor:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Contoh: tp addtobuffer BW1K900054 DD1

3. Impor permintaan transpor:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Ganti NNN dengan nomor klien. Contoh:

   tp import BW1K900054 DD1 client=100 U1238
   

   Catatan: U1238 menunjukkan untuk menetapkan opsi yang dijelaskan pada langkah 9 di Opsi 1. Angka tersebut menunjukkan nomor urutan opsi yang sesuai di SAP GUI, yang dapat bervariasi menurut sistem. Angka tersebut harus disesuaikan oleh administrator SAP Anda.

4. Pastikan modul fungsi dan peran otorisasi berhasil diimpor menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Otorisasi SAP yang diperlukan

Untuk menjalankan pipeline data di Cloud Data Fusion, Anda memerlukan Pengguna SAP. Pengguna SAP harus berjenis Communications atau Dialog. Untuk menghindari penggunaan resource dialog SAP, sebaiknya gunakan jenis Communications. Administrator SAP dapat membuat pengguna menggunakan kode transaksi SAP SU01.

Otorisasi SAP diperlukan untuk mengonfigurasi konektor untuk SAP. Objek otorisasi SAP khusus konektor dikirim sebagai bagian dari Permintaan Transport. Impor Transport Peran Otorisasi seperti yang dijelaskan dalam Menginstal transpor SAP untuk memasukkan Peran ke dalam sistem Anda dan membuat peran dari kode transaksi PFCG.

Untuk objek otorisasi SAP standar, organisasi Anda mengelola izin dengan mekanisme keamanannya sendiri. Anda dapat mempertahankan objek otorisasi berdasarkan kebijakan keamanan organisasi Anda.

Membuat Rantai Proses (PC) dan Proses Transfer Data (DTP)

Membuat rantai proses dan proses transfer data memerlukan beberapa keterampilan dan pengetahuan latar belakang tambahan.

Konsep latar belakang

• Rantai Proses (PC)
• Proses Transfer Data (DTP)

Untuk membuat atau mengedit PC dan DTP, gunakan SAP HANA Studio.

Keterampilan prasyarat

• Anda telah menggunakan transformasi untuk menentukan aliran data antara objek sumber dan target.
• Anda memahami konsep dasar BW dan HANA, seperti Objek DataStore (DSO), Transformasi Data, InfoCube, Pengoptimalan kueri, Pemodelan HANA, dan fitur DB HANA menggunakan HANA Studio. Untuk informasi selengkapnya tentang konsep ini, lihat tutorial SAP tentang BW dan HANA.

Jenis ekstraksi

Ada dua mode ekstraksi data untuk Proses Transfer Data—Lengkap dan Delta.

• Lengkap: Opsi ini memilih semua data yang tersedia di sumber berdasarkan kondisi Filter yang disebutkan dalam DTP. Jika sumber data adalah salah satu InfoProviders berikut, hanya mode Ekstraksi penuh yang tersedia:

  • InfoObjects
  • InfoSets
  • Objek DataStore untuk Update Langsung

• Delta: Tidak seperti InfoPackage, transfer Delta menggunakan DTP tidak memerlukan inisialisasi eksplisit. Saat DTP dieksekusi dengan mode ekstraksi Delta untuk pertama kalinya, semua permintaan yang ada hingga waktu ekstraksi diambil dari sumber, lalu delta akan otomatis diinisialisasi.

  Opsi berikut tersedia untuk DTP dengan mode ekstraksi Delta:

  • Hanya Dapatkan Delta Sekali
  • Mendapatkan Semua Permintaan Data Baru Berdasarkan Permintaan
  • Mengambil Data Hingga Tidak Ada Lagi Data Baru

Ukuran paket: Ini adalah jumlah kumpulan data yang ada dalam setiap paket data. Nilai defaultnya adalah 50,000.

Membuat Rantai Proses

Untuk membuat Rantai Proses (PC), gunakan transaksi RSPC di SAP GUI. Tentukan proses awal, lalu tambahkan langkah-langkah proses dan DTP. Untuk mengetahui informasi selengkapnya, lihat dokumentasi SAP untuk Membuat Rantai Proses.

Berbagai opsi tersedia di HANA Studio untuk memantau dan mengelola PC. Untuk informasi selengkapnya, lihat Operasi Rantai Proses SAP BW/4HANA.

Membuat Proses Transfer Data menggunakan Rantai Proses

Buka tampilan Perencanaan Rantai Proses yang ingin Anda gunakan untuk Proses Transfer Data. Dari tampilan Perencanaan, Anda dapat membuat DTP menggunakan HANA Studio. Untuk mengetahui informasi selengkapnya, lihat dokumentasi SAP untuk Membuat Proses Transfer Data.

Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi, lihat Semua tentang Proses Transfer Data (DTP) – SAP BW 7.

Koneksi RFC

Untuk memberi tahu sistem callback, seperti plugin SAP BW Open Hub Batch Source, bahwa data tersedia, Rantai Proses harus diperbarui untuk menggunakan tujuan RFC:

1. Di SM59, buat koneksi RFC dari jenis TCP/IP Connections untuk memberi tahu sistem target dari BW setelah pemuatan data selesai di BI.

2. Pastikan Program ID dikonfigurasi di koneksi RFC dengan mengklik dua kali koneksi RFC. ID Program harus unik untuk setiap tujuan RFC guna menghindari konflik pemroses runtime.

   Catatan: Pengujian koneksi tujuan RFC diakhiri dengan TP PROGRAM ID not registered. Hal ini wajar karena koneksi RFC hanya berfungsi selama pipeline berjalan, yaitu saat Cloud Data Fusion mendaftarkan Program ID dengan SAP Gateway.

3. Gunakan koneksi TCP/IP yang baru dibuat di Rantai Proses untuk mengirim notifikasi, agar tugas batch Cloud Data Fusion selesai. Nama rantai proses tidak peka huruf besar/kecil. Nama ini harus ditentukan dengan benar dalam huruf besar dalam proses integrasi menyeluruh.

Menampilkan log Rantai Proses dan Proses Transfer Data

1. Buka Tcode : RSPC, lalu klik Process Chains.

2. Klik kanan Rantai Proses yang log-nya ingin Anda tampilkan, lalu klik Tampilkan Log.

Mengonfigurasi cluster Dataproc saat menggunakan Rantai Proses

Catatan: Hal ini hanya berlaku saat menggunakan ekstraksi berbasis Rantai Proses, bukan ekstraksi berbasis Tujuan Open Hub.

Untuk mengaktifkan komunikasi melalui server RFC, Anda harus menambahkan entri port SAP Gateway di file /etc/services di node cluster Dataproc. Sebaiknya gunakan init action, skrip yang akan dieksekusi saat cluster diinisialisasi. Untuk informasi selengkapnya, lihat Tindakan Inisialisasi.

Buat file skrip dan simpan ke bucket Cloud Storage. Contoh berikut menunjukkan konten file skrip:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Pada contoh sebelumnya, perhatikan hal-hal berikut:

• Entri tersebut berbentuk sapgwxx 33xx/tcp, dengan XX adalah nomor instance SAP.

• Port untuk instance SAP 00 hingga 04 ditambahkan.

Lakukan langkah-langkah berikut jika Anda menggunakan cluster Dataproc sementara, atau persisten yang baru dibuat, atau persisten yang sudah ada.

Cluster Dataproc efemeral

Jika Anda menggunakan cluster Dataproc efemeral, tambahkan jalur skrip init ke properti cluster:

1. Di monitor tugas, dari halaman pipeline di Cloud Data Fusion, klik Configure.
2. Pilih profil Compute, lalu klik Sesuaikan.
3. Di bagian Advanced Settings, di kolom Initialization Actions, masukkan jalur ke skrip init.

Cluster Dataproc persisten baru

Jika Anda menggunakan cluster Dataproc persisten yang baru dibuat, gunakan skrip init dalam perintah gcloud untuk membuat cluster. Misalnya:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Dataproc persisten yang ada

Jika Anda menggunakan cluster Dataproc persisten yang ada, ikuti langkah-langkah berikut:

Jika cluster telah dibuat tanpa menggunakan skrip init, tambahkan entri secara manual di node Master dan Worker dari cluster Dataproc.

1. SSH ke Node Master dan Cluster.
2. Login ke ID pengguna root.
3. Buka /etc/ dan buka file /etc/services di editor VI.
4. Tambahkan entri sapgwxx 33xx/tcp. Ganti xx dengan nomor instance SAP Anda.
5. Simpan file /etc/services.

Menyiapkan Cloud Data Fusion

Pengguna Cloud Data Fusion dan admin Google Cloud akan melakukan tugas di bagian ini.

Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP. Untuk instance pribadi, siapkan peering jaringan. Setelah peering jaringan dibuat dengan project tempat sistem SAP dihosting, tidak ada konfigurasi tambahan yang diperlukan untuk terhubung ke instance Cloud Data Fusion Anda. Sistem SAP dan instance Cloud Data Fusion harus berada di dalam project yang sama.

Langkah-langkah untuk pengguna Cloud Data Fusion

1. Buka detail instance:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Klik Instance, lalu klik nama instance untuk membuka halaman Instance details.

      Buka Instance

2. Pastikan instance telah diupgrade ke versi 6.8.0 atau yang lebih baru. Jika instance berada dalam versi sebelumnya, Anda harus mengupgradenya.
3. Buka instance. Saat UI Cloud Data Fusion terbuka, klik Hub.
4. Pilih tab SAP > SAP BW. Jika tab SAP tidak terlihat, lihat Memecahkan masalah integrasi SAP.
5. Klik Deploy SAP BW Plugin. Plugin akan muncul di menu Sumber di halaman Studio.

Langkah-langkah untuk Admin SAP dan Admin Google Cloud

Admin SAP mendownload artefak JCo berikut dari situs Dukungan SAP dan memberikannya kepada Admin Google Cloud.

• Satu platform independen (sapjco3.jar)
• Satu yang bergantung pada platform (libsapjco3.so di Unix)

Catatan: Versi JCo minimum yang didukung adalah 3.0.20.

Untuk mendownload file, ikuti langkah-langkah berikut:

1. Buka halaman Konektor SAP.
2. Klik SAP Java Connector/Tools and Services. Anda dapat memilih link khusus platform untuk mendownload.

3. Pilih platform tempat instance Cloud Data Fusion Anda berjalan:

   1. Jika Anda menggunakan image Google Cloud standar untuk VM di cluster, yang merupakan default untuk Cloud Data Fusion, pilih Linux untuk prosesor 64-bit x86 yang kompatibel dengan Intel.
   2. Jika Anda menggunakan gambar kustom, pilih platform yang sesuai.

4. Google Cloud Admin harus menyalin file JCo ke bucket Cloud Storage yang dapat dibaca. Berikan jalur bucket kepada pengguna Cloud Data Fusion untuk memasukkannya di properti plugin yang sesuai di Cloud Data Fusion: Jalur GCS Library JCo SAP. Lihat Mengonfigurasi plugin.

5. Admin Google Cloud harus memberikan akses baca untuk kedua file tersebut ke akun layanan Cloud Data Fusion untuk lingkungan desain dan akun layanan Dataproc untuk lingkungan eksekusi. Untuk mengetahui informasi selengkapnya, lihat Akun layanan Cloud Data Fusion.

Mengonfigurasi plugin

Plugin SAP BW Open Hub Batch Source membaca konten DataSource SAP.

Untuk memfilter data, Anda dapat mengonfigurasi properti berikut untuk SAP BW Open Hub Batch Source.

Indikator berikut digunakan untuk menentukan kolom:

• (M): Menunjukkan bahwa Makro didukung untuk kolom masing-masing
• (O): Kolom opsional

Label: Label plugin di kanvas.

Dasar

Dalam daftar properti berikut, (M) berarti opsi mendukung makro, dan dapat digunakan untuk mengelola koneksi SAP secara terpusat. Misalnya, Anda dapat menggunakan makro untuk properti koneksi dan menetapkan nilai saat runtime menggunakan parameter runtime atau plugin Argument Setter.

• Nama Referensi: Nama yang digunakan untuk mengidentifikasi sumber ini secara unik untuk metadata lineage dan anotasi.

• Gunakan koneksi (Tombol Aktif/Nonaktif): Apakah akan menggunakan koneksi yang ada (lihat Mengelola koneksi). Jika memilih untuk menggunakan koneksi yang ada, Anda tidak perlu memberikan detail koneksi SAP.

  Catatan: Hanya Tujuan OH BW yang memiliki satu DTP dan satu PC yang didukung.

• Koneksi (jelajahi koneksi): Pilih koneksi yang ada untuk digunakan. Anda juga dapat menggunakan fungsi makro ${conn(connection-name)}.

• Klien SAP (M): Klien SAP yang akan digunakan. Contoh, 100.

• SAP Language (M): Bahasa login SAP. Contoh, EN.

• Jenis Koneksi: Jenis koneksi SAP—langsung atau load balancing. Koneksi load balanced tidak didukung untuk ekstraksi berbasis Rantai Proses. Untuk informasi selengkapnya, lihat Detail dukungan.

  Memilih jenis koneksi akan mengubah kolom yang tersedia.

  Untuk koneksi langsung, kolom berikut tersedia:

  • SAP Application Server Host (M): Nama server atau alamat IP SAP.
  • Nomor Sistem SAP (M): Nomor sistem SAP. Contoh, 00.
  • SAP Router (M, O): String router.

  Untuk koneksi yang diseimbangkan beban, kolom berikut tersedia:

  • Host Server Pesan SAP (M): Nama host atau alamat IP pesan SAP.
  • Layanan atau Nomor Port Server Pesan SAP (M): Layanan atau nomor port server pesan SAP. Contoh, sapms02.
  • ID Sistem SAP (SID) (M): ID sistem SAP. Contoh, N75.
  • Nama Grup Login SAP (M): Nama grup login SAP. Contoh, PUBLIC.

• Gunakan Rantai Proses (M): Kolom ini berisi dua opsi.

  Jika Anda mengaktifkan Rantai Proses menggunakan opsi Ya, properti berikut akan diaktifkan:

  • Automatically Resolve PC and DTP Errors: Mengontrol perilaku saat proses yang sebelumnya gagal diidentifikasi. Jika dinonaktifkan, plugin akan membuat pipeline gagal dengan error yang relevan. Jika diaktifkan (default), plugin akan memeriksa status Rantai Proses dan Proses Transfer Data di SAP. Jika salah satu error berikut teridentifikasi, plugin akan otomatis mencoba menyelesaikannya:

  • Data Transfer Process in error state: Plugin menghapus permintaan sebelumnya

  • Rantai Proses dalam status Merah dengan error previous request status has not been set: Plugin menghapus permintaan pemblokiran setelah mendapatkan ID permintaan dari log Rantai Proses, lalu mencoba menjalankan PC.

  • Waktu Tunggu Notifikasi Status Rantai Proses (dalam menit) (M, O): Menunggu waktu yang ditentukan, dalam menit, agar Rantai Proses menyelesaikan penyiapan data dan memberi tahu pipeline untuk memulai ekstraksi. Jika Anda menentukan 0 atau membiarkannya kosong, nilainya akan diambil sebagai 10 menit, yang merupakan nilai default.

  • Rantai Proses (M): Nama Rantai Proses SAP. Contoh, PC_RFC.

  Jika Anda menonaktifkan Rantai Proses menggunakan opsi Tidak, properti berikut akan diaktifkan:

  • Open Hub Destination (M): Buka nama Open Hub Destination untuk dibaca.
  • ID Permintaan (M,O): ID Permintaan untuk Proses Transfer Data yang telah dijalankan.

Kredensial

• Nama Pengguna Login SAP (M): Nama pengguna SAP. Direkomendasikan: Jika nama pengguna login SAP berubah secara berkala, gunakan makro.
• SAP Logon Password (M): Sandi pengguna SAP. Direkomendasikan: Untuk nilai sensitif seperti Sandi pengguna, gunakan makro aman

Detail SAP JCo

• ID Project GCP (M): ID project Google Cloud, yang secara unik mengidentifikasi project. Laporan ini dapat ditemukan di Dasbor di konsol Google Cloud.
• Jalur GCS Library JCo SAP (M): Jalur Cloud Storage yang berisi file library JCo SAP yang diupload pengguna.
• Get Schema: Klik ini jika Anda ingin plugin membuat skema berdasarkan metadata dari SAP, dengan pemetaan otomatis jenis data SAP ke jenis data Cloud Data Fusion yang sesuai. Fungsinya sama dengan tombol Validasi.

Untuk mengetahui informasi selengkapnya tentang sertifikat klien, lihat Menggunakan Sertifikat Klien X.509 di Server Aplikasi SAP NetWeaver untuk ABAP.

Lanjutan

• Number of Splits to Generate (M, O): Jumlah pemisahan digunakan untuk mempartisi data input. Partisi yang lebih banyak akan meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Untuk sistem SAP lokal, jika nilai tidak ditentukan di UI, pemisahan adalah 50% dari proses tugas dialog yang tersedia di SAP. Jika tidak, pemisahan akan dioptimalkan antara yang ditentukan pengguna dan 50% dari proses kerja yang tersedia.

  Catatan: Properti ini mengontrol paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi dan koneksi SAP yang ditentukan saat mengekstrak data.

  Direkomendasikan: Biarkan properti kosong, kecuali jika Anda sudah memahami setelan sistem SAP.

• Additional SAP Connection Properties (M, O): Menetapkan properti SAP JCo tambahan yang mengganti nilai default SAP JCo. Misalnya, menetapkan jco.destination.pool_capacity = 10 akan mengganti kapasitas kumpulan koneksi default.

  Tabel berikut mencantumkan properti SAP JCo yang didukung:

  Properti	Deskripsi
  jco.destination.peak_limit	Jumlah maksimum koneksi aktif yang dapat dibuat untuk tujuan secara bersamaan.
  jco.destination.pool_capacity	Jumlah maksimum koneksi tidak ada aktivitas yang tetap terbuka oleh tujuan. Nilai 0 akan menyebabkan tidak ada penggabungan koneksi, yaitu, koneksi akan ditutup setelah setiap permintaan.
  jco.destination.expiration_time	Waktu di ms setelah itu koneksi yang ditahan oleh kumpulan internal dapat ditutup.
  jco.destination.expiration_check_period	Interval di ms yang digunakan thread pemeriksa waktu tunggu untuk memeriksa koneksi di kumpulan untuk mengetahui masa berlakunya.
  jco.destination.max_get_client_time	Waktu maksimum dalam ms untuk menunggu koneksi, jika jumlah koneksi maksimum yang diizinkan dialokasikan oleh aplikasi.

Perilaku mode ekstraksi data

Mode ekstraksi data dikontrol melalui setelan Proses Transfer Data. Perilakunya berbeda saat menggunakan Rantai Proses dibandingkan menggunakan Tujuan Open Hub.

Saat menggunakan Rantai Proses

Setelan di tingkat Proses Transfer Data mengontrol apakah pemuatan penuh atau delta dilakukan. ID Permintaan diterima sebagai notifikasi dari SAP ke plugin. Plugin membaca data paket yang terkait dengan satu ID permintaan ini.

Saat menggunakan Tujuan Open Hub tanpa ID permintaan

Catatan: Hanya Tujuan OH BW yang memiliki satu DTP dan satu PC yang didukung.

Pemuatan penuh: Menjalankan pipeline untuk pertama kalinya akan mendapatkan semua ID permintaan yang tersedia di tabel Open Hub. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemuatan delta: Menjalankan pipeline yang sama untuk waktu berikutnya akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan terakhir yang diambil. Plugin ini membaca data paket yang terkait dengan ID permintaan ini.

Saat menggunakan Tujuan Open Hub dengan ID permintaan

Catatan: Hanya Tujuan OH BW yang memiliki satu DTP dan satu PC yang didukung.

Pemuatan Penuh: Menjalankan pipeline untuk pertama kalinya akan mendapatkan semua ID permintaan berikutnya yang tersedia dan lebih besar dari ID permintaan yang ditentukan. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemuatan Delta: Menjalankan pipeline yang sama untuk waktu berikutnya akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan terakhir yang diambil. Plugin ini membaca data paket yang terkait dengan ID permintaan ini.

Pemetaan jenis data

Tabel berikut menunjukkan pemetaan antara jenis data yang digunakan di SAP BW dan Cloud Data Fusion.

Jenis data BW	Jenis ABAP	Deskripsi (SAP)	Jenis data Cloud Data Fusion
Angka
INT1	b	Bilangan bulat 1 byte	integer
INT2	s	Bilangan bulat 2 byte	integer
INT4	i	Bilangan bulat 4 byte	integer
INT8	8	Bilangan bulat 8 byte	long
DES	p	Angka yang dipaketkan dalam format BCD (DEC)	decimal
DF16_DEC DF16_RAW	a	Floating point desimal 8 byte IEEE 754r	decimal
DF34_DEC DF34_RAW	e	Floating point desimal 16 byte IEEE 754r	decimal
FLTP	f	Bilangan floating point biner	double
Karakter
CHAR LCHR	c	String karakter	string
SSTRING GEOM_EWKB	string	String karakter	string
STRING	string	CLOB string karakter	bytes
NUMC ACCP	n	Teks numerik	string
Byte
RAW LRAW	x	Data biner	bytes
RAWSTRING	xstring	BLOB string byte	bytes
Date/Time
DATS	d	Tanggal	date
TIMS	t	Waktu	time
TIMESTAMP	utcl	TimeStamp Utclong	timestamp

Validasi

Klik Validasi atau Dapatkan Skema.

Plugin memvalidasi properti dan membuat skema berdasarkan metadata dari SAP. Plugin ini otomatis memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai.

Menjalankan pipeline data

1. Setelah men-deploy pipeline, klik Konfigurasi.
2. Pilih Fasilitas.
3. Jika perlu, ubah Executor CPU dan Memory berdasarkan ukuran data secara keseluruhan dan jumlah transformasi yang digunakan dalam pipeline.
4. Klik Simpan.
5. Untuk memulai pipeline data, klik Run.

Mengoptimalkan performa

Mengoptimalkan konfigurasi plugin

Gunakan properti berikut untuk performa yang optimal saat Anda menjalankan pipeline:

• Number of Splits to Generate di properti plugin Cloud Data Fusion: Ini secara langsung mengontrol paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi dan koneksi SAP yang ditentukan saat mengekstrak data tabel. Nilai antara 8 dan 16 direkomendasikan, tetapi Anda dapat meningkatkan hingga 32 atau 64 dengan konfigurasi yang sesuai di sisi SAP, dengan mengalokasikan resource memori yang sesuai untuk proses kerja di SAP.

  Jika nilainya adalah 0 atau dibiarkan kosong (direkomendasikan), sistem akan otomatis memilih nilai yang sesuai berdasarkan jumlah proses kerja SAP yang tersedia, kumpulan data yang akan diekstrak, dan ukuran paket.

• Ukuran Paket di properti Proses Transfer Data BW: Ini mengontrol jumlah data yang ada dalam setiap paket data. Nilai defaultnya adalah 50,000. Meningkatkan nilai ini dapat menghasilkan performa yang lebih baik, tetapi beban resource yang lebih tinggi. Jika Anda sudah menggunakan nilai yang lebih tinggi, kurangi nilai tersebut untuk memungkinkan paralelisasi ekstraksi yang lebih baik.

Setelan resource Cloud Data Fusion

Direkomendasikan: Gunakan 1 CPU dan memori 4 GB per eksekutor. Nilai ini berlaku untuk setiap proses eksekutor. Tetapkan nilai ini di dialog Configure > Resources.

Setelan cluster Dataproc

Direkomendasikan: Setidaknya, alokasikan total CPU di seluruh pekerja, lebih besar dari jumlah bagian yang diinginkan. Lihat Konfigurasi plugin.

Misalnya, jika Anda memiliki 16 pemisahan, tentukan total 20 CPU atau lebih, di semua pekerja. Ada overhead 4 CPU yang digunakan untuk koordinasi.

Direkomendasikan: Gunakan cluster Dataproc persisten untuk mengurangi runtime pipeline data. Tindakan ini akan menghilangkan langkah penyediaan, yang mungkin memerlukan waktu beberapa menit atau lebih. Tetapkan ini di bagian konfigurasi Compute Engine.

Detail dukungan

Produk dan versi SAP yang didukung

Sumber yang didukung:

• SAP NW BW 7.5 dan yang lebih baru
• SAP BW4HANA 2.0 SP9 (untuk menyertakan Open Hub Destination API; rilis BW4HANA sebelumnya tidak mendukung Open Hub Destination API)

Dukungan untuk koneksi load balanced (server pesan) SAP

Koneksi load balanced SAP (server pesan) didukung untuk ekstraksi berbasis Tujuan Open Hub, tempat Server RFC tidak digunakan.

Koneksi load balanced SAP (server pesan) tidak didukung untuk ekstraksi berbasis rantai proses. Alasannya adalah batasan SAP saat memberikan notifikasi data ready ke sistem klien, yang mengharuskan pendaftaran Server RFC (pemroses plugin) di setiap Server SAP di lanskap BW, sehingga meningkatkan jejak konektor dan berpotensi memengaruhi performa SAP dan penggunaan resource. Untuk mengetahui informasi selengkapnya, lihat Catatan SAP 2572564 (login dukungan SAP diperlukan untuk melihat).

Model deployment SAP yang didukung

Plugin ini diuji dengan server SAP yang di-deploy di Google Cloud.

Objek SAP yang Didukung

Sumber data untuk Tujuan Open Hub: InfoProviders (InfoObject, InfoCube, Objek DataStore, Objek Data Store Lanjutan, Penyedia Gabungan)

Rantai Proses untuk mengeksekusi Proses Transfer Data secara otomatis ke Tujuan Open Hub.

Lisensi terpisah untuk menggunakan Oracle HTTP Server guna mengekstrak data dari SAP

Anda tidak memerlukan lisensi terpisah untuk menggunakan Oracle HTTP Server (OHS) guna mengekstrak data dari SAP; namun, hubungi perwakilan SAP Anda untuk mengetahui perjanjian dan kasus penggunaan spesifik Anda.

Throughput plugin yang diharapkan

Untuk lingkungan yang dikonfigurasi sesuai dengan panduan di Mengoptimalkan performa, plugin dapat mengekstrak sekitar 38 GB per jam. Performa sebenarnya dapat bervariasi dengan beban sistem SAP atau traffic jaringan Cloud Data Fusion.

Langkah selanjutnya

• Pelajari Cloud Data Fusion lebih lanjut.
• Pelajari SAP di Google Cloud lebih lanjut.