Sumber batch Open Hub SAP BW

Panduan ini menjelaskan cara men-deploy, mengonfigurasi, dan menjalankan pipeline data yang menggunakan plugin Sumber Batch SAP BW Open Hub. Anda dapat menggunakan SAP sebagai sumber untuk ekstraksi data berbasis batch dan delta di Cloud Data Fusion melalui Layanan BW Open Hub.

Plugin ini memungkinkan integrasi data massal dari aplikasi SAP dengan Cloud Data Fusion. Anda dapat mengonfigurasi dan menjalankan transfer data massal dari SAP DataSources tanpa coding apa pun.

Untuk mengetahui aplikasi dan objek SAP yang didukung untuk ekstraksi, lihat Detail dukungan. Untuk mengetahui informasi selengkapnya tentang menjalankan SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.

Tujuan

• Mengonfigurasi sistem SAP BW.
• Deploy plugin di lingkungan Cloud Data Fusion Anda.
• Download transport SAP dari Cloud Data Fusion dan instal di SAP.
• Gunakan Cloud Data Fusion dan Sumber Batch Open Hub SAP BW untuk membuat pipeline data guna mengintegrasikan data SAP.

Sebelum memulai

Untuk menggunakan plugin ini, Anda memerlukan pengetahuan domain di area berikut:

• Membangun pipeline di Cloud Data Fusion
• Mengkonfigurasi sistem SAP BW atau BW4HANA

Peran pengguna

Tugas di halaman ini dijalankan oleh orang dengan peran berikut di Google Cloud atau di sistem SAP mereka:

Jenis pengguna	Deskripsi
Admin Google Cloud	Pengguna yang diberi peran ini adalah administrator akun Google Cloud.
Pengguna Cloud Data Fusion	Pengguna yang diberi peran ini diberi otorisasi untuk mendesain dan menjalankan pipeline data. Mereka setidaknya diberi peran Data Fusion Viewer ( roles/datafusion.viewer). Jika menggunakan kontrol akses berbasis peran, Anda mungkin memerlukan peran tambahan.
Admin SAP	Pengguna yang diberi peran ini adalah administrator sistem SAP. Mereka memiliki akses untuk mendownload software dari situs layanan SAP. Ini bukan peran IAM.
Pengguna SAP	Pengguna yang diberi peran ini diberi otorisasi untuk terhubung ke sistem SAP. Ini bukan peran IAM.

Prasyarat untuk SAP BW

Anda memerlukan SAP HANA Studio untuk membuat dan mengedit Proses Transfer Data dan Rantai Proses.

Prasyarat untuk Cloud Data Fusion

• Jaringan VPC diperlukan untuk pembuatan instance Cloud Data Fusion.
• Instance Cloud Data Fusion, versi 6.8.0 atau yang lebih baru, edisi apa pun, diperlukan.
• Peran yang diperlukan harus diberikan ke akun layanan yang ditetapkan ke instance Cloud Data Fusion. Untuk informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.
• Anda harus menggunakan koneksi peering antara VPC Anda dan jaringan VPC bersama Google.

Mengonfigurasi sistem SAP BW

Sumber Batch Open Hub SAP BW menggunakan Remote Function Module (RFM), yang harus diinstal di setiap SAP Server tempat data diekstrak. RFM ini dikirimkan sebagai transpor SAP.

Untuk mengonfigurasi sistem SAP, ikuti langkah-langkah berikut:

1. Pengguna Cloud Data Fusion harus mendownload file ZIP yang berisi transpor SAP dan memberikannya kepada Admin SAP. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Cloud Data Fusion.
2. Admin SAP harus mengimpor transpor SAP ke sistem SAP dan memverifikasi objek yang dibuat. Untuk informasi selengkapnya, lihat Menginstal transpor SAP.
3. Opsional: Pengguna SAP dapat mengubah Objek Otorisasi Standar SAP dari peran yang diberikan /GOOG/BWOH_CDF_AUTH berdasarkan kebijakan keamanan organisasi mereka.

Menginstal file transport SAP

Untuk mendesain dan menjalankan pipeline data di Cloud Data Fusion, komponen SAP dikirimkan dalam file transpor SAP, yang diarsipkan dalam file zip. Download tersedia saat Anda men-deploy plugin di Cloud Data Fusion Hub.

Download file zip transportasi SAP BW OH

ID permintaan transpor SAP dan file terkait diberikan dalam tabel berikut:

Transpor SAP

ID Transport	{i>Cofile<i}	File data	Konten
BW1K900054	K900054.BW1	R900054.BW1	BWOH Cloud Data Fusion Connector versi 1.0 Modul Fungsi: /GOOG/BWOH_GET_PC_LOG /GOOG/BWOH_GET_PRO_CHA_DETAILS /GOOG/BWOH_API_OHS_ETL_READ /GOOG/BWOH_GET_PC_RUNS /GOOG/BWOH_SET_LAST_RUN /GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055	K900055.BW1	R900055.BW1	Peran Otorisasi /GOOG/BWOH_CDF_AUTH

Untuk menginstal transport SAP, ikuti langkah-langkah berikut:

Langkah 1: Upload file permintaan transportasi

1. Login ke sistem operasi Instance SAP.
2. Gunakan kode transaksi SAP AL11 guna mendapatkan jalur untuk folder DIR_TRANS. Biasanya, jalurnya adalah /usr/sap/trans/.
3. Salin cofile ke folder DIR_TRANS/cofiles.
4. Salin file data ke folder DIR_TRANS/data.
5. Tetapkan data dan cofile Pengguna dan Grup ke <sid>adm dan sapsys.

Langkah 2: Impor file permintaan transportasi

Administrator SAP dapat mengimpor file permintaan transportasi dengan menggunakan salah satu opsi berikut:

Opsi 1: Impor file permintaan transportasi menggunakan sistem pengelolaan transportasi SAP

1. Login ke sistem SAP sebagai administrator SAP.
2. Masukkan STMS transaksi.
3. Klik Ringkasan > Impor.
4. Di kolom Queue, klik dua kali SID saat ini.
5. Klik Tambahan > Permintaan Lainnya > Tambahkan.
6. Pilih ID permintaan transportasi, lalu klik Lanjutkan.
7. Pilih permintaan transportasi dalam antrean impor, lalu klik Request > Import.
8. Masukkan nomor Klien.

9. Pada tab Options, pilih Timpa Originals dan Abaikan Versi Komponen Tidak Valid.

   Opsional: Pilih Tinggalkan Permintaan Transportasi dalam Antrean untuk Impor Nanti. Hal ini menyebabkan permintaan diimpor lagi dalam urutan yang benar dengan impor berikutnya untuk semua permintaan. Opsi ini berguna jika Anda harus melakukan impor awal untuk setiap permintaan.

10. Klik Lanjutkan.

11. Pastikan modul fungsi dan peran otorisasi berhasil diimpor dengan menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Opsi 2: Impor file permintaan transportasi pada tingkat sistem operasi

1. Login ke sistem SAP sebagai administrator SAP.

2. Tambahkan permintaan yang sesuai ke buffer impor:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Contoh: tp addtobuffer BW1K900054 DD1

3. Impor permintaan transportasi:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Ganti NNN dengan nomor klien. Contoh:

   tp import BW1K900054 DD1 client=100 U1238
   

   Catatan: U1238 menunjukkan untuk menyetel opsi yang dijelaskan pada langkah 9 dalam Opsi 1. Angka-angka tersebut menunjukkan nomor urut opsi yang sesuai di GUI SAP, yang mungkin berbeda menurut sistem. Jumlah tersebut harus disesuaikan oleh administrator SAP Anda.

4. Pastikan modul fungsi dan peran otorisasi berhasil diimpor dengan menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Otorisasi SAP yang diperlukan

Untuk menjalankan pipeline data di Cloud Data Fusion, Anda memerlukan Pengguna SAP. Pengguna SAP harus berjenis Communications atau Dialog. Untuk menghindari penggunaan resource dialog SAP, jenis Communications direkomendasikan. Administrator SAP dapat membuat pengguna menggunakan kode transaksi SAP SU01.

Otorisasi SAP diperlukan guna mengonfigurasi konektor untuk SAP. Objek otorisasi SAP khusus konektor dikirimkan sebagai bagian dari Permintaan Transport. Impor Transport Peran Otorisasi seperti yang dijelaskan dalam artikel Menginstal transport SAP untuk menghadirkan Peran ke dalam sistem Anda dan membuat peran dari kode transaksi PFCG.

Untuk objek otorisasi SAP standar, organisasi Anda mengelola izin dengan mekanisme keamanannya sendiri. Anda dapat mempertahankan objek otorisasi berdasarkan kebijakan keamanan organisasi Anda.

Membuat Rantai Proses (PC) dan Proses Transfer Data (DTP)

Membuat rantai proses dan proses transfer data memerlukan beberapa keterampilan tambahan dan pengetahuan latar belakang.

Konsep latar belakang

• Rantai Proses (PC)
• Proses Transfer Data (DTP)

Untuk membuat atau mengedit PC dan DTP, gunakan SAP HANA Studio.

Keterampilan prasyarat

• Anda telah menggunakan transformasi untuk menentukan aliran data antara objek dan objek target.
• Anda sudah terbiasa dengan konsep dasar BW dan HANA, seperti DataStore (DSO), Transformasi Data, InfoCubes, Pengoptimalan kueri, Pemodelan HANA, dan fitur HANA DB menggunakan HANA Studio. Untuk mengetahui informasi selengkapnya tentang konsep ini, lihat tutorial SAP tentang BW dan HANA.

Jenis ekstraksi

Ada dua mode ekstraksi data untuk Proses Transfer Data—Full dan Delta.

• Full: Fitur ini memilih semua data yang tersedia di sumber berdasarkan kondisi Filter yang disebutkan dalam DTP. Jika sumber data adalah salah satu InfoProviders berikut, hanya mode ekstraksi Lengkap yang tersedia:

  • InfoObjects
  • InfoSets
  • Objek DataStore untuk Update Langsung

• Delta: Tidak seperti InfoPackage, transfer Delta menggunakan DTP tidak memerlukan inisialisasi eksplisit. Saat DTP dijalankan dengan mode ekstraksi Delta untuk pertama kalinya, semua permintaan yang ada hingga waktu ekstraksi diambil dari sumber, lalu delta akan otomatis diinisialisasi.

  Opsi berikut tersedia untuk DTP dengan mode ekstraksi Delta:

  • Hanya Dapatkan Delta Satu Kali
  • Mendapatkan Semua Permintaan Data Baru Berdasarkan Permintaan
  • Mengambil Hingga Tidak Ada Lagi Data Baru

Ukuran paket: Ini adalah jumlah kumpulan data yang ada dalam satu paket data. Nilai defaultnya adalah 50,000.

Membuat Rantai Proses

Untuk membuat Rantai Proses (PC), gunakan RSPC transaksi di SAP GUI. Tentukan proses awal, lalu tambahkan langkah-langkah proses dan DTP. Untuk informasi selengkapnya, lihat dokumentasi SAP untuk Membuat Rantai Proses.

Berbagai opsi tersedia di HANA Studio untuk memantau dan mengelola PC. Untuk informasi selengkapnya, lihat Operasi Rantai Proses SAP BW/4HANA.

Membuat Proses Transfer Data menggunakan Rantai Proses

Buka tampilan Perencanaan Rantai Proses yang ingin Anda gunakan untuk Proses Transfer Data. Dari tampilan Perencanaan, Anda dapat membuat DTP menggunakan HANA Studio. Untuk informasi selengkapnya, lihat dokumentasi SAP untuk Membuat Proses Transfer Data.

Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi, lihat Semua tentang Proses Transfer Data (DTP) – SAP BW 7.

Koneksi RFC

Untuk memberi tahu sistem callback, seperti plugin Sumber Batch Open Hub SAP BW, bahwa data tersedia, Rantai Proses harus diperbarui untuk menggunakan tujuan RFC:

1. Di SM59, buat koneksi RFC dengan jenis Koneksi TCP/IP untuk memberi tahu sistem target dari BW setelah pemuatan data selesai di BI.

2. Pastikan ID Program dikonfigurasi dalam koneksi RFC dengan mengklik dua kali koneksi RFC. ID Program harus unik untuk setiap tujuan RFC guna menghindari konflik pemroses runtime.

   Catatan: Pengujian koneksi tujuan RFC diakhiri dengan TP PROGRAM ID not registered. Hal ini wajar karena koneksi RFC hanya berfungsi selama pipeline dijalankan, yaitu saat Cloud Data Fusion mendaftarkan Program ID dengan Gateway SAP.

3. Gunakan koneksi TCP/IP yang baru dibuat di Process Chain untuk mengirim notifikasi agar tugas batch Cloud Data Fusion diselesaikan. Nama rantai proses tidak peka huruf besar/kecil. Hal ini harus ditentukan dengan benar dalam huruf besar dalam proses integrasi menyeluruh.

Menampilkan log Rantai Proses dan Proses Transfer Data

1. Buka Tcode : RSPC, lalu klik Process Chains.

2. Klik kanan Process Chain yang ingin Anda tampilkan lognya, lalu klik Display Logs.

Mengonfigurasi cluster Dataproc saat menggunakan Process Chain

Catatan: Ini hanya berlaku saat menggunakan ekstraksi berbasis Process Chain, bukan ekstraksi berbasis Tujuan Open Hub.

Untuk mengaktifkan komunikasi melalui server RFC, Anda harus menambahkan entri port Gateway SAP dalam file /etc/services di node cluster Dataproc. Sebaiknya gunakan init action, skrip yang akan dijalankan saat cluster diinisialisasi. Untuk informasi selengkapnya, lihat Tindakan Inisialisasi.

Membuat file skrip dan menyimpannya ke bucket Cloud Storage. Contoh berikut menunjukkan konten file skrip:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Dalam contoh sebelumnya, perhatikan hal-hal berikut:

• Entri dalam bentuk sapgwxx 33xx/tcp, dengan XX adalah nomor instance SAP.

• Port untuk instance SAP 00 hingga 04 ditambahkan.

Lakukan langkah-langkah berikut jika Anda menggunakan persistensi sementara, persisten yang baru dibuat, atau cluster Dataproc persisten yang sudah ada.

Cluster Dataproc efemeral

Jika Anda menggunakan cluster Dataproc efemeral, tambahkan jalur skrip init ke properti cluster:

1. Di pemantauan tugas, dari halaman pipeline di Cloud Data Fusion, klik Konfigurasikan.
2. Pilih profil Compute, lalu klik Customize.
3. Di bagian Advanced Settings, di kolom Initialization Actions, masukkan jalur ke skrip init.

Cluster Dataproc persisten baru

Jika Anda menggunakan cluster Dataproc persisten yang baru dibuat, gunakan skrip init dalam perintah gcloud untuk membuat cluster. Misalnya:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Dataproc persisten yang ada

Jika Anda menggunakan cluster Dataproc persisten yang sudah ada, ikuti langkah-langkah berikut:

Jika cluster telah dibuat tanpa menggunakan skrip init, tambahkan entri secara manual di node Master dan Worker dari cluster Dataproc.

1. SSH ke Node Master dan Cluster.
2. Masuk ke ID pengguna root.
3. Arahkan ke /etc/ dan buka file /etc/services di editor VI.
4. Tambahkan entri sapgwxx 33xx/tcp. Ganti xx dengan nomor instance SAP Anda.
5. Simpan file /etc/services.

Menyiapkan Cloud Data Fusion

Pengguna Cloud Data Fusion dan admin Google Cloud akan melakukan tugas-tugas di bagian ini.

Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP. Untuk instance pribadi, siapkan peering jaringan. Setelah peering jaringan dibuat dengan project tempat sistem SAP dihosting, tidak ada konfigurasi tambahan yang diperlukan untuk terhubung ke instance Cloud Data Fusion Anda. Sistem SAP dan instance Cloud Data Fusion harus berada di dalam project yang sama.

Langkah-langkah untuk pengguna Cloud Data Fusion

1. Buka detail instance:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Klik Instance, lalu klik nama instance untuk membuka halaman Detail instance.

      Buka Instance

2. Pastikan instance telah diupgrade ke versi 6.8.0 atau yang lebih baru. Jika instance berada dalam versi sebelumnya, Anda harus mengupgradenya.
3. Buka instance. Saat UI Cloud Data Fusion terbuka, klik Hub.
4. Pilih tab SAP > SAP BW. Jika tab SAP tidak terlihat, lihat Memecahkan masalah integrasi SAP.
5. Klik Deploy SAP BW Plugin. Plugin ini muncul di menu Sumber di halaman Studio.

Langkah-langkah untuk Admin SAP dan Admin Google Cloud

Admin SAP mendownload artefak JCo berikut dari situs Dukungan SAP dan memberikannya ke Google Cloud Admin.

• Satu tidak bergantung pada platform (sapjco3.jar)
• Satu bergantung pada platform (libsapjco3.so di Unix)

Catatan: Versi JCo minimum yang didukung adalah 3.0.20.

Untuk mendownload file, ikuti langkah-langkah berikut:

1. Buka halaman SAP Connectors.
2. Klik SAP Java Connector/Tools and Services. Anda dapat memilih link khusus platform untuk download tersebut.

3. Pilih platform tempat instance Cloud Data Fusion Anda dijalankan:

   1. Jika Anda menggunakan image Google Cloud standar untuk VM di cluster, yang merupakan default untuk Cloud Data Fusion, pilih Linux untuk prosesor yang kompatibel dengan Intel 64-bit x86.
   2. Jika Anda menggunakan gambar kustom, pilih platform yang sesuai.

4. Google Cloud Admin harus menyalin file JCo ke bucket Cloud Storage yang dapat dibaca. Berikan jalur bucket kepada pengguna Cloud Data Fusion untuk memasukkannya ke properti plugin yang sesuai di Cloud Data Fusion: Jalur GCS Library SAP JCo. Lihat Mengonfigurasi plugin.

5. Admin Google Cloud harus memberikan akses baca kedua file ke akun layanan Cloud Data Fusion untuk lingkungan desain dan akun layanan Dataproc untuk lingkungan eksekusi. Untuk mengetahui informasi selengkapnya, lihat akun layanan Cloud Data Fusion.

Mengonfigurasi plugin

Plugin Sumber Batch Open Hub SAP BW membaca konten SAP DataSource.

Untuk memfilter data, Anda dapat mengonfigurasi properti berikut untuk Sumber Batch Open Hub SAP BW.

Indikator berikut digunakan untuk menentukan {i>field<i}:

• (M): Menunjukkan Makro didukung untuk kolom masing-masing
• (O): Kolom opsional

Label: Label plugin di kanvas.

Dasar

Dalam daftar properti berikut, (M) berarti opsi tersebut mendukung makro, dan dapat digunakan untuk mengelola koneksi SAP secara terpusat. Misalnya, Anda dapat menggunakan makro untuk properti koneksi dan menetapkan nilai saat runtime menggunakan parameter runtime atau plugin Penyetel Argumen.

• Reference Name: Nama yang digunakan untuk mengidentifikasi sumber ini secara unik untuk silsilah dan metadata anotasi.

• Gunakan koneksi (Tombol Aktif/Nonaktif): Apakah akan menggunakan koneksi yang ada (lihat Mengelola koneksi). Jika memilih untuk menggunakan koneksi yang ada, Anda tidak perlu memberikan detail koneksi SAP apa pun.

  Catatan: Hanya Tujuan BW OH yang memiliki satu DTP dan satu PC yang didukung.

• Connection (menjelajahi koneksi): Pilih koneksi yang ada untuk digunakan. Anda juga dapat menggunakan fungsi makro ${conn(connection-name)}.

• Klien SAP (M): Klien SAP yang akan digunakan. Contoh, 100.

• Bahasa SAP (M): Bahasa masuk SAP. Contoh, EN.

• Jenis Koneksi: Jenis koneksi SAP—langsung atau load balanced. Koneksi load balanced tidak didukung untuk ekstraksi berbasis Process Chain. Untuk mengetahui informasi selengkapnya, lihat Detail dukungan.

  Memilih jenis koneksi akan mengubah kolom yang tersedia.

  Untuk koneksi langsung, tersedia kolom berikut:

  • SAP Application Server Host (M): Nama server SAP atau alamat IP.
  • Nomor Sistem SAP (M): Nomor sistem SAP. Contoh, 00.
  • Router SAP (M, O): String router.

  Untuk koneksi yang di-load balanced, tersedia kolom berikut:

  • SAP Message Server Host (M): Nama host atau alamat IP pesan SAP.
  • SAP Message Server Service or Port Number (M): Nomor port atau layanan server pesan SAP. Contoh, sapms02.
  • ID Sistem SAP (SID) (M): ID sistem SAP. Contoh, N75.
  • SAP Logon Group Name (M): Nama grup login SAP. Contoh, PUBLIC.

• Gunakan Rantai Proses (M): Kolom ini berisi dua opsi.

  Jika Anda mengaktifkan Process Chain menggunakan opsi Yes, properti berikut akan diaktifkan:

  • Mengotomatiskan Menyelesaikan Error PC dan DTP: Mengontrol perilaku saat operasi yang sebelumnya gagal teridentifikasi. Jika dinonaktifkan, plugin akan menggagalkan pipeline dengan error yang relevan. Jika diaktifkan (default), plugin akan memeriksa Rantai Proses dan status Proses Transfer Data di SAP. Jika salah satu error berikut teridentifikasi, plugin akan otomatis mencoba mengatasinya:

  • Data Transfer Process in error state: Plugin menghapus permintaan sebelumnya

  • Rantai Proses dalam status Merah dengan error previous request status has not been set: Plugin menghapus permintaan pemblokiran setelah mendapatkan ID permintaan dari log Rantai Proses, lalu mencoba menjalankan PC.

  • Waktu Tunggu Notifikasi Status Rantai Proses (dalam menit) (M, O): Menunggu waktu tertentu, dalam menit, hingga Rantai Proses menyelesaikan staging data dan memberi tahu pipeline untuk memulai ekstraksi. Jika Anda menentukan 0 atau mengosongkannya, nilai akan diambil sebagai 10 menit, yang merupakan default.

  • Process Chain (M): Nama Chain Proses SAP. Contoh, PC_RFC.

  Jika Anda menonaktifkan Process Chain menggunakan opsi No, properti berikut akan diaktifkan:

  • Tujuan Hub Terbuka (M): Membuka nama Tujuan Hub untuk dibaca.
  • Request ID (M,O): ID permintaan untuk Proses Transfer Data yang sudah berjalan.

Kredensial

• SAP Logon Username (M): Nama pengguna SAP. Direkomendasikan: Jika nama pengguna login SAP berubah secara berkala, gunakan makro.
• SAP Logon Password (M): Sandi pengguna SAP. Direkomendasikan: Untuk nilai sensitif seperti Sandi pengguna, gunakan makro aman

Detail SAP JCo

• Project ID GCP (M): Project ID Google Cloud, yang mengidentifikasi project secara unik. ID ini dapat ditemukan di Dasbor di Konsol Google Cloud.
• Jalur GCS Library SAP JCo (M): Jalur Cloud Storage yang berisi file library SAP JCo yang diupload pengguna.
• Dapatkan Skema: Klik opsi ini jika Anda ingin plugin membuat skema berdasarkan metadata dari SAP, dengan pemetaan otomatis jenis data SAP ke jenis data Cloud Data Fusion yang sesuai. Fungsinya sama dengan tombol Validasi.

Untuk informasi selengkapnya tentang sertifikat klien, lihat Menggunakan Sertifikat Klien X.509 di Server Aplikasi SAP NetWeaver untuk ABAP.

Lanjutan

• Jumlah Bagian yang akan Dihasilkan (M, O): Jumlah bagian digunakan untuk mempartisi data input. Lebih banyak partisi meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Dalam kasus sistem lokal SAP, jika nilai tidak ditentukan dalam UI, pemisahannya adalah 50% dari proses kerja dialog yang tersedia di SAP. Jika tidak, pemisahan akan dioptimalkan antara pengguna yang ditentukan dan 50% dari proses kerja yang tersedia.

  Catatan: Properti ini mengontrol paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi dan koneksi SAP yang ditentukan saat mengekstrak kumpulan data.

  Direkomendasikan: Biarkan properti kosong, kecuali jika Anda sudah memahami setelan sistem SAP.

• Additional SAP Connection Properties (M, O): Menetapkan properti SAP JCo tambahan yang mengganti nilai default SAP JCo. Misalnya, menyetel jco.destination.pool_capacity = 10 akan mengganti kapasitas kumpulan koneksi default.

  Tabel berikut mencantumkan properti SAP JCo yang didukung:

  Properti	Deskripsi
  jco.destination.peak_limit	Jumlah maksimum koneksi aktif yang dapat dibuat untuk tujuan secara bersamaan.
  jco.destination.pool_capacity	Jumlah maksimum koneksi nonaktif yang tetap terbuka oleh tujuan. Nilai 0 memiliki efek bahwa tidak ada penggabungan koneksi, yaitu koneksi akan ditutup setelah setiap permintaan.
  jco.destination.expiration_time	Waktu di ms setelah itu koneksi yang dimiliki oleh kumpulan internal dapat ditutup.
  jco.destination.expiration_check_period	Interval dalam ms yang digunakan oleh thread pemeriksa waktu tunggu memeriksa koneksi di kumpulan untuk mengetahui masa berlaku.
  jco.destination.max_get_client_time	Waktu maksimum dalam ms untuk menunggu koneksi, jika jumlah koneksi maksimum yang diizinkan dialokasikan oleh aplikasi.

Perilaku mode ekstraksi data

Mode ekstraksi data dikontrol melalui setelan Proses Transfer Data. Perilaku ini berbeda saat menggunakan Rantai Proses versus menggunakan Tujuan Open Hub.

Saat menggunakan Rantai Proses

Setelan di tingkat Proses Transfer Data mengontrol apakah pemuatan penuh atau delta dijalankan. ID Permintaan diterima sebagai notifikasi dari SAP ke plugin. Plugin membaca data paket yang terkait dengan satu ID permintaan ini.

Saat menggunakan Tujuan Open Hub tanpa ID permintaan

Catatan: Hanya Tujuan BW OH yang memiliki satu DTP dan satu PC yang didukung.

Beban penuh: Menjalankan pipeline untuk pertama kalinya akan mendapatkan semua ID permintaan yang tersedia dalam tabel Open Hub. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemuatan delta: Menjalankan pipeline yang sama untuk lain waktu akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan yang terakhir diambil. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Saat menggunakan Tujuan Open Hub dengan ID permintaan

Catatan: Hanya Tujuan BW OH yang memiliki satu DTP dan satu PC yang didukung.

Beban Penuh: Menjalankan pipeline untuk pertama kalinya akan membuat semua ID permintaan berikutnya yang tersedia lebih besar daripada ID permintaan yang ditentukan. Plugin ini membaca data paket yang terkait dengan ID permintaan ini.

Delta Load: Menjalankan pipeline yang sama untuk lain waktu akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan yang terakhir diambil. Plugin ini membaca data paket yang terkait dengan ID permintaan ini.

Pemetaan jenis data

Tabel berikut menunjukkan pemetaan antara jenis data yang digunakan di SAP BW dan Cloud Data Fusion.

Jenis data BW	Jenis ABAP	Deskripsi (SAP)	Jenis data Cloud Data Fusion
Angka
INT1	b	Bilangan bulat 1 byte	integer
INT2	s	Bilangan bulat 2 byte	integer
INT4	i	Bilangan bulat 4 byte	integer
INT8	8	Bilangan bulat 8 byte	long
DES	p	Nomor paket dalam format BCD (DES)	decimal
DF16_DES DF16_RAW	a	Floating point desimal 8 byte IEEE 754r	decimal
DF34_DES DF34_RAW	e	Floating point desimal 16 byte IEEE 754r	decimal
FLTP	f	Bilangan floating point biner	double
Karakter
CHAR LCHR	c	String karakter	string
SSTRING GEOM_EWKB	string	String karakter	string
STRING	string	String karakter CLOB	bytes
NUMC ACCP	n	Teks numerik	string
Byte
BELUM TERUKUR HATI	x	Data biner	bytes
{i>RAWSTRING<i}	xstring	BLOB string byte	bytes
Date/Time
DAT	d	Tanggal	date
TIM	t	Waktu	time
TIMESTAMP	utcl	Stempel Waktu Utclong	timestamp

Validasi

Klik Validate atau Get Schema.

Plugin memvalidasi properti dan menghasilkan skema berdasarkan metadata dari SAP. Metode ini otomatis memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai.

Menjalankan pipeline data

1. Setelah men-deploy pipeline, klik Konfigurasikan.
2. Pilih Materi.
3. Jika diperlukan, ubah Executor CPU dan Memory berdasarkan ukuran data keseluruhan dan jumlah transformasi yang digunakan dalam pipeline.
4. Klik Save.
5. Untuk memulai pipeline data, klik Jalankan.

Mengoptimalkan performa

Konfigurasi plugin Optimize

Gunakan properti berikut untuk mendapatkan performa yang optimal saat Anda menjalankan pipeline:

• Jumlah Bagian yang akan Dihasilkan di properti plugin Cloud Data Fusion: Ini mengontrol langsung paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi dan koneksi SAP yang ditentukan saat mengekstrak kumpulan data tabel. Nilai antara 8 dan 16 direkomendasikan, tetapi Anda dapat meningkatkan hingga 32 atau 64 dengan konfigurasi yang sesuai di sisi SAP, dengan mengalokasikan resource memori yang sesuai untuk proses kerja di SAP.

  Jika nilainya 0 atau dibiarkan kosong (direkomendasikan), sistem akan otomatis memilih nilai yang sesuai berdasarkan jumlah proses kerja SAP yang tersedia, data yang akan diekstrak, dan ukuran paket.

• Package Size di properti Proses Transfer Data BW: Ini mengontrol jumlah kumpulan data yang ada dalam masing-masing paket data. Nilai defaultnya adalah 50,000. Meningkatkan nilai ini mungkin menghasilkan performa yang lebih baik, tetapi beban resource lebih tinggi. Jika Anda sudah menggunakan nilai yang lebih tinggi, turunkan nilai tersebut agar paralelisasi ekstraksi lebih baik.

Setelan resource Cloud Data Fusion

Direkomendasikan: Gunakan 1 CPU dan memori 4 GB per eksekutor. Nilai ini berlaku untuk setiap proses eksekutor. Tetapkan nilai ini dalam dialog Configure > Resources.

Setelan cluster Dataproc

Direkomendasikan: Alokasikan total CPU ke seluruh pekerja, lebih besar dari jumlah pemisahan yang dimaksudkan. Lihat Konfigurasi plugin.

Misalnya, jika Anda memiliki 16 bagian, tentukan total 20 CPU atau lebih, untuk semua pekerja. Ada overhead dari 4 CPU yang digunakan untuk koordinasi.

Direkomendasikan: Gunakan cluster Dataproc persisten untuk mengurangi runtime pipeline data. Tindakan ini akan meniadakan langkah penyediaan, yang mungkin memerlukan waktu beberapa menit atau lebih. Tetapkan ini di bagian konfigurasi Compute Engine.

Detail dukungan

Produk dan versi SAP yang didukung

Sumber yang didukung:

• SAP NW BW 7.5 dan yang lebih baru
• SAP BW4HANA 2.0 SP9 (untuk menyertakan Open Hub Destination API; rilis BW4HANA sebelumnya tidak mendukung Open Hub Destination API)

Dukungan untuk koneksi load balanced (server pesan) SAP

Koneksi load balanced (server pesan) SAP didukung untuk ekstraksi berbasis Open Hub Destination, yang tidak menggunakan Server RFC.

Koneksi SAP load balanced (server pesan) tidak didukung untuk ekstraksi berbasis rantai proses. Alasannya adalah pembatasan SAP saat memberikan notifikasi data ready ke sistem klien, yang mengharuskan pendaftaran Server RFC (pemroses plugin) pada setiap Server SAP di lanskap BW, sehingga meningkatkan jejak konektor dan berpotensi memengaruhi performa SAP serta penggunaan resource. Untuk mengetahui informasi selengkapnya, lihat Catatan SAP 2572564 (perlu login dukungan SAP untuk melihat).

Model deployment SAP yang didukung

Plugin ini diuji dengan server SAP yang di-deploy di Google Cloud.

Objek SAP yang Didukung

Sumber data untuk Tujuan Open Hub: InfoProviders (InfoObject, InfoCube, Objek DataStore, Objek Advanced Data Store, Composite Provider)

Rantai Proses untuk otomatis menjalankan Proses Transfer Data ke Tujuan Open Hub.

Pisahkan lisensi untuk menggunakan Oracle HTTP Server untuk mengekstrak data dari SAP

Anda tidak memerlukan lisensi terpisah untuk menggunakan Oracle HTTP Server (OHS) untuk mengekstrak data dari SAP; tetapi, tanyakan kepada perwakilan SAP Anda mengenai perjanjian dan kasus penggunaan tertentu.

Throughput plugin yang diharapkan

Untuk lingkungan yang dikonfigurasi sesuai dengan pedoman dalam Mengoptimalkan performa, plugin dapat mengekstrak sekitar 38 GB per jam. Performa sebenarnya dapat bervariasi dengan beban sistem Cloud Data Fusion dan SAP atau traffic jaringan.

Langkah selanjutnya

• Pelajari Cloud Data Fusion lebih lanjut.
• Pelajari SAP di Google Cloud lebih lanjut.