Sumber replikasi SAP SLT

Halaman ini menjelaskan cara mengaktifkan replikasi data secara real time dari aplikasi SAP ke Google Cloud menggunakan SAP Landscape Transformation (SLT). Konten ini berlaku untuk plugin SAP SLT Replication dan SAP SLT No RFC Replication, yang tersedia di Cloud Data Fusion Hub. Contoh ini menunjukkan konfigurasi untuk SAP Source System, SLT, Cloud Storage, dan Cloud Data Fusion untuk melakukan hal berikut:

  • Mengirim metadata dan data tabel SAP ke Google Cloud menggunakan SAP SLT.
  • Buat tugas replikasi Cloud Data Fusion yang membaca data dari bucket Cloud Storage.

Dengan Replikasi SAP SLT, Anda dapat mereplikasi data secara terus-menerus dan secara real time dari sumber SAP ke BigQuery. Anda dapat mengonfigurasi dan melakukan transfer data dari sistem SAP tanpa coding apa pun.

Proses replikasi Cloud Data Fusion SLT adalah sebagai berikut:

  1. Data berasal dari Sistem Sumber SAP.
  2. SLT melacak dan membaca data, lalu mengirimnya ke Cloud Storage.
  3. Cloud Data Fusion mengambil data dari bucket penyimpanan dan menulisnya ke BigQuery.

Anda dapat mentransfer data dari sistem SAP yang didukung, termasuk sistem SAP yang dihosting di Google Cloud.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan SAP di Google Cloud dan detail dukungan.

Sebelum memulai

Untuk menggunakan plugin ini, Anda memerlukan pengetahuan domain dalam area berikut:

  • Membuat pipeline di Cloud Data Fusion
  • Pengelolaan akses dengan IAM
  • Mengonfigurasi sistem SAP Cloud dan enterprise resource planning (ERP) lokal

Admin dan pengguna yang melakukan konfigurasi

Tugas di halaman ini dijalankan oleh orang dengan peran berikut di Google Cloud atau di sistem SAP mereka:

Jenis pengguna Deskripsi
Admin Google Cloud Pengguna yang diberi peran ini adalah administrator akun Google Cloud.
Pengguna Cloud Data Fusion Pengguna yang diberi peran ini diberi otorisasi untuk mendesain dan menjalankan pipeline data. Mereka setidaknya diberi peran Data Fusion Viewer ( roles/datafusion.viewer). Jika menggunakan kontrol akses berbasis peran, Anda mungkin memerlukan peran tambahan.
Admin SAP Pengguna yang diberi peran ini adalah administrator sistem SAP. Mereka memiliki akses untuk mendownload software dari situs layanan SAP. Ini bukan peran IAM.
Pengguna SAP Pengguna yang diberi peran ini diberi otorisasi untuk terhubung ke sistem SAP. Ini bukan peran IAM.

Operasi replikasi yang didukung

Plugin Replikasi SAP SLT mendukung operasi berikut:

Pemodelan Data: Semua operasi pemodelan data (catatan insert, delete, dan update) didukung oleh plugin ini.

Definisi Data: Seperti yang dijelaskan dalam Catatan SAP 2055599 (perlu login untuk melihat dukungan SAP), ada batasan terkait perubahan struktur tabel sistem sumber yang direplikasi secara otomatis oleh SLT. Beberapa operasi definisi data tidak didukung di plugin (Anda perlu menerapkannya secara manual).

  • Didukung:
    • Tambahkan kolom non-kunci (setelah melakukan perubahan pada SE11, aktifkan tabel menggunakan SE14)
  • Tidak didukung:
    • Tambahkan/hapus kolom kunci
    • Hapus kolom non-kunci
    • Mengubah tipe data

Persyaratan SAP

Item berikut diperlukan dalam sistem SAP Anda:

  • Anda telah menginstal SLT Server versi 2011 SP17 atau yang lebih baru di sistem SAP sumber (disematkan) atau sebagai sistem hub SLT khusus.
  • Sistem SAP sumber Anda adalah SAP ECC atau SAP S/4HANA, yang mendukung DMIS 2011 SP17 atau yang lebih tinggi, seperti DMIS 2018, DMIS 2020.
  • Add-on antarmuka pengguna SAP harus kompatibel dengan versi SAP Netweaver.

  • Paket dukungan Anda mendukung class /UI2/CL_JSON PL 12 atau yang lebih baru. Jika tidak, terapkan Catatan SAP terbaru untuk class /UI2/CL_JSON corrections sesuai dengan versi add-on antarmuka pengguna Anda, seperti SAP Note 2798102 untuk PL12.

  • Berikut adalah keamanan yang diterapkan:

Persyaratan Cloud Data Fusion

  • Anda memerlukan instance Cloud Data Fusion, versi 6.4.0 atau yang lebih baru, edisi apa pun.
  • Akun layanan yang ditetapkan ke instance Cloud Data Fusion diberi peran yang diperlukan (lihat Memberikan izin pengguna akun layanan).
  • Untuk instance Cloud Data Fusion pribadi, peering VPC diperlukan.

Persyaratan Google Cloud

Membuat bucket penyimpanan

Sebelum Anda membuat tugas replikasi SLT, buat bucket Cloud Storage. Tugas mentransfer data ke bucket dan memperbarui bucket staging setiap lima menit. Saat Anda menjalankan tugas tersebut, Cloud Data Fusion akan membaca data di bucket penyimpanan dan menulisnya ke BigQuery.

Jika SLT diinstal di Google Cloud

Server SLT harus memiliki izin untuk membuat dan mengubah objek Cloud Storage di bucket yang Anda buat.

Minimal, berikan peran berikut ke akun layanan:

Jika SLT tidak diinstal di Google Cloud

Instal Cloud VPN atau Cloud Interconnect antara VM SAP dan Google Cloud untuk mengizinkan koneksi ke endpoint metadata internal (lihat Mengonfigurasi Akses Google Pribadi untuk host lokal.

Jika metadata internal tidak dapat dipetakan:

  • Instal Google Cloud CLI berdasarkan sistem operasi infrastruktur tempat SLT berjalan.

  • Buat akun layanan di project Google Cloud tempat Cloud Storage diaktifkan.

  • Di sistem operasi SLT, izinkan akses ke Google Cloud dengan akun layanan.

  • Buat kunci API untuk akun layanan dan beri otorisasi cakupan terkait Cloud Storage.

  • Impor kunci API ke gcloud CLI yang diinstal sebelumnya menggunakan CLI.

  • Untuk mengaktifkan perintah gcloud CLI yang mencetak token akses, konfigurasikan SAP Operating System Command di alat transaksi SM69 dalam sistem SLT.

Administrator SAP mengonfigurasi perintah sistem operasi, SM69, yang mengambil token akses dari Google Cloud.

Buat skrip untuk mencetak token akses dan mengonfigurasi perintah sistem operasi SAP untuk memanggil skrip sebagai pengguna <sid>adm dari host Server Replikasi SAP LT.

Linux

Untuk membuat perintah OS:

  1. Di host Server Replikasi SAP LT, di direktori yang dapat diakses oleh <sid>adm, buat skrip bash yang berisi baris berikut:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. Dengan menggunakan antarmuka pengguna SAP, buat perintah OS eksternal:

    1. Masukkan transaksi SM69.
    2. Klik Create.
    3. Di bagian Command pada panel External Command, masukkan nama perintah, seperti ZGOOGLE_CDF_TOKEN.

    4. Di bagian Definition:

      1. Di kolom Operating System Command, masukkan sh sebagai ekstensi file skrip.

      2. Di kolom Parameters for Operating System Command, masukkan:

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Klik Save.

    6. Untuk menguji skrip, klik Execute.

    7. Klik Execute lagi.

    Token Google Cloud ditampilkan dan ditampilkan di bagian bawah panel antarmuka pengguna SAP.

Windows

Dengan menggunakan antarmuka pengguna SAP, buat perintah sistem operasi eksternal:

  1. Masukkan transaksi SM69.
  2. Klik Create.
  3. Di bagian Command pada panel External Command, masukkan nama perintah, seperti ZGOOGLE_CDF_TOKEN.

  4. Di bagian Definition:

    1. Di kolom Operating System Command, masukkan cmd /c.

    2. Di kolom Parameters for Operating System Command, masukkan:

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Klik Save.

  6. Untuk menguji skrip, klik Execute.

  7. Klik Execute lagi.

Token Google Cloud ditampilkan dan ditampilkan di bagian bawah panel antarmuka pengguna SAP.

Persyaratan SLT

Konektor SLT harus memiliki penyiapan berikut:

  • Konektor mendukung SAP ECC NW 7.02, DMIS 2011 SP17 dan yang lebih baru.
  • Konfigurasikan koneksi RFC atau database antara SLT dan sistem Cloud Storage.
  • Siapkan sertifikat SSL:
    • Download sertifikat CA berikut dari repositori Layanan Kepercayaan Google:
      • GTS Root R1
      • GTS CA 1C3
    • Di antarmuka pengguna SAP, gunakan transaksi STRUST untuk mengimpor root certificate dan subordinate certificate ke dalam folder SSL Client (Standard) PSE.
  • Internet Communication Manager (ICM) harus disiapkan untuk HTTPS. Pastikan port HTTP dan HTTPS dipertahankan dan diaktifkan di sistem SAP SLT. Ini dapat diperiksa melalui kode transaksi SMICM > Services.
  • Aktifkan akses ke Google Cloud API di VM tempat sistem SAP SLT dihosting. Hal ini memungkinkan komunikasi pribadi antara layanan Google Cloud tanpa perutean melalui internet publik.
  • Pastikan jaringan dapat mendukung volume dan kecepatan transfer data yang diperlukan antara infrastruktur SAP dan Cloud Storage. Agar penginstalan berhasil, sebaiknya gunakan Cloud VPN dan/atau Cloud Interconnect. Throughput API streaming bergantung pada quotas klien yang telah diberikan ke project Cloud Storage Anda.

Mengonfigurasi Server Replikasi SLT

Pengguna SAP melakukan langkah-langkah berikut.

Pada langkah berikut, Anda akan menghubungkan server SLT ke sistem sumber dan bucket di Cloud Storage, dengan menentukan sistem sumber, tabel data yang akan direplikasi, dan bucket penyimpanan target.

Mengonfigurasi Google ABAP SDK

Guna mengonfigurasi SLT untuk replikasi data (sekali per instance Cloud Data Fusion), ikuti langkah-langkah berikut:

  1. Untuk mengonfigurasi konektor SLT, SAP-User memasukkan informasi berikut di layar konfigurasi (Transaksi SAP /GOOG/CDF_SETTINGS) tentang kunci akun layanan Google Cloud untuk mentransfer data ke Cloud Storage. Konfigurasikan properti berikut pada tabel /has/CDF_CLT_KY menggunakan Transaksi SE16 dan catat kunci ini:

    • NAME: Nama untuk kunci akun layanan Anda (misalnya, CDFSLT)
    • NAMA AKUN LAYANAN: Nama akun layanan IAM
    • SCOPE: Cakupan akun layanan
    • PROJECT ID: ID project Google Cloud Anda
    • Opsional: EXT OS Command: Hanya gunakan kolom ini jika SLT tidak diinstal di Google Cloud

    • AUTH CLASS: Jika perintah OS disiapkan pada tabel /GOOG/CDF_CLT_KY, gunakan nilai tetap: /GOOG/CDF_CL_GCP_AUTH.

    • TOKEN REFRESH SEC: Durasi untuk refresh token otorisasi

Masukkan detail tentang kunci akun layanan

Buat konfigurasi replikasi

Buat konfigurasi Replikasi dalam kode transaksi: LTRC.

  • Sebelum melanjutkan ke konfigurasi LTRC, pastikan koneksi RFC antara sistem SLT dan Source SAP sudah dibuat.
  • Untuk satu konfigurasi SLT, mungkin ada beberapa tabel SAP yang ditetapkan untuk replikasi.

  1. Buka kode transaksi LTRC, lalu klik Konfigurasi Baru.

    Masukkan detail tentang kunci akun layanan

  2. Masukkan Configuration Name dan Description, lalu klik Next.

  3. Tentukan Koneksi RFC sistem SAP Source, lalu klik Next.

    Menentukan detail koneksi RFC sistem sumber

  4. Di Target System Connection Details, pilih Other.

  5. Luaskan kolom Scenario for RFC Communication, pilih SLT SDK, lalu klik Next.

  6. Buka jendela Tentukan Setelan Transfer dan masukkan nama aplikasi: ZGOOGLE_CDF.

    Tentukan setelan transfer

  7. Masukkan Jumlah Tugas Transfer Data, Jumlah Tugas Pemuatan Awal, dan Jumlah Tugas Penghitungan. Untuk mengetahui informasi selengkapnya tentang performa, lihat panduan pengoptimalan performa Server Replikasi SAP LT.

  8. Klik Real Time > Berikutnya.

  9. Tinjau konfigurasi, lalu klik Simpan. Catat ID Transfer Massa untuk langkah-langkah berikut.

    Simpan konfigurasi dan catat ID transfer massal

  10. Untuk mengelola detail ID Transfer Massa dan tabel SAP, jalankan transaksi SAP: /GOOG/CDF_SETTINGS.

  11. Klik Execute atau tekan F8.

  12. Buat entri baru dengan mengklik ikon tambahkan baris.

    1. Masukkan Mass Transfer ID, Mass Transfer Key, GCP Key Name, dan Target GCS Bucket. Pilih kotak centang Is Active dan simpan perubahannya.

      Masukkan detail perpindahan massa transpor

  13. Pilih konfigurasi di kolom Configuration Name, lalu klik Data Provisioning.

    Pilih penyediaan data

  14. Opsional: Sesuaikan nama tabel dan kolom.

    1. Klik Custom Names dan simpan.

    2. Klik Tampilan.

    3. Buat entri baru dengan mengklik tombol Tambahkan baris atau Buat.

    4. Masukkan nama tabel SAP dan nama tabel eksternal untuk digunakan di BigQuery, lalu simpan perubahannya.

    5. Klik tombol View di kolom Display fields untuk mempertahankan pemetaan kolom tabel.

    6. Halaman akan terbuka dengan pemetaan yang disarankan. Opsional: Edit Temp Field Name dan Field Description, lalu simpan pemetaan.

  15. Buka transaksi LTRC.

  16. Pilih nilai di kolom Configuration Name, lalu klik Data Provisioning.

  17. Masukkan nama tabel di kolom Table Name in Database dan pilih skenario replikasi.

    Pilih skenario replikasi

  18. Klik Jalankan. Tindakan ini akan memicu implementasi SLT SDK dan mulai mentransfer data ke bucket target di Cloud Storage.

Menginstal file transport SAP

Untuk mendesain dan menjalankan tugas replikasi di Cloud Data Fusion, komponen SAP dikirimkan sebagai file transpor SAP yang diarsipkan dalam file ZIP. Download tersedia saat Anda men-deploy plugin di Cloud Data Fusion Hub.

Download file ZIP transpor SAP SLT

ID permintaan transpor SAP dan file terkait diberikan dalam tabel berikut:

ID Transport {i>Cofile<i} File data Konten
ED1K900520 K900520.ED1 R900520.ED1 Implementasi SAP BADI ES_IUUC_REPL_RUNTIME_OLO_KELUAR
ED1K900337 K900337.ED1 R900337.ED1 Peran Otorisasi /WEEKS/SLT_CDF_AUTH

Untuk menginstal transport SAP, ikuti langkah-langkah berikut:

Langkah 1: Upload file permintaan transportasi

  1. Login ke sistem operasi Instance SAP.
  2. Gunakan kode transaksi SAP AL11 guna mendapatkan jalur untuk folder DIR_TRANS. Biasanya, jalurnya adalah /usr/sap/trans/.
  3. Salin cofile ke folder DIR_TRANS/cofiles.
  4. Salin file data ke folder DIR_TRANS/data.
  5. Tetapkan data dan cofile Pengguna dan Grup ke <sid>adm dan sapsys.

Langkah 2: Impor file permintaan transportasi

Administrator SAP dapat mengimpor file permintaan transportasi menggunakan sistem pengelolaan transpor SAP atau sistem operasi:

Sistem manajemen transportasi SAP

  1. Login ke sistem SAP sebagai administrator SAP.
  2. Masukkan STMS transaksi.
  3. Klik Ringkasan > Impor.
  4. Di kolom Queue, klik dua kali SID saat ini.
  5. Klik Tambahan > Permintaan Lainnya > Tambahkan.
  6. Pilih ID permintaan transportasi, lalu klik Lanjutkan.
  7. Pilih permintaan transportasi dalam antrean impor, lalu klik Request > Import.
  8. Masukkan nomor Klien.

  9. Pada tab Options, pilih Timpa Originals dan Abaikan Versi Komponen yang Tidak Valid (jika tersedia).

    Opsional: Untuk mengimpor ulang transport nanti, klik Tinggalkan Permintaan Transports dalam Antrean untuk Impor Nanti dan Impor Permintaan Transpor Lagi. Hal ini berguna untuk upgrade sistem SAP dan pemulihan cadangan.

  10. Klik Lanjutkan.

  11. Pastikan modul fungsi dan peran otorisasi berhasil diimpor dengan menggunakan transaksi, seperti SE80 dan PFCG.

Sistem operasi

  1. Login ke sistem SAP sebagai administrator SAP.

  2. Tambahkan permintaan ke buffering impor:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Contoh: tp addtobuffer IB1K903958 DD1

  3. Impor permintaan transportasi:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Ganti NNN dengan nomor klien. Contoh: tp import IB1K903958 DD1 client=800 U1238

  4. Pastikan modul fungsi dan peran otorisasi berhasil diimpor dengan menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Otorisasi SAP yang diperlukan

Untuk menjalankan pipeline data di Cloud Data Fusion, Anda memerlukan pengguna SAP. Pengguna SAP harus berjenis Komunikasi atau Dialog. Untuk mencegah penggunaan resource dialog SAP, jenis Komunikasi direkomendasikan. Pengguna dapat dibuat oleh Admin SAP menggunakan kode transaksi SAP SU01.

Otorisasi SAP diperlukan untuk memelihara dan mengonfigurasi konektor untuk SAP, yang merupakan kombinasi dari objek otorisasi konektor standar dan baru untuk SAP. Anda mengelola objek otorisasi berdasarkan kebijakan keamanan organisasi Anda. Daftar berikut menjelaskan beberapa otorisasi penting yang diperlukan untuk konektor:

  • Objek Otorisasi: Objek Otorisasi ZGOOGCDFMT dikirim sebagai bagian dari Peran Permintaan Transport.

  • Pembuatan Peran: Buat Peran menggunakan kode transaksi PFCG.

    Membuat peran menggunakan kode transaksi SAP

  • Untuk Objek Otorisasi SAP standar, organisasi Anda mengelola izin dengan mekanisme keamanannya sendiri.

  • Untuk Objek Otorisasi Kustom, berikan nilai di kolom otorisasi untuk objek otorisasi ZGOOGCDFMT.

  • Untuk kontrol akses yang lebih mendetail, ZGOOGCDFMT memberikan otorisasi berbasis grup otorisasi. Pengguna yang memiliki akses lengkap, sebagian, atau tanpa akses ke grup otorisasi akan diberi akses berdasarkan grup otorisasi yang ditetapkan dalam peran mereka.

  • /GOOG/SLT_CDF_AUTH: Peran dengan akses ke semua Grup Otorisasi. Untuk membatasi akses khusus ke Grup Otorisasi tertentu, pertahankan FICDF Grup Otorisasi dalam konfigurasi.

Membuat Tujuan RFC untuk sumber

Sebelum memulai konfigurasi, pastikan koneksi RFC dibuat antara sumber dan tujuan.

  1. Buka kode transaksi SM59.

  2. Klik Create > Connection Type 3 (ABAP Connection).

    Buat kode transaksi

  3. Di jendela Technical Settings, masukkan detail tentang RFC Destination.

  4. Klik tab Logon and Security untuk mengelola kredensial RFC (pengguna dan sandi RFC).

  5. Klik Save.

  6. Klik Uji Koneksi. Setelah pengujian berhasil, Anda dapat melanjutkan.

  7. Verifikasi bahwa Uji Otorisasi RFC berhasil.

  8. Klik Utilitas > Uji > Uji Otorisasi.

Mengonfigurasi plugin

Untuk mengonfigurasi plugin, deploy plugin dari Hub, buat tugas replikasi, lalu konfigurasikan sumber dan target dengan langkah-langkah berikut.

Men-deploy plugin di Cloud Data Fusion

Pengguna Cloud Data Fusion melakukan langkah-langkah berikut.

Sebelum Anda dapat menjalankan tugas replikasi Cloud Data Fusion, deploy plugin Replikasi SAP SLT:

  1. Buka instance:

    1. Di konsol Google Cloud, buka halaman Instance Cloud Data Fusion.

      Buka Instance

    2. Aktifkan Replikasi dalam instance baru atau yang sudah ada:

    3. Klik View instance untuk membuka instance di antarmuka web Cloud Data Fusion.

  2. Klik Hub.

  3. Buka tab SAP, klik SAP SLT, lalu klik SAP SLT Replication Plugin atau SAP SLT No RFC Replication Plugin.

  4. Klik Deploy.

Membuat tugas replikasi

Plugin Replikasi SAP SLT membaca konten tabel SAP menggunakan bucket staging Cloud Storage API.

Guna membuat tugas replikasi untuk transfer data Anda, ikuti langkah-langkah berikut:

  1. Pada instance Cloud Data Fusion yang terbuka, klik Home > Replication > Create a replication tugas. Jika tidak ada opsi Replikasi, aktifkan replikasi untuk instance.

  2. Masukkan Name dan Description unik untuk tugas replikasi.

  3. Klik Next.

Mengonfigurasi sumber

  1. Konfigurasikan sumber dengan memasukkan nilai di kolom berikut:

    • Project ID: ID project Google Cloud Anda (kolom ini telah diisi otomatis)

    • Jalur GCS Replikasi Data: Jalur Cloud Storage yang berisi data untuk replikasi. Jalurnya harus sama dengan yang dikonfigurasi di tugas SAP SLT. Secara internal, jalur yang disediakan digabungkan dengan Mass Transfer ID dan Source Table Name:

      Format: gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Contoh: gs://slt_bucket/012/MARA

    • GUID: SLT GUID—ID unik yang ditetapkan ke ID Transfer Massa SAP SLT.

    • ID Transfer Massa: ID Mass Transfer SLT adalah ID unik yang ditetapkan ke konfigurasi di SAP SLT.

    • Jalur GCS Library SAP JCo: Jalur penyimpanan yang berisi file library SAP JCo yang diupload pengguna. Library SAP JCo dapat didownload dari Portal Dukungan SAP. (Dihapus di plugin versi 0.10.0.)

    • Host Server SLT: Nama host atau alamat IP Server SLT. (Dihapus di plugin versi 0.10.0.)

    • Nomor Sistem SAP: Nomor sistem penginstalan yang disediakan oleh administrator sistem (misalnya, 00). (Dihapus di plugin versi 0.10.0.)

    • Klien SAP: Klien SAP yang akan digunakan (misalnya, 100). (Dihapus di plugin versi 0.10.0.)

    • Bahasa SAP: Bahasa login SAP (misalnya, EN). (Dihapus di plugin versi 0.10.0.)

    • Nama Pengguna SAP Logon: Nama pengguna SAP. (Dihapus di plugin versi 0.10.0.)

      • Direkomendasikan: Jika Nama Pengguna SAP Logon berubah secara berkala, gunakan makro.

    • SAP Logon Password (M): Sandi pengguna SAP untuk autentikasi pengguna.

      • Direkomendasikan: Gunakan makro yang aman untuk nilai sensitif, seperti sandi. (Dihapus di plugin versi 0.10.0.)

    • Tangguhkan replikasi SLT saat tugas CDF berhenti: Mencoba menghentikan tugas replikasi SLT (untuk tabel yang terlibat) saat tugas replikasi Cloud Data Fusion berhenti. Mungkin gagal jika tugas di Cloud Data Fusion tiba-tiba berhenti.

    • Mereplikasi Data yang Ada: Menunjukkan apakah akan mereplikasi data yang sudah ada dari tabel sumber. Secara default, tugas akan mereplikasi data yang ada dari tabel sumber. Jika ditetapkan ke false, semua data yang ada dalam tabel sumber akan diabaikan dan hanya perubahan yang terjadi setelah tugas dimulai yang akan direplikasi.

    • Kunci Akun Layanan: Kunci yang digunakan saat berinteraksi dengan Cloud Storage. Akun layanan harus memiliki izin untuk menulis ke Cloud Storage. Saat dijalankan di VM Google Cloud, atribut ini dapat ditetapkan ke auto-detect untuk menggunakan kunci akun layanan di VM.

  2. Klik Next.

Mengonfigurasi target

Untuk menulis data ke BigQuery, plugin memerlukan akses tulis ke BigQuery dan bucket staging. Peristiwa perubahan ditulis terlebih dahulu dalam batch dari SLT ke Cloud Storage. Data tersebut kemudian dimuat ke tabel staging di BigQuery. Perubahan dari tabel staging digabungkan ke dalam tabel target akhir menggunakan kueri penggabungan BigQuery.

Tabel target akhir mencakup semua kolom asli dari tabel sumber ditambah satu kolom _sequence_num tambahan. Nomor urut memastikan bahwa data tidak diduplikasi atau terlewat dalam skenario kegagalan replikator.

  1. Konfigurasikan sumber dengan memasukkan nilai di kolom berikut:

    • Project ID: Project set data BigQuery. Saat dijalankan di cluster Dataproc, baris ini boleh dikosongkan, sehingga akan menggunakan project cluster.
    • Kredensial: Lihat Kredensial.
    • Kunci Akun Layanan: Isi kunci akun layanan yang akan digunakan saat berinteraksi dengan Cloud Storage dan BigQuery. Saat dijalankan di cluster Dataproc, kolom ini dapat dibiarkan kosong, yang akan menggunakan akun layanan cluster.
    • Nama Set Data: Nama set data yang akan dibuat di BigQuery. Atribut ini bersifat opsional dan, secara default, nama set data sama dengan nama database sumber. Nama yang valid hanya boleh berisi huruf, angka, dan garis bawah, serta panjang maksimumnya bisa 1.024 karakter. Karakter yang tidak valid akan diganti dengan garis bawah pada nama set data akhir, dan setiap karakter yang melebihi batas panjang akan dipotong.
    • Nama Kunci Enkripsi: kunci enkripsi yang dikelola pelanggan (CMEK) yang digunakan untuk mengamankan resource yang dibuat oleh target ini. Nama kunci enkripsi harus berbentuk projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
    • Lokasi: Lokasi tempat set data BigQuery dan bucket staging Cloud Storage dibuat. Misalnya, us-east1 untuk bucket regional, us untuk bucket multi-regional (lihat Lokasi). Nilai ini diabaikan jika bucket yang ada ditentukan, karena bucket staging dan set data BigQuery dibuat di lokasi yang sama dengan bucket tersebut.

    • Bucket Staging: Bucket tempat peristiwa perubahan ditulis sebelum dimuat ke tabel staging. Perubahan ditulis pada direktori yang berisi nama replikator dan namespace. Anda dapat menggunakan bucket yang sama di beberapa replikator dalam instance yang sama dengan aman. Jika namespace dan nama tersebut digunakan bersama oleh replika di beberapa instance, pastikan namespace dan namanya unik. Jika tidak, perilakunya tidak akan ditentukan. Bucket harus berada di lokasi yang sama dengan set data BigQuery. Jika tidak diberikan, bucket baru akan dibuat untuk setiap tugas yang diberi nama sebagai df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>.

    • Load Interval (detik): Jumlah detik untuk menunggu sebelum memuat sekumpulan data ke BigQuery.

    • Awalan Tabel Staging: Perubahan ditulis terlebih dahulu ke tabel staging sebelum digabungkan ke tabel akhir. Nama tabel staging dihasilkan dengan menambahkan awalan ini ke nama tabel target.

    • Wajibkan Intervensi Lepas Manual: Apakah memerlukan tindakan administratif manual untuk menghapus tabel dan set data saat terjadi peristiwa database atau tabel drop-down. Jika ditetapkan ke true, replikator tidak akan menghapus tabel atau set data. Sebaliknya, metode ini akan gagal dan mencoba lagi sampai tabel atau set data tidak ada. Jika set data atau tabel tidak ada, tidak diperlukan intervensi manual. Peristiwa dilewati seperti biasa.

    • Aktifkan Soft Deletes: Jika ditetapkan ke true, saat peristiwa penghapusan diterima oleh target, kolom _is_deleted untuk data akan ditetapkan ke true. Jika tidak, record akan dihapus dari tabel BigQuery. Konfigurasi ini tidak beroperasi untuk sumber yang menghasilkan peristiwa yang tidak berurutan dan kumpulan data selalu dihapus untuk sementara dari tabel BigQuery.

  2. Klik Next.

Kredensial

Jika plugin dijalankan di cluster Dataproc, kunci akun layanan dapat ditetapkan ke deteksi otomatis. Kredensial akan otomatis dibaca dari lingkungan cluster.

Jika plugin tidak dijalankan di cluster Dataproc, jalur ke kunci akun layanan harus disediakan. Kunci akun layanan dapat ditemukan di halaman IAM pada Konsol Google Cloud. Pastikan kunci akun memiliki izin untuk mengakses BigQuery. File kunci akun layanan harus tersedia di setiap node dalam cluster Anda dan harus dapat dibaca oleh semua pengguna yang menjalankan tugas tersebut.

Batasan

  • Tabel harus memiliki kunci utama untuk direplikasi.
  • Operasi penggantian nama tabel tidak didukung.
  • Perubahan tabel didukung sebagian.
    • Kolom non-nullable yang sudah ada dapat diubah menjadi kolom nullable.
    • Kolom nullable baru dapat ditambahkan ke tabel yang sudah ada.
    • Jenis perubahan lainnya pada skema tabel akan gagal.
    • Perubahan pada kunci utama tidak akan gagal, tetapi data yang ada tidak ditulis ulang untuk mematuhi keunikan pada kunci utama baru.

Pilih tabel dan transformasi

Pada langkah Pilih tabel dan transformasi, daftar tabel yang dipilih untuk replikasi dalam sistem SLT akan muncul.

  1. Pilih tabel yang akan direplikasi.
  2. Opsional: Pilih operasi skema tambahan, seperti Inserts, Updates, atau Deletes.
  3. Untuk melihat skema, klik Kolom yang akan direplikasi untuk tabel.

  4. Opsional: Untuk mengganti nama kolom di skema, ikuti langkah-langkah berikut:

    1. Saat melihat skema, klik Transform > Rename.
    2. Di kolom Ganti nama, masukkan nama baru, lalu klik Terapkan.
    3. Untuk menyimpan nama baru, klik Muat ulang dan Simpan.

  5. Klik Next.

Opsional: Mengonfigurasi properti lanjutan

Jika mengetahui jumlah data yang direplikasi dalam satu jam, Anda dapat memilih opsi yang sesuai.

Tinjau penilaian

Langkah Tinjau penilaian memindai masalah skema, fitur yang tidak ada, atau masalah konektivitas yang terjadi selama replikasi.

  1. Di halaman Tinjau penilaian, klik Lihat pemetaan.

    Jika terjadi masalah, masalah tersebut harus diselesaikan sebelum Anda dapat melanjutkan.

  2. Opsional: Jika Anda mengganti nama kolom saat memilih tabel dan transformasi, pastikan nama baru tersebut sudah benar.

  3. Klik Next.

Melihat ringkasan dan men-deploy tugas replikasi

Di halaman Review replication job details, tinjau setelan, lalu klik Deploy replication job.

Pilih profil Compute Engine

  1. Setelah Anda men-deploy tugas replikasi, klik Configure dari halaman mana pun di antarmuka web Cloud Data Fusion.

  2. Pilih profil Compute Engine yang ingin Anda gunakan untuk menjalankan tugas replikasi ini.

  3. Klik Save.

    Pilih profil Compute di antarmuka web Cloud Data Fusion.

Memulai tugas replikasi

  • Untuk menjalankan tugas replikasi, klik Start.

Memulai tugas replikasi di antarmuka web Cloud Data Fusion

Opsional: Mengoptimalkan performa

Secara default, plugin dikonfigurasi untuk performa yang optimal. Untuk pengoptimalan tambahan, lihat Argumen runtime.

Performa komunikasi SLT dan Cloud Data Fusion bergantung pada faktor-faktor berikut:

  • SLT pada sistem sumber versus sistem SLT pusat khusus (opsi yang lebih disukai)
  • Pemrosesan tugas latar belakang pada sistem SLT
  • Dialog proses kerja pada sistem SAP sumber
  • Jumlah proses tugas latar belakang yang dialokasikan ke setiap ID Transfer Massa di tab LTRC Administration
  • Setelan LTRS
  • Hardware (CPU dan memori) sistem SLT
  • Database yang digunakan (misalnya: HANA, Sybase, atau DB2)
  • Bandwidth internet (konektivitas antara sistem SAP dan Google Cloud melalui internet)
  • Pemanfaatan (beban) yang sudah ada pada sistem
  • Jumlah kolom dalam tabel. Dengan lebih banyak kolom, replikasi menjadi lambat dan latensi dapat meningkat.

Jenis operasi baca berikut di setelan LTRS direkomendasikan untuk pemuatan awal:

sistem SLT Sistem Sumber Jenis tabel Jenis baca yang direkomendasikan
[pemuatan awal]
SLT 3.0 mandiri
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparan (kecil/sedang)
Transparan (besar)
Tabel cluster		 1 penghitungan rentang
1 penghitungan rentang
4 antrean pengirim
SLT disematkan
[S4CORE 104 HANA 1909]		 T/A Transparan (kecil/sedang)
Transparan (besar)
Tabel cluster		 1 penghitungan rentang
1 penghitungan rentang
4 antrean pengirim
SLT 2.0 mandiri
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparan (kecil/sedang)
Transparan (besar)
Tabel cluster		 5 antrean pengirim
5 antrean pengirim
4 Antrean pengirim
SLT disematkan
[DMIS 2011_1_700 SP 17]		 T/A Transparan (kecil/sedang)
Transparan (besar)
Tabel cluster		 5 antrean pengirim
5 antrean pengirim
4 Antrean pengirim
  • Untuk replikasi, gunakan No Ranges untuk meningkatkan performa:
    • Rentang hanya boleh digunakan ketika backlog dibuat dalam tabel logging dengan latensi tinggi.
    • Menggunakan satu penghitungan rentang: Jenis baca untuk pemuatan awal tidak direkomendasikan jika menggunakan sistem SLT 2.0 dan Non-HANA.
    • Menggunakan satu penghitungan rentang: Jenis operasi baca untuk pemuatan awal dapat menghasilkan data duplikat di BigQuery.
  • Performa selalu lebih baik ketika sistem SLT mandiri digunakan.
  • Sistem SLT mandiri selalu direkomendasikan jika penggunaan resource sistem sumber sudah tinggi.

Argumen runtime

  • snapshot.thread.count: Meneruskan jumlah thread untuk mulai melakukan pemuatan data SNAPSHOT/INITIAL secara paralel. Secara default, metode ini menggunakan jumlah vCPU yang tersedia di cluster Dataproc tempat tugas replikasi dijalankan.

    Direkomendasikan: hanya tetapkan parameter ini jika Anda memerlukan kontrol yang akurat atas jumlah thread paralel (misalnya, untuk mengurangi penggunaan di cluster).

  • poll.file.count: Meneruskan jumlah file yang akan di-pol dari jalur Cloud Storage yang disediakan di kolom Data Replication GCS Path di antarmuka web. Secara default, nilainya adalah 500 per polling, tetapi berdasarkan konfigurasi cluster, nilainya dapat ditingkatkan atau diturunkan.

    Direkomendasikan: Hanya tetapkan parameter ini jika Anda memiliki persyaratan yang ketat untuk penundaan replikasi. Nilai yang lebih rendah dapat mengurangi penundaan. Anda dapat menggunakannya untuk meningkatkan throughput (jika tidak responsif, gunakan nilai yang lebih tinggi daripada default).

  • bad.files.base.path: Meneruskan jalur Cloud Storage dasar tempat semua file data yang error atau salah disalin yang ditemukan selama replikasi. Hal ini berguna jika ada persyaratan ketat untuk audit data dan lokasi tertentu harus digunakan untuk mencatat transfer yang gagal.

    Secara default, semua file yang salah disalin dari jalur Cloud Storage yang disediakan di kolom Data Replication Cloud Storage Path di antarmuka web.

    • Pola jalur final file data yang rusak: 

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Contoh:

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Kriteria untuk file yang buruk adalah file XML yang rusak atau tidak valid, nilai PK tidak ada, atau masalah ketidakcocokan jenis data Kolom.

Detail dukungan

Produk dan versi SAP yang didukung

  • SAP_BASIS 702 dirilis, SP-Level 0016 dan yang lebih baru.
  • SAP_ABA 702 dirilis, SP-Level 0016 dan yang lebih baru.
  • Rilis DMIS 2011_1_700, SP-Level 0017, dan yang lebih baru.

Versi SLT yang didukung

SLT versi 2 dan 3 didukung.

Model deployment SAP yang didukung

SLT sebagai sistem mandiri atau yang disematkan pada sistem sumber.

Catatan SAP yang perlu diterapkan sebelum Anda mulai menggunakan SLT

Jika Paket Dukungan Anda tidak menyertakan koreksi class /UI2/CL_JSON untuk PL 12 atau yang lebih baru, terapkan Catatan SAP terbaru untuk koreksi class /UI2/CL_JSON, misalnya, SAP Note 2798102 untuk PL12.

Direkomendasikan: Terapkan Catatan SAP yang direkomendasikan oleh CNV_NOTE_ANALYZER_SLT laporan berdasarkan kondisi sistem Pusat atau Sumber. Untuk mengetahui informasi selengkapnya, lihat Catatan SAP 3016862 (diperlukan login SAP).

Jika SAP sudah disiapkan, tidak ada catatan tambahan yang harus diterapkan. Untuk error atau masalah tertentu, lihat Catatan SAP terpusat untuk rilis SLT Anda.

Batasan volume data atau lebar data

Tidak ada batas yang ditentukan untuk volume data yang diekstrak dan lebar kumpulan data.

Throughput yang diharapkan untuk plugin Replikasi SAP SLT

Untuk lingkungan yang dikonfigurasi sesuai dengan panduan dalam Mengoptimalkan performa, plugin dapat mengekstrak sekitar 13 GB per jam untuk Initial Load dan 3 GB per jam untuk Replikasi (CDC). Performa sebenarnya dapat bervariasi sesuai beban sistem Cloud Data Fusion dan SAP atau traffic jaringan.

Dukungan untuk ekstraksi delta SAP (data yang diubah)

Ekstraksi delta SAP didukung.

Diperlukan: Peering tenant untuk instance Cloud Data Fusion

Peering tenant diperlukan saat instance Cloud Data Fusion dibuat dengan alamat IP internal. Untuk mengetahui informasi selengkapnya tentang peering tenant, lihat Membuat instance pribadi.

Memecahkan masalah

Tugas replikasi terus dimulai ulang

Jika tugas replikasi terus dimulai ulang secara otomatis, tingkatkan memori cluster tugas replikasi dan jalankan ulang tugas replikasi.

Duplikat di sink BigQuery

Jika Anda menentukan jumlah tugas paralel di setelan lanjutan plugin Replikasi SAP SLT, jika tabel Anda berukuran besar, akan terjadi error yang menyebabkan kolom duplikat di sink BigQuery.

Untuk mencegah masalah ini, hapus tugas paralel agar dapat memuat data.

Skenario error

Tabel berikut mencantumkan beberapa pesan error umum (teks dalam tanda kutip akan diganti dengan nilai sebenarnya saat runtime):

ID Pesan Pesan Tindakan yang disarankan
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Pastikan jalur Cloud Storage yang diberikan sudah benar.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Periksa apakah ID Transfer Massa yang diberikan dalam format yang benar.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Pastikan jalur Cloud Storage yang diberikan sudah benar.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_03408 Failed to start the event reader. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang tepat.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Periksa akar masalah yang ditampilkan dalam pesan dan ambil tindakan yang sesuai.

Pemetaan jenis data

Tabel berikut menampilkan pemetaan antara jenis data yang digunakan dalam aplikasi SAP dan Cloud Data Fusion.

Jenis data SAP Jenis ABAP Deskripsi (SAP) Jenis data Cloud Data Fusion
Angka
INT1 b Bilangan bulat 1 byte int
INT2 s Bilangan bulat 2 byte int
INT4 i Bilangan bulat 4 byte int
INT8 8 Bilangan bulat 8 byte long
DES p Nomor paket dalam format BCD (DES) decimal
DF16_DES
DF16_RAW		 a Floating point desimal 8-byte IEEE 754r decimal
DF34_DES
DF34_RAW		 e Floating point desimal 16 byte IEEE 754r decimal
FLTP f Bilangan floating point biner double
Karakter
CHAR
LCHR		 c String karakter string
SSTRING
GEOM_EWKB		 string String karakter string
STRING
GEOM_EWKB		 string String karakter CLOB bytes
NUMC
ACCP		 n Teks numerik string
Byte
BELUM TERUKUR
HATI		 x Data biner bytes
{i>RAWSTRING<i} xstring BLOB string byte bytes
Date/Time
DAT d Tanggal date
Tim t Waktu time
TIMESTAMP Utcl ( Utclong )
TimeStamp		 timestamp

Langkah selanjutnya