Mereplikasi data dari Aplikasi SAP ke BigQuery melalui Layanan Data SAP dan Server Replikasi SAP LT

Petunjuk ini menunjukkan cara menyiapkan solusi untuk mereplikasi data dari aplikasi SAP, seperti SAP S/4HANA atau SAP Business Suite, ke BigQuery dengan menggunakan Server Replikasi SAP Landscape Transformation (LT) dan Layanan Data SAP (DS).

Anda dapat menggunakan replikasi data untuk mencadangkan data SAP hampir secara real time atau untuk menggabungkan data dari sistem SAP dengan data konsumen dari sistem lain di BigQuery untuk mendapatkan insight dari machine learning dan untuk audiens berskala petabyte melakukan penskalaan analitik data.

Petunjuk ini ditujukan bagi administrator sistem SAP yang memiliki pengalaman dasar terkait konfigurasi SAP Basis, Server Replikasi SAP LT, SAP DS, dan Google Cloud.

Arsitektur

Alur replikasi dimulai pada aplikasi SAP dan melewati Server Replikasi SAP LT dan Layanan Data SAP ke BigQuery

Server Replikasi SAP LT dapat bertindak sebagai penyedia data untuk Framework Penyediaan Data Operasional (ODP) SAP NetWeaver. Server Replikasi SAP LT menerima data dari sistem SAP yang terhubung dan menyimpannya dalam framework ODP dalam Operational Delta Queue (ODQ) pada sistem Server Replikasi SAP LT. Dengan demikian, Server Replikasi SAP LT sendiri juga berfungsi sebagai target konfigurasi Server Replikasi SAP LT. Framework ODP membuat data tersedia sebagai objek ODP yang sesuai dengan tabel sistem sumber.

Framework ODP mendukung skenario ekstraksi dan replikasi untuk berbagai aplikasi SAP target, yang dikenal sebagai pelanggan. Pelanggan mengambil data dari antrean delta untuk diproses lebih lanjut.

Data akan direplikasi segera setelah pelanggan meminta data dari sumber data melalui konteks ODP. Beberapa pelanggan dapat menggunakan ODQ yang sama sebagai sumber.

Server Replikasi SAP LT memanfaatkan dukungan pengambilan data yang berubah (CDC) untuk SAP Data Services 4.2 SP1 atau yang lebih baru, yang mencakup penyediaan data real-time dan kemampuan delta untuk semua tabel sumber.

Diagram berikut menjelaskan aliran data melalui sistem:

  • Aplikasi SAP memperbarui data di sistem sumber.
  • Server Replikasi SAP SAP LT mereplikasi perubahan data dan menyimpan data di Antrean Delta Operasional.
  • SAP DS adalah pelanggan Antrean Delta Operasional dan secara berkala melakukan polling antrean untuk perubahan data.
  • SAP DS mengambil data dari antrean delta, mengubah data agar kompatibel dengan format BigQuery, dan memulai tugas pemuatan yang memindahkan data ke BigQuery.
  • Data tersebut tersedia di BigQuery untuk dianalisis.

Dalam skenario ini, sistem sumber SAP, Server Replikasi SAP LT, dan Layanan Data SAP dapat berjalan baik di dalam maupun di luar Google Cloud. Untuk informasi selengkapnya dari SAP, lihat Penyediaan Data Operasional secara Real-time dengan Server Replikasi Transformasi Lanskap SAP.

Koneksi RFC digunakan antara Server Replikasi SAP LT dan sistem SAP ABAP serta Layanan Data SAP.

Komponen solusi inti

Komponen berikut diperlukan untuk mereplikasi data dari aplikasi SAP ke BigQuery dengan menggunakan Server Replikasi Transformasi Lanskap SAP dan Layanan Data SAP:

Komponen Versi yang diperlukan Catatan
Stack server aplikasi SAP Semua Sistem SAP berbasis ABAP yang dimulai dengan R/3 4.6C
SAP_Basis (persyaratan minimum):
  • 730 SP10 atau SP5-9 + Catatan 1817467
  • 731 SP8 atau SP3-7 + Catatan 1817467
  • 740 SP4 atau SP0-3 + Catatan 1817467
PI_Basis (persyaratan min):
  • 730 SP10 atau SP8-9 + Catatan 1848320
  • 731 SP9 atau SP5-8 + Catatan 1848320
  • 740 SP4 atau SP2-3 + Catatan 1848320
 Dalam panduan ini, server aplikasi dan server database secara kolektif disebut sebagai sistem sumber, meskipun keduanya berjalan di mesin yang berbeda.
Menentukan pengguna RFC dengan otorisasi yang sesuai
Opsional: menentukan ruang tabel terpisah untuk tabel logging
Sistem database (DB) Setiap versi DB yang tercantum sebagai didukung dalam Matriks Ketersediaan Produk SAP (PAM), tunduk pada batasan apa pun atas tumpukan NetWeaver SAP yang tercantum dalam PAM. Lihat service.sap.com/pam.
Sistem operasi (OS) Semua versi OS yang tercantum sebagai didukung dalam SAP PAM, tunduk pada batasan stack SAP NetWeaver yang tercantum dalam PAM. Lihat service.sap.com/pam.
Server Migrasi Data SAP (DMIS) DMIS:
  • DMIS 2011 SP6 atau yang lebih baru
  • DMIS 2011 SP3/SP4/SP5 + Catatan 1863476
  • DMIS 2010 SP8/SP9 + Catatan 1863476
Add-on DMIS:
  • Add-on DMIS 2011 SP6 atau yang lebih baru
Server Replikasi Transformasi Lanskap SAP SAP LT Replikasi Server 2.0 atau yang lebih baru Memerlukan koneksi RFC ke sistem sumber.
Ukuran sistem Server Replikasi SAP LT sangat bergantung pada jumlah data yang disimpan di ODQ dan periode retensi data yang direncanakan.
Layanan Data SAP SAP Data Services 4.2 SP1 atau yang lebih tinggi
BigQuery T/A

Biaya

BigQuery adalah komponen Google Cloud yang dapat ditagih.

Gunakan Kalkulator Harga untuk membuat perkiraan biaya berdasarkan penggunaan yang Anda proyeksikan.

Prasyarat

Petunjuk ini mengasumsikan bahwa server aplikasi SAP, server database, Server Replikasi SAP LT, dan Layanan Data SAP sudah diinstal dan dikonfigurasi untuk operasi normal.

Sebelum dapat menggunakan BigQuery, Anda memerlukan project Google Cloud.

Menyiapkan project Google Cloud di Google Cloud

Anda harus mengaktifkan BigQuery API, dan jika belum membuat project Google Cloud, Anda juga harus melakukannya.

Membuat project Google Cloud

  1. Buka konsol Google Cloud lalu daftar, dengan mengikuti wizard penyiapan.

    BUKA Konsol Google Cloud

  2. Di samping logo Google Cloud di sudut kiri atas, klik menu dropdown lalu pilih Create Project.

  3. Beri nama project Anda, lalu klik Create.

  4. Setelah project dibuat (notifikasi ditampilkan di kanan atas), muat ulang halaman.

Mengaktifkan API

Aktifkan BigQuery API:

BUKA BigQuery API

Membuat akun layanan

Akun layanan (khususnya file kuncinya) digunakan untuk mengautentikasi SAP DS ke BigQuery. Gunakan file kunci tersebut nanti saat Anda membuat datastore target.

  1. Di Konsol Google Cloud, buka halaman Service accounts.

    BUKA Akun layanan

  2. Pilih project Google Cloud Anda.

  3. Klik Create Service Account.

  4. Masukkan Service account name.

  5. Klik Create and Continue.

  6. Pada daftar Select a role, pilih BigQuery > BigQuery Data Editor.

  7. Klik Add Another Role.

  8. Pada daftar Select a role, pilih BigQuery > BigQuery Job User.

  9. Klik Continue.

  10. Berikan akses ke akun layanan kepada pengguna lain sebagaimana mestinya.

  11. Klik Done.

  12. Pada halaman Service accounts di Google Cloud Console, klik alamat email akun layanan yang baru saja Anda buat.

  13. Di bawah nama akun layanan, klik tab Keys.

  14. Klik menu drop-down Add Key, lalu pilih Create new key.

  15. Pastikan jenis kunci JSON telah ditentukan.

  16. Klik Create.

  17. Simpan file kunci yang didownload secara otomatis ke lokasi yang aman.

Mengonfigurasi replikasi antara aplikasi SAP dan BigQuery

Mengonfigurasi solusi ini mencakup langkah-langkah tingkat tinggi berikut:

  • Mengonfigurasi Server Replikasi SAP LT
  • Mengkonfigurasi Layanan Data SAP
  • Membuat aliran data antara SAP Data Services dan BigQuery

Mengonfigurasi Server Replikasi Transformasi Lanskap SAP

Langkah-langkah berikut ini mengonfigurasi Server Replikasi SAP LT untuk bertindak sebagai penyedia dalam framework penyediaan data operasional dan membuat Delta Queue Operasional. Dalam konfigurasi ini, Server Replikasi SAP LT menggunakan replikasi berbasis pemicu untuk menyalin data dari sistem SAP sumber ke dalam tabel di antrean delta. Layanan Data SAP, yang bertindak sebagai pelanggan dalam framework ODP, mengambil data dari antrean delta, mengubahnya, dan memuatnya ke BigQuery.

Mengonfigurasi Antrean Delta Operasional (ODQ)

  1. Di Server Replikasi SAP LT, gunakan SM59 transaksi untuk membuat tujuan RFC bagi sistem aplikasi SAP yang merupakan sumber data.
  2. Di Server Replikasi SAP LT, gunakan LTRC transaksi untuk membuat konfigurasi. Dalam konfigurasi, tentukan sumber dan target Server Replikasi SAP LT. Target untuk transfer data menggunakan ODP adalah Server Replikasi SAP LT itu sendiri.
    1. Untuk menentukan sumber, masukkan tujuan RFC untuk sistem aplikasi SAP yang akan digunakan sebagai sumber data.
    2. Untuk menentukan target:
      1. Masukkan NONE sebagai koneksi RFC.
      2. Pilih ODQ Replication Scenario untuk komunikasi RFC. Dengan menggunakan skenario ini, tentukan bahwa data ditransfer menggunakan infrastruktur penyediaan data operasional dengan antrean delta operasional.
      3. Menetapkan alias antrean.

Alias antrean digunakan dalam Layanan Data SAP untuk setelan konteks ODP sumber data.

Konfigurasi Layanan Data SAP

Membuat project layanan data

  1. Buka aplikasi SAP Data Services Designer.
  2. Buka File > New > Project.
  3. Tentukan nama di kolom Project name.
  4. Di Data Services Repository, pilih repositori layanan data Anda.
  5. Klik Finish. Project Anda akan muncul di Project Explorer di sebelah kiri.

Layanan Data SAP terhubung ke sistem sumber untuk mengumpulkan metadata, lalu ke agen Server Replikasi SAP untuk mengambil konfigurasi dan mengubah data.

Membuat datastore sumber

Langkah-langkah berikut akan membuat koneksi ke Server Replikasi SAP LT dan menambahkan tabel data ke node datastore yang berlaku di library objek Designer.

Untuk menggunakan Server Replikasi SAP LT dengan Layanan Data SAP, Anda harus menghubungkan DataServices SAP ke antrean delta operasional yang benar di ODP dengan menghubungkan datastore ke infrastruktur ODP.

  1. Buka aplikasi SAP Data Services Designer.
  2. Klik kanan pada nama project SAP Data Services Anda di Project Explorer.
  3. Pilih New > Datastore.
  4. Isi Datastore Name. Misalnya, DS_SLT.
  5. Di kolom Datastore type, pilih SAP Applications.
  6. Di kolom Application server name, masukkan nama instance SAP LT Re terdiri Server.
  7. Tentukan kredensial akses Server Replikasi SAP LT.
  8. Buka tab Advanced.
  9. Di ODP Context, masukkan SLT~ALIAS, dengan ALIAS adalah alias antrean yang Anda tentukan di Mengonfigurasi Operational Delta Queue (ODQ).
  10. Klik OK.

Datastore baru akan muncul di tab Datastore di library objek lokal di Designer.

Membuat datastore target

Langkah-langkah ini akan membuat datastore BigQuery yang menggunakan akun layanan yang telah Anda buat sebelumnya di bagian Membuat akun layanan. Dengan akun layanan, SAP Data Services dapat mengakses BigQuery dengan aman.

Untuk informasi selengkapnya, lihat Mendapatkan email akun layanan Google dan Mendapatkan file kunci pribadi akun layanan Google dalam dokumentasi SAP Data Services.

  1. Buka aplikasi SAP Data Services Designer.
  2. Klik kanan pada nama project SAP Data Services Anda di Project Explorer.
  3. Pilih New > Datastore.
  4. Isi kolom Name. Misalnya, BQ_DS.
  5. Klik Next.
  6. Di kolom Datastore type, pilih Google BigQuery.
  7. Opsi Web Service URL akan muncul. Software ini secara otomatis menyelesaikan opsi dengan URL layanan web BigQuery default.
  8. Pilih Advanced.
  9. Selesaikan opsi Advanced berdasarkan Deskripsi opsi Datastore untuk BigQuery dalam dokumentasi SAP Data Services.
  10. Klik Oke.

Datastore baru akan muncul di tab Datastore di library objek lokal Designer.

Mengimpor objek ODP sumber untuk replikasi

Langkah-langkah ini mengimpor objek ODP dari datastore sumber untuk pemuatan awal dan delta, lalu menyediakannya di Layanan Data SAP.

  1. Buka aplikasi SAP Data Services Designer.
  2. Luaskan datastore sumber untuk pemuatan replikasi di Project Explorer.
  3. Pilih opsi External Metadata di bagian atas panel kanan. Daftar node dengan tabel dan objek ODP yang tersedia akan muncul.
  4. Klik node objek ODP untuk mengambil daftar objek ODP yang tersedia. Daftar mungkin memerlukan waktu lama untuk ditampilkan.
  5. Klik tombol Search.
  6. Dalam dialog, pilih External data di menu Look in dan ODP object di menu Object type.
  7. Pada dialog Search, pilih kriteria penelusuran untuk memfilter daftar objek ODP sumber.
  8. Pilih objek ODP yang akan diimpor dari daftar.
  9. Klik kanan dan pilih opsi Import.
  10. Isi Name of Consumer.
  11. Isi Name of project.
  12. Pilih opsi Changed-data capture (CDC) di Extraction mode.
  13. Klik Import. Tindakan ini akan memulai impor objek ODP ke Layanan Data. Objek ODP sekarang tersedia di library objek di bagian node DS_SLT.

Untuk informasi selengkapnya, lihat Mengimpor metadata sumber ODP dalam dokumentasi SAP Data Services.

Membuat file skema

Langkah-langkah ini membuat aliran data di Layanan Data SAP untuk menghasilkan file skema yang mencerminkan struktur tabel sumber. Kemudian, Anda akan menggunakan file skema untuk membuat tabel BigQuery.

Skema ini memastikan bahwa aliran data loader BigQuery berhasil mengisi tabel BigQuery yang baru.

Membuat aliran data
  1. Buka aplikasi SAP Data Services Designer.
  2. Klik kanan pada nama project SAP Data Services Anda di Project Explorer.
  3. Pilih Project > New > Data flow.
  4. Isi kolom Name. Misalnya, DF_BQ.
  5. Klik Finish.
Memuat ulang library objek
  • Klik kanan datastore sumber untuk pemuatan awal di Project Explorer, lalu pilih opsi Refresh Object Library. Tindakan ini akan memperbarui daftar tabel database sumber data yang dapat Anda gunakan dalam aliran data.
Mem-build aliran data Anda
  1. Buat aliran data dengan menarik lalu melepas tabel sumber ke ruang kerja aliran data dan memilih Import as Source saat diminta.
  2. Di tab Transforms pada library objek, seret XML_Map transform dari node i Platform ke aliran data dan pilih opsi Batch Load saat diminta.
  3. Hubungkan semua tabel sumber di ruang kerja ke transformasi Peta XML.
  4. Buka XML Map transform, lalu selesaikan bagian skema input dan output berdasarkan data yang Anda sertakan dalam tabel BigQuery.
  5. Klik kanan node XML_Map di kolom Schema Out, lalu pilih Generate Google BigQuery Schema dari menu dropdown.
  6. Masukkan nama dan lokasi untuk skema tersebut.
  7. Klik Save.
  8. Klik kanan pada aliran data di Project Explorer dan pilih Remove.

SAP Data Services menghasilkan file skema dengan ekstensi file .json.

Membuat tabel BigQuery

Anda perlu membuat tabel di set data BigQuery di Google Cloud untuk pemuatan awal dan pemuatan delta. Untuk membuat tabel, Anda menggunakan skema yang dibuat di SAP Data Services.

Tabel untuk pemuatan awal digunakan untuk replikasi awal seluruh set data sumber. Tabel untuk pemuatan delta digunakan untuk replikasi perubahan dalam set data sumber yang terjadi setelah pemuatan awal. Tabel ini didasarkan pada skema yang Anda buat pada langkah sebelumnya. Tabel untuk pemuatan delta menyertakan kolom stempel waktu tambahan yang mengidentifikasi waktu setiap pemuatan delta.

Membuat tabel BigQuery untuk pemuatan awal

Langkah-langkah ini membuat tabel untuk pemuatan awal dalam set data BigQuery Anda.

  1. Akses project Google Cloud Anda di konsol Google Cloud.
  2. Pilih BigQuery.
  3. Klik set data yang berlaku.
  4. Klik Create table.
  5. Masukkan nama Tabel. Misalnya, BQ_INIT_LOAD.
  6. Di bagian Schema, alihkan setelan untuk mengaktifkan mode Edit as text.
  7. Tetapkan skema tabel baru di BigQuery dengan menyalin dan menempelkan konten file skema yang Anda buat di halaman Membuat file skema.
  8. Klik Create table.
Membuat tabel BigQuery untuk pemuatan delta

Langkah-langkah ini membuat tabel untuk pemuatan delta set data BigQuery Anda.

  1. Akses project Google Cloud Anda di konsol Google Cloud.
  2. Pilih BigQuery.
  3. Klik set data yang berlaku.
  4. Klik Create table.
  5. Masukkan Nama Tabel. Misalnya, BQ_DELTA_LOAD.
  6. Di bagian Schema, alihkan setelan untuk mengaktifkan mode Edit as text.
  7. Tetapkan skema tabel baru di BigQuery dengan menyalin dan menempelkan konten file skema yang Anda buat di halaman Membuat file skema.

  8. Dalam daftar JSON dalam file skema, tepat sebelum definisi kolom pada kolom DI_SEQUENCE_NUMBER, tambahkan definisi kolom DL_TIMESTAMP berikut. Kolom ini menyimpan stempel waktu setiap eksekusi pemuatan delta):

    {
   "name": "DL_TIMESTAMP",
   "type": "TIMESTAMP",
   "mode": "REQUIRED",
   "description": "Delta load timestamp"
 },

  9. Klik Create table.

Menyiapkan aliran data antara SAP Data Services dan BigQuery

Untuk menyiapkan aliran data, Anda perlu mengimpor tabel BigQuery ke dalam SAP Data Services sebagai metadata eksternal serta membuat tugas replikasi dan aliran data loader BigQuery.

Mengimpor tabel BigQuery

Langkah-langkah ini mengimpor tabel BigQuery yang Anda buat di langkah sebelumnya dan menyediakannya di SAP Data Services.

  1. Di library objek SAP Data Services Designer, buka datastore BigQuery yang Anda buat sebelumnya.
  2. Di bagian atas panel kanan, pilih Eksternal Metadata. Tabel BigQuery yang Anda buat akan muncul.
  3. Klik kanan nama tabel BigQuery yang berlaku, lalu pilih Import.
  4. Proses impor tabel yang dipilih ke SAP Data Services dimulai. Tabel tersebut sekarang tersedia di library objek pada node datastore target.

Membuat tugas replikasi dan aliran data loader BigQuery

Langkah-langkah ini menghasilkan tugas replikasi dan aliran data di Layanan Data SAP yang digunakan untuk memuat data dari Server Replikasi SAP LT ke tabel BigQuery.

Aliran data terdiri dari dua bagian. Yang pertama mengeksekusi pemuatan awal data dari objek ODP sumber ke tabel BigQuery dan yang kedua memungkinkan pemuatan delta berikutnya.

Membuat variabel global

Agar tugas replikasi dapat menentukan apakah akan menjalankan pemuatan awal atau beban delta, Anda harus membuat variabel global untuk melacak jenis pemuatan dalam logika aliran data.

  1. Di menu aplikasi SAP Data Services Designer, buka Tools > Variables.
  2. Klik kanan Global Variables, lalu pilih Insert.
  3. Klik kanan variabel Name dan pilih Properties.
  4. Masukkan $INITLOAD dalam variabel Name.
  5. Di Data Type, pilih Int.
  6. Masukkan 0 di kolom Value.
  7. Klik OK.
Membuat tugas replikasi
  1. Klik kanan pada nama project Anda di Project Explorer.
  2. Pilih New > Batch Job
  3. Isi kolom Name. Misalnya, Job_SRS_DS_BQ_REPLICATION.
  4. Klik Finish.
Membuat logika aliran data untuk pemuatan awal
Membuat kondisional
  1. Klik kanan Job Name, lalu pilih opsi Add New > Conditional.
  2. Klik kanan ikon kondisional dan pilih Rename.

  3. Ubah nama menjadi InitialOrDelta.

    Screenshot ikon kondisional berlabel InitialOrDelta.

  4. Buka Conditional Editor dengan mengklik dua kali ikon kondisional.

  5. Di kolom If statement, masukkan $INITLOAD = 1, yang menetapkan kondisi untuk menjalankan pemuatan awal.

  6. Klik kanan di panel Then lalu pilih Add New > Script.

  7. Klik kanan ikon Script dan pilih Rename.

  8. Mengubah nama skrip Misalnya, petunjuk ini menggunakan InitialLoadCDCMarker.

  9. Klik dua kali ikon Script untuk membuka editor Function.

  10. Masukkan print('Beginning Initial Load');

  11. Masukkan begin_initial_load();

    Screenshot Function Editor dengan pernyataan yang dimasukkan

  12. Klik ikon Kembali di toolbar aplikasi untuk keluar dari Function Editor.

Membuat aliran data untuk pemuatan awal
  1. Klik kanan di panel Then lalu pilih Add New > Data Flow.
  2. Ganti nama aliran data. Misalnya, DF_SRS_DS_InitialLoad.
  3. Hubungkan InitialLoadCDCMarker dengan DF_SRS_DS_InitialLoad dengan mengklik ikon output koneksi InitialLoadCDCMarker, lalu menarik jalur koneksi ke ikon input DF_SRS_DS_InitialLoad.
  4. Klik dua kali pada aliran data DF_SRS_DS_InitialLoad.
Mengimpor dan menghubungkan aliran data dengan objek datastore sumber
  1. Dari datastore, tarik lalu lepas objek ODP sumber ke ruang kerja aliran data. Dalam petunjuk ini, datastore diberi nama DS_SLT. Nama datastore Anda mungkin berbeda.
  2. Tarik Query transform dari node Platform di tab Transforms pada library objek ke aliran data.

  3. Klik dua kali pada objek ODP dan di tab Source, tetapkan opsi Initial Load ke Yes.

    Screenshot jendela SAP Data Services Designer dengan Schema Out ditampilkan.

  4. Hubungkan semua objek ODP sumber di ruang kerja ke Query transform.

  5. Klik dua kali di Query transform.

  6. Pilih semua kolom tabel pada bagian Schema In di sebelah kiri, lalu tarik ke Schema Out di sebelah kanan.

    Untuk menambahkan fungsi konversi untuk kolom datetime:

    1. Pilih kolom datetime dalam daftar Schema Out di sebelah kanan.
    2. Pilih tab Mapping di bawah daftar skema.

    3. Ganti nama kolom dengan fungsi berikut:

      to_date(to_char(FIELDNAME,'yyyy-mm-dd hh24:mi:ss'), 'yyyy-mm-dd hh24:mi:ss')

      FIELDNAME adalah nama kolom yang Anda pilih.

    Screenshot yang menunjukkan penggantian kolom tanggal di tab pemetaan skema.

  7. Klik ikon Kembali di toolbar aplikasi untuk kembali ke aliran data.

Mengimpor dan menghubungkan aliran data dengan objek datastore target
  1. Dari datastore di library objek, tarik tabel BigQuery yang diimpor untuk beban awal ke aliran data. Nama datastore dalam petunjuk ini adalah BQ_DS. Nama datastore Anda mungkin berbeda.
  2. Dari node Platform di tab Transforms pada library objek, tarik transformasi XML_Map ke dalam aliran data.
  3. Pilih Mode batch di dialog.
  4. Hubungkan transformasi Query ke XML_Map transform.

  5. Hubungkan transformasi XML_Map ke tabel BigQuery yang diimpor.

    Screenshot alur pemuatan awal dari Schema Out, melalui transformasi Query dan XML_Map, ke tabel BigQuery.

  6. Buka transformasi XML_Map, lalu selesaikan bagian skema input dan output berdasarkan data yang Anda sertakan dalam tabel BigQuery.

  7. Klik dua kali tabel BigQuery di ruang kerja untuk membukanya dan menyelesaikan opsi di tab Target seperti yang ditunjukkan dalam tabel berikut:

Opsi Deskripsi
Buat Port Tentukan No, yang merupakan default.

Menentukan Yes akan membuat file sumber atau target menjadi port aliran data tersemat.
Mode Tentukan Truncate untuk pemuatan awal, yang akan menggantikan semua data yang ada di tabel BigQuery dengan data yang dimuat oleh SAP Data Services. Truncate adalah default-nya.
Jumlah loader Tentukan bilangan bulat positif guna menetapkan jumlah loader (thread) yang akan digunakan untuk pemrosesan. Defaultnya adalah 4.
Setiap loader memulai satu tugas pemuatan yang dapat dilanjutkan di BigQuery. Anda dapat menentukan jumlah loader.
Untuk membantu menentukan jumlah loader yang tepat, lihat dokumentasi SAP, termasuk:
Data gagal maksimum per loader Tentukan 0 atau bilangan bulat positif untuk menetapkan jumlah maksimum data yang dapat gagal per tugas pemuatan sebelum BigQuery berhenti memuat data. Nilai defaultnya adalah nol (0).
  1. Klik ikon Validasi di toolbar bagian atas.
  2. Klik ikon Kembali di toolbar aplikasi untuk kembali ke Conditional Editor.
Membuat aliran data untuk pemuatan delta

Anda harus membuat aliran data untuk mereplikasi data pengambilan data yang diubah yang terakumulasi setelah pemuatan awal.

Membuat aliran delta bersyarat:
  1. Klik dua kali pada kondisional InitialOrDelta.
  2. Klik kanan di bagian Else lalu pilih Add New > Script.
  3. Ganti nama skrip. Misalnya, MarkBeginCDCLoad.
  4. Klik dua kali ikon Script untuk membuka editor Function.

  5. Masukkan print('Beginning Delta Load):

    Screenshot Function Editor dengan pernyataan cetak yang dimasukkan.

  6. Klik ikon Kembali di toolbar aplikasi untuk kembali ke Conditional Editor.

Membuat aliran data untuk pemuatan delta
  1. Di Conditional Editor, klik kanan dan pilih Add New > Data Flow.
  2. Mengganti nama aliran data. Misalnya, DF_SRS_DS_DeltaLoad.
  3. Hubungkan MarkBeginCDCLoad dengan DF_SRS_DS_DeltaLoad, seperti yang ditunjukkan dalam diagram berikut.

  4. Klik dua kali pada aliran data DF_SRS_DS_DeltaLoad.

    Screenshot yang menunjukkan konstruksi if-then-else untuk variabel global, aliran pemuatan awal, dan aliran beban delta.
Mengimpor dan menghubungkan aliran data dengan objek datastore sumber
  1. Tarik lalu lepas objek ODP sumber dari datastore ke ruang kerja alur data. Datastore dalam petunjuk ini menggunakan nama DS_SLT. Nama datastore Anda mungkin berbeda.
  2. Dari node Platform di tab Transforms pada library objek, tarik transformasi Query ke aliran data.
  3. Klik dua kali pada objek ODP, lalu di tab Source, tetapkan opsi Initial Load ke No.
  4. Hubungkan semua objek ODP sumber di ruang kerja ke transformasi Query.
  5. Klik dua kali pada transformasi Query.
  6. Pilih semua kolom tabel dalam daftar Schema In di sebelah kiri, lalu tarik ke daftar Schema Out di sebelah kanan
Mengaktifkan stempel waktu untuk pemuatan delta

Langkah-langkah berikut memungkinkan SAP Data Services untuk otomatis merekam stempel waktu setiap eksekusi pemuatan delta dalam kolom di tabel pemuatan delta.

  1. Klik kanan node Query di panel Schema Out di sebelah kanan.
  2. Pilih New Output Column.
  3. Masukkan DL_TIMESTAMP pada Name.
  4. Pilih tanggal dan waktu di Data type.
  5. Klik OK.
  6. Klik kolom DL_TIMESTAMP yang baru dibuat.
  7. Buka tab Mapping di bawah

  8. Masukkan fungsi berikut:

    • to_date(to_char(sysdate(),'yyyy-mm-dd hh24:mi:ss'), 'yyyy-mm-dd hh24:mi:ss')
    Screenshot yang menampilkan definisi kolom stempel waktu pemuatan delta di tab pemetaan untuk skema pemuatan delta.
Mengimpor dan menghubungkan aliran data ke objek datastore target
  1. Dari datastore di library objek, tarik tabel BigQuery yang diimpor untuk beban delta ke ruang kerja aliran data setelah transformasi XML_Map. Petunjuk ini menggunakan contoh nama datastore BQ_DS. Nama datastore Anda mungkin berbeda.
  2. Dari node Platform di tab Transforms pada library objek, tarik transformasi XML_Map ke dalam aliran data.
  3. Hubungkan transformasi Query ke transformasi XML_Map.

  4. Hubungkan transformasi XML_Map ke tabel BigQuery yang diimpor.

    Screenshot alur pemuatan delta dari Schema Out, melalui transformasi Query dan XML_Map, ke tabel BigQuery.

  5. Buka transformasi XML_Map, lalu selesaikan bagian skema input dan output berdasarkan data yang Anda sertakan dalam tabel BigQuery.

    Screenshot jendela Transform Editor yang menampilkan skema masuk dan keluar.

  6. Klik dua kali tabel BigQuery di ruang kerja untuk membukanya dan selesaikan opsi di tab Target berdasarkan deskripsi berikut:

Opsi Deskripsi
Buat Port Tentukan No, yang merupakan default.

Menentukan Yes akan membuat file sumber atau target menjadi port aliran data sematan.
Mode Tentukan Append untuk pemuatan delta, yang mempertahankan data yang ada di tabel BigQuery saat data baru dimuat dari SAP Data Services.
Jumlah loader Tentukan bilangan bulat positif guna menetapkan jumlah loader (thread) yang akan digunakan untuk pemrosesan.

Setiap loader memulai satu tugas pemuatan yang dapat dilanjutkan di BigQuery. Anda dapat menentukan jumlah loader. Umumnya, pemuatan delta membutuhkan loader yang lebih sedikit daripada pemuatan awal.

Untuk membantu menentukan jumlah loader yang tepat, lihat dokumentasi SAP, termasuk:

Data gagal maksimum per loader Tentukan 0 atau bilangan bulat positif untuk menetapkan jumlah maksimum data yang dapat gagal per tugas pemuatan sebelum BigQuery berhenti memuat data. Nilai defaultnya adalah nol (0).
  1. Klik ikon Validasi di toolbar bagian atas.
  2. Klik ikon Kembali di toolbar aplikasi untuk kembali ke Conditional Editor.
Screenshot Editor Tabel Target.

Memuat data ke BigQuery

Langkah-langkah untuk pemuatan awal dan beban delta sama. Untuk setiap variabel tersebut, mulai tugas replikasi dan jalankan aliran data di Layanan Data SAP untuk memuat data dari Server Replikasi SAP LT ke BigQuery. Perbedaan penting antara dua prosedur pemuatan tersebut adalah nilai variabel global $INITLOAD. Untuk pemuatan awal, $INITLOAD harus ditetapkan ke 1. Untuk beban delta, $INITLOAD harus 0.

Menjalankan pemuatan awal

Saat Anda menjalankan pemuatan awal, semua data dalam set data sumber akan direplikasi ke tabel BigQuery target yang terhubung ke alur data pemuatan awal. Setiap data dalam tabel target akan ditimpa.

  1. Di SAP Data Services Designer, buka Project Explorer.
  2. Klik kanan pada nama tugas replikasi dan pilih Execute. Dialog akan ditampilkan.
  3. Dalam dialog yang muncul, buka tab Variabel Global dan ubah nilai $INITLOAD menjadi 1, sehingga pemuatan awal akan dijalankan terlebih dahulu.
  4. Klik OK. Proses pemuatan dimulai dan pesan debug mulai muncul di log SAP Data Services. Data dimuat ke tabel yang Anda buat di BigQuery untuk pemuatan awal. Nama tabel pemuatan awal dalam petunjuk ini adalah BQ_INIT_LOAD. Nama tabel Anda mungkin berbeda.
  5. Untuk melihat apakah pemuatan sudah selesai, buka konsol Google Cloud dan buka set data BigQuery yang berisi tabel. Jika data masih dimuat, "Loading" akan muncul di samping nama tabel.

Setelah dimuat, data siap untuk diproses di BigQuery.

Dari tahap ini, semua perubahan dalam tabel sumber dicatat dalam antrean delta Server Replikasi SAP LT. Untuk memuat data dari antrean delta ke BigQuery, jalankan tugas pemuatan delta.

Menjalankan pemuatan delta

Saat Anda menjalankan pemuatan delta, hanya perubahan yang terjadi dalam set data sumber sejak pemuatan terakhir yang direplikasi ke tabel BigQuery target yang terhubung ke aliran data pemuatan delta.

  1. Klik kanan nama tugas dan pilih Execute.
  2. Klik OK. Proses pemuatan dimulai dan pesan debug mulai muncul di log Layanan Data SAP. Data dimuat ke dalam tabel yang Anda buat di BigQuery untuk pemuatan delta. Dalam petunjuk ini, nama tabel beban delta adalah BQ_DELTA_LOAD. Nama tabel Anda mungkin berbeda.
  3. Untuk melihat apakah pemuatan sudah selesai, buka konsol Google Cloud dan buka set data BigQuery yang berisi tabel. Jika data masih dimuat, "Loading" akan muncul di samping nama tabel.
  4. Setelah dimuat, data siap untuk diproses di BigQuery.

Untuk memantau perubahan pada data sumber, Server Replikasi SAP LT mencatat urutan operasi data yang diubah di kolom DI_SEQUENCE_NUMBER dan jenis operasi data yang diubah di kolom DI_OPERATION_TYPE (D=delete, U=update, I=insert). Server Replikasi SAP LT menyimpan data di kolom dalam tabel antrean delta, tempat data tersebut direplikasi ke BigQuery.

Menjadwalkan pemuatan delta

Anda dapat menjadwalkan tugas pemuatan delta untuk dijalankan secara berkala menggunakan Konsol Pengelolaan Layanan Data SAP.

  1. Buka aplikasi SAP Data Services Management Console.
  2. Klik Administrator.
  3. Luaskan node Batch di hierarki menu di sebelah kiri.
  4. Klik nama repositori SAP Data Services.
  5. Klik tab Batch Job Configuration.
  6. Klik Add Schedule.
  7. Isi Schedule name.
  8. Centang Active.
  9. Di bagian Select schedule time for running the jobs, tentukan frekuensi untuk eksekusi pemuatan delta.
    1. Penting: Google Cloud membatasi jumlah tugas pemuatan BigQuery yang dapat Anda jalankan dalam sehari. Pastikan jadwal Anda tidak melebihi batas, yang tidak dapat dinaikkan. Untuk mengetahui informasi lebih lanjut mengenai batas tugas pemuatan BigQuery, lihat Kuota & batas dalam dokumentasi BigQuery.
  10. Luaskan Global Variables dan periksa apakah $INITLOAD ditetapkan ke 0.
  11. Klik Apply.
Screenshot Konsol Pengelolaan Layanan Data SAP.

Langkah berikutnya

Membuat kueri dan menganalisis data yang direplikasi di BigQuery.

Untuk informasi selengkapnya tentang pembuatan kueri, lihat:

Untuk mengetahui beberapa ide tentang cara menggabungkan data pemuatan awal dan delta di BigQuery dalam skala besar, lihat:

Pelajari arsitektur referensi, diagram, dan praktik terbaik tentang Google Cloud. Lihat Cloud Architecture Center kami.