Versi 2.0: Panduan operasi BigQuery Connector untuk SAP

Panduan ini menunjukkan cara melakukan tugas operasional kepada administrator Server Replikasi SAP LT, data engineer SAP, atau lainnya, seperti penyesuaian performa dan pembaruan versi, untuk BigQuery Connector untuk SAP versi 2.0 dan 2.1.

Menyesuaikan performa replikasi

Performa replikasi dapat dipengaruhi oleh beberapa faktor. Faktor spesifik yang berlaku dapat berbeda dari penginstalan ke penginstalan lainnya dan dapat berubah seiring waktu.

Bagian berikut berisi panduan terkait cara menyesuaikan beberapa faktor umum yang dapat memengaruhi performa.

Untuk mengetahui informasi selengkapnya tentang performa replikasi dengan BigQuery Connector untuk SAP, lihat Perencanaan performa.

Menetapkan opsi performa untuk tabel

Di Server Replikasi SAP LT, Anda dapat menentukan opsi replikasi untuk setiap tabel yang memengaruhi performa.

Secara khusus, performa replikasi untuk tabel besar, yang memerlukan lebih banyak waktu dan resource untuk melakukan replikasi, dapat diuntungkan dengan menentukan rentang dan meningkatkan jumlah maksimum tugas replikasi paralel yang dapat digunakan untuk tabel tersebut.

Contoh tabel yang umumnya berukuran besar adalah MSEG, ACDOCA, dan MATDOC.

Saat menentukan tugas replikasi paralel untuk tabel besar, Anda harus menyeimbangkan jumlah tugas paralel yang Anda izinkan untuk setiap tabel tertentu dengan jumlah total tugas paralel yang diizinkan dalam konfigurasi transfer massal. Organisasi Anda mungkin juga membatasi jumlah tugas replikasi paralel yang dapat Anda tentukan untuk server tertentu.

Guna menetapkan opsi performa untuk tabel:

  1. Di SAP GUI, masukkan transaksi SAP LTRS.

  2. Di layar Advanced Replication Settings, tentukan ID setelan transfer massal untuk tabel tersebut.

  3. Di hierarki folder Advanced Re terintegrasi Settings, klik folder Performance Options untuk menampilkan tabel yang memiliki opsi performa.

  4. Jika tabel yang Anda butuhkan tidak tercantum, klik kanan folder Performance Options, lalu pilih Add Table.

  5. Tentukan nama untuk Table.

  6. Tentukan opsi berikut sesuai kebutuhan:

    • Di bagian Opsi Performa Umum:
      • Jumlah Tugas Paralel, untuk menetapkan jumlah maksimum tugas replikasi paralel yang dapat digunakan untuk tabel.
      • Nomor Urut, untuk memprioritaskan replikasi tabel ini dibandingkan dengan replikasi tabel lainnya.
    • Di bagian Initial Load Options:
      • Untuk Reading Type, pilih Reading Type 1 Range Calculation, jika tabel Anda tidak terlalu besar. Untuk mengetahui informasi selengkapnya, lihat Performa dan Setelan Replikasi Lanjutan LTRS.
      • Untuk Package Size, tentukan ukuran dalam byte dari bagian kumpulan data yang dikirim ke Server Replikasi SAP LT.
      • Jika Anda memilih Jenis Pembacaan yang menggunakan rentang, tentukan rentang yang sesuai.
    • Di bagian Replication Option:
      • Untuk Ranges for Logging Table, tentukan No Ranges untuk opsi yang paling dapat diandalkan.
      • Jika Anda memilih Specify Ranges for Manually, tentukan rentang yang sesuai.

  7. Klik Simpan.

Tolok ukur performa dasar

Untuk membantu Anda mengevaluasi performa replikasi, bagian ini berisi angka performa dasar yang diamati dalam sistem pengujian Google Cloud.

Karena berbagai faktor yang memengaruhi performa, angka performa Anda cenderung akan bervariasi.

Misalnya, jika sistem SAP Anda tidak berjalan di Google Cloud, laju pemuatan dan replikasi Anda mungkin lebih lambat dibandingkan laju dasar karena beberapa hal seperti latensi jaringan dan overhead yang terkait dengan token akses. Jika tabel sumber memiliki kolom yang lebih sedikit atau Anda menginstal Server Replikasi SAP LT di servernya sendiri dalam arsitektur mandiri, laju Anda mungkin lebih cepat karena Server Replikasi SAP LT tidak harus bersaing dengan sistem sumber untuk mendapatkan resource.

Angka performa dasar yang diamati

Angka performa berikut mewakili performa dasar yang diamati oleh Google Cloud untuk setiap jenis sistem sumber selama pengujian. Pada setiap sistem pengujian, Server Replikasi SAP LT diinstal pada sistem sumber SAP dalam arsitektur tersemat pada VM Compute Engine. Sistem sumber SAP berjalan di region Google Cloud yang sama dengan set data BigQuery target.

Untuk mengetahui informasi tentang konfigurasi sistem pengujian, lihat Konfigurasi sistem pengujian performa dasar.

Untuk melihat angka performa, klik jenis sistem sumber:

S/4HANA

  • Tabel: ACDOCA
    • 343 juta kumpulan data
    • 477 kolom
  • Pemuatan awal
    • Kecepatan pemuatan: Rata-rata 350 juta kumpulan data per jam
    • Durasi pemuatan: Rata-rata 59 menit
  • Replikasi
    • Tingkat perubahan tabel sumber: Rata-rata 50 juta kumpulan data per jam
    • Tingkat replikasi maksimum: Rata-rata 50 juta kumpulan data per jam

ECC

  • Tabel: MSEG
    • 203 juta kumpulan data
    • 188 kolom
  • Pemuatan awal
    • Kecepatan pemuatan: Rata-rata 385 juta kumpulan data per jam
    • Durasi pemuatan: Rata-rata 32 menit
  • Replikasi
    • Tingkat perubahan tabel sumber: Rata-rata 50 juta kumpulan data per jam
    • Tingkat replikasi maksimum: Rata-rata 69 juta kumpulan data per jam

Angka performa sebelumnya adalah dasar pengukuran yang diamati oleh penguji Google Cloud.

Performa yang diamati lebih baik dalam sistem pengujian yang memiliki atribut berikut:

  • Server Replikasi SAP LT diinstal pada VM-nya sendiri dalam arsitektur mandiri.
    • Untuk sistem S/4HANA, arsitektur mandiri diamati memiliki laju pemuatan awal sekitar 42% lebih cepat dibandingkan arsitektur tersemat karena penskalaan independen dari proses Server Replikasi SAP LT.
    • Untuk sistem ECC, arsitektur mandiri diamati memiliki laju pemuatan awal sekitar 10% lebih cepat dibandingkan arsitektur tersemat karena penskalaan independen dari proses Server Replikasi SAP LT.
  • Tabel sumber memiliki kolom yang lebih sedikit.
  • Ukuran byte keseluruhan kumpulan data lebih kecil.

Untuk mengetahui informasi tentang atribut sistem yang dapat Anda modifikasi guna meningkatkan performa, lihat:

Konfigurasi sistem uji performa dasar

Sistem pengujian yang dijelaskan di bagian ini menghasilkan angka performa dasar yang tercantum di bagian sebelumnya, Angka performa dasar yang diamati.

Sistem pengujian, termasuk sistem sumber SAP, Server Replikasi SAP LT, dan set data BigQuery, semuanya berjalan di VM Compute Engine pada region Google Cloud yang sama.

Di setiap sistem, server dan workload dirancang untuk menyimulasikan workload yang lebih berat dan volume replikasi yang lebih tinggi yang mungkin akan Anda temukan di banyak penginstalan dunia nyata.

Untuk melihat atribut sistem pengujian, klik jenis sistem sumber:

S/4HANA

  • Arsitektur penginstalan Server Replikasi SAP LT:
    • Arsitektur sematan
  • Server sistem sumber:
    • Dua server aplikasi, masing-masing pada jenis mesin kustom Compute Engine berbasis N2 dengan spesifikasi berikut:
      • vCPU: 60
      • Memori: 324 GB
      • Platform CPU: Intel Cascade Lake
    • Satu server SAP HANA di VM Compute Engine m1-ultramem-80 dengan spesifikasi berikut:
      • vCPU: 80
      • Memori: 1.900 GB
      • Platform CPU: Intel Broadwell
  • Versi software:
    • S/4HANA 1909
    • Server Replikasi SAP LT: S/4CORE 104 SP00
  • Ukuran tabel:
    • Nama tabel: ACDOCA, data item baris entri jurnal buku besar umum
    • Jumlah kumpulan data: 343 juta
    • Jumlah kolom: 477
  • Proses kerja di setiap server aplikasi:
    • 60 Proses dialog
    • 220 Proses latar belakang
  • Memuat setelan di Server Replikasi SAP LT:
    • Tugas: 99
    • Jenis pembacaan: 1 Range
    • Penghitungan: Rentang otomatis
  • Setelan replikasi:
    • Tugas: 99
    • Menggunakan kolom Kunci untuk menghitung rentang tabel logging
    • 128 rentang

ECC

  • Arsitektur penginstalan Server Replikasi SAP LT:
    • Arsitektur sematan
  • Server sistem sumber:
    • Dua server aplikasi, masing-masing di VM Compute Engine n2-highmem-48 dengan spesifikasi berikut:
      • vCPU: 60
      • Memori: 348 GB
      • Platform CPU: Intel Cascade Lake
  • Versi software:
    • SAP NetWeaver: 7.0 EHP2
    • Server Replikasi SAP LT: DMIS 2011_1_700 SP17
  • Ukuran tabel:
    • Tabel: MSEG, dokumen pengelolaan inventaris material
    • Jumlah kumpulan data: 203 juta
    • Jumlah kolom: 188
  • Proses kerja di setiap server aplikasi:
    • 60 Proses dialog
    • 100 Proses latar belakang
  • Memuat setelan di Server Replikasi SAP LT:
    • Tugas: 99
    • Jenis pembacaan: 5 Sender
    • Antrean: Rentang manual
  • Setelan replikasi:
    • Tugas: 99
    • Rentang untuk Tabel Logging: Gunakan kolom Kunci untuk menghitung rentang
    • Jumlah rentang: 128

Memindahkan setelan transfer massal ke produksi

Untuk memindahkan setelan transfer massal ke produksi, Anda harus mengekspor setelan dari sistem pengembangan terlebih dahulu, lalu mengimpornya ke dalam sistem produksi.

Anda dapat memilih untuk mengimpor tiga bagian setelan transfer massal ke dalam produksi:

  • Setelan replikasi lanjutan, yang dapat diakses menggunakan transaksi LTRS.
  • Setelan kunci klien dari tabel /GOOG/CLIENT_KEY, yang dapat diakses menggunakan transaksi SM30.
  • Setelan transfer massal BigQuery Connector untuk SAP, yang dapat diakses menggunakan transaksi /GOOG/SLT_SETTINGS.

Mengekspor setelan transfer massal dari sistem pengembangan

Dalam sistem pengembangan Server Replikasi SAP LT, ekspor setiap bagian setelan transfer massal:

  1. Ekspor setelan replikasi lanjutan:

    1. Jalankan transaksi LTRS.
    2. Pilih data transfer massal yang akan Anda pindahkan ke produksi.
    3. Dari menu drop-down File, pilih Export All Settings.
    4. Dalam dialog Export Settings, pilih tujuan dan klik Save. Setelan disimpan dalam file terkompresi dalam format CSV di workstation lokal Anda.

  2. Ekspor setelan transfer massal BigQuery Connector untuk SAP:

    1. Jalankan transaksi /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Pada kolom Settings Table, pilih Mass Transfer.

    3. Pilih data transfer massal yang akan Anda pindahkan ke produksi.

    4. Klik Transport Mass Transfer.

    5. Pada Prompt for Workbench request, masukkan nomor permintaan transpor, lalu klik ikon Continue. Untuk setiap data transfer massal yang dipilih, setelan dari tabel konfigurasi kustom berikut disertakan dalam transpor:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Setelan transfer massal disimpan ke permintaan transpor.

  3. Ekspor setelan kunci klien dengan menyertakan isi tabel /GOOG/CLIENT_KEY secara manual dalam permintaan transpor.

  4. Simpan file ke workstation lokal.

Mengimpor setelan transfer massal ke dalam sistem produksi

Dalam sistem produksi Server Replikasi SAP LT, impor setiap bagian setelan transfer massal:

  1. Buat konfigurasi replikasi Server Replikasi SAP LT untuk setelan transfer massal.

  2. Impor setelan replikasi lanjutan:

    1. Jalankan transaksi LTRS.
    2. Pilih transfer massal yang Anda buat pada langkah pertama.
    3. Dari menu drop-down File, pilih Import All Settings.
    4. Pada dialog Choose File, pilih file yang dikompresi dari workstation lokal, lalu klik Open. Setelan diimpor sebagai setelan untuk transfer massal.

  3. Impor permintaan transpor yang berisi setelan transfer massal.

  4. Jalankan transaksi SM30.

  5. Perbarui setelan kunci klien sesuai kebutuhan untuk lingkungan produksi.

  6. Jalankan transaksi /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Pastikan transfer massal yang benar ditampilkan di layar Mass Transfer.

  8. Di kolom Mass Transfer ID, ganti ID transfer massal dari sistem pengembangan dengan ID transfer massal dari konfigurasi replikasi yang Anda buat pada langkah pertama.

  9. Di layar setelan Tables dan Fields berikutnya, perbarui nilai lain untuk pemetaan tabel dan kolom sesuai kebutuhan untuk lingkungan produksi.

  10. Uji konfigurasi dengan memulai pemuatan atau replikasi awal. Untuk mengetahui informasi tentang memulai pemuatan awal atau replikasi, lihat:

    • Jika Server Replikasi SAP LT berjalan di VM Compute Engine, Uji replikasi.
    • Jika Server Replikasi SAP LT berjalan di host yang berada di luar Google Cloud, Uji replikasi.

Mengupdate BigQuery Connector untuk SAP

Google Cloud mengirimkan rilis baru BigQuery Connector untuk SAP sebagai transpor SAP.

Administrator SAP dapat mengupdate BigQuery Connector untuk SAP dengan mengikuti langkah-langkah berikut:

  1. Nonaktifkan konfigurasi di Server Replikasi SAP LT.
  2. Impor permintaan transpor SAP yang baru.
  3. Setelah memvalidasi impor dan aktivasi objek yang berhasil, aktifkan konfigurasi di Server Replikasi SAP LT.

Mengupdate gcloud CLI

Anda harus terus memperbarui Google Cloud CLI pada host Server Replikasi SAP LT.

Untuk mengetahui informasi selengkapnya tentang cara mengelola gcloud CLI, lihat Mengelola komponen gcloud CLI.

Monitoring

Anda dapat memantau beberapa titik yang berbeda di sepanjang jalur data dari sumber data SAP ke tabel BigQuery target, termasuk:

  • Infrastruktur - jaringan, hardware, dan sistem operasi
  • Lapisan database SAP
  • Lapisan aplikasi SAP
  • BigQuery Connector untuk SAP
  • BigQuery

Opsi untuk pemantauan di setiap titik ini disajikan dalam sub-bagian berikut.

Memantau infrastruktur

Di Google Cloud, Anda dapat menginstal Agen Operasional di VM host untuk pemantauan dan logging lanjutan. Agen Operasional akan mengirimkan data ke Cloud Monitoring di konsol Google Cloud.

Untuk informasi selengkapnya, lihat:

Untuk sistem yang tidak berjalan di Google Cloud, Anda juga bisa mendapatkan informasi server dengan menjalankan transaksi SAP, seperti transaksi ST06.

Memantau lapisan database

Gunakan kode transaksi SAP standar untuk memantau kondisi database.

Kode transaksi DBACOCKPIT adalah transaksi yang paling umum untuk memantau database. Transaksi ini juga menyediakan log terperinci yang dapat Anda gunakan untuk memecahkan masalah error.

Untuk SAP HANA, Anda dapat menggunakan SAP HANA Studio untuk operasi SAP HANA. Anda dapat menginstal SAP HANA Studio di komputer front-end mana pun.

Saat memecahkan masalah performa atau masalah lainnya, periksa hal-hal berikut di database sumber:

  • Pernyataan SQL yang Mahal
  • Kunci
  • Histori pemuatan
  • Indeks
  • Proses

Memantau lapisan aplikasi

Anda dapat menggunakan alat pemantauan dan pemecahan masalah aplikasi SAP guna memantau dan memecahkan masalah BigQuery Connector untuk SAP, karena berjalan di lapisan aplikasi.

Pemantauan dan pemecahan masalah aplikasi SAP dapat diklasifikasikan lebih lanjut menjadi:

  • Pemantauan dan pemecahan masalah SAP standar
  • Pemantauan dan pemecahan masalah BigQuery Connector untuk SAP

Untuk lanskap yang lebih luas, Anda dapat menggunakan Pengelola Solusi SAP sebagai alat pemantauan terpusat.

Anda dapat menggunakan kode transaksi SAP dalam daftar berikut untuk memantau dan mendiagnosis masalah pada setiap sistem aplikasi SAP:

  • Status konfigurasi SLT: LTRC
  • Error dan log SLT: LTRO dan SLG1
  • Pengelola Komunikasi Internet (Panggilan HTTP dan HTTPS): SMICM
  • Keamanan dan sertifikat: STRUST
  • Transpor SAP: STMS
  • Koneksi RFC: SM59
  • Perintah OS: SM69
  • Pemeriksaan paket: SE80
  • Pemeriksaan otorisasi: SU53
  • Tugas latar belakang: SM37
  • Log sistem: SM21

Memantau BigQuery

Menggunakan Cloud Monitoring untuk melihat metrik BigQuery serta membuat diagram dan pemberitahuan. Setiap metrik memiliki jenis resource, baik bigquery_dataset, bigquery_project, atau global, serta sekumpulan label.

Gunakan jenis dan label resource untuk membuat kueri di Monitoring Query Language (MQL).

Anda dapat mengelompokkan atau memfilter setiap metrik menggunakan label.

Untuk mengetahui informasi selengkapnya tentang Monitoring, lihat dokumentasi Cloud Monitoring.

Validasi replikasi

Jika Anda memilih Extra Fields Flag saat membuat tabel BigQuery target dengan /GOOG/SLT_SETTINGS transaksi, kolom akan ditambahkan ke skema tabel untuk menyimpan jenis perubahan ke setiap data yang memicu replikasi dan untuk stempel waktu yang mencerminkan waktu saat Server Replikasi SAP LT menerima bagian yang berisi data.

Anda dapat menggunakan jenis perubahan dan stempel waktu untuk membuat kueri jenis jumlah kumpulan data berikut:

  • Jumlah kumpulan data yang dimuat ke dalam tabel BigQuery selama pemuatan awal.
  • Jumlah kumpulan data yang direplikasi pada hari tertentu ke dalam tabel BigQuery.
  • Total jumlah kumpulan data unik dalam tabel BigQuery.

Untuk mendapatkan jumlah ini, Anda dapat membuat kueri tabel BigQuery secara langsung dengan mengirimkan kueri SQL di konsol Google Cloud, atau menjalankan alat Validasi Replikasi, yang menghasilkan laporan yang membandingkan jumlah kumpulan data BigQuery dengan Statistik Server Replikasi SAP LT atau jumlah kumpulan data dari tabel sumber.

Untuk ringkasan tentang Extra Fields Flag, lihat Kolom tambahan untuk perubahan kumpulan data dan kueri jumlah.

Untuk informasi tentang cara menentukan Extra Fields Flag, lihat:

Kueri SQL untuk kumpulan data

Pada halaman Editor SQL BigQuery di konsol Google Cloud, Anda dapat menjalankan kueri SQL untuk memeriksa jumlah kumpulan data dalam tabel BigQuery.

Anda kemudian dapat membandingkan jumlah kumpulan data BigQuery dengan jumlah dalam tabel sumber atau dalam statistik Server Replikasi SAP LT.

Membuat kueri jumlah data yang disisipkan dalam mode pemuatan awal

Jika skema tabel BigQuery menyertakan kolom operation_flag yang opsional, data yang dimasukkan ke dalam tabel dalam mode pemuatan awal akan menyertakan flag operasi L.

Untuk mendapatkan jumlah data yang diterima BigQuery selama pemuatan awal, jalankan kueri berikut:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Membuat kueri jumlah data yang disisipkan dalam mode replikasi

Jika skema tabel BigQuery menyertakan kolom operation_flag yang opsional, data yang dimasukkan ke dalam tabel dalam mode replikasi akan menyertakan salah satu flag operasi berikut:

  • I: data dimasukkan ke tabel sumber.
  • D: data telah dihapus dari tabel sumber.
  • U: data telah diperbarui di tabel sumber.

Untuk mendapatkan jumlah data yang diterima BigQuery dalam mode replikasi, jalankan kueri berikut:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Membuat kueri total jumlah data dalam tabel BigQuery

Jika skema tabel BigQuery menyertakan kolom recordstamp yang opsional, kolom recordstamp yang sesuai dari setiap data yang dimasukkan ke dalam tabel akan berisi stempel waktu yang menunjukkan waktu pengiriman data yang dilakukan oleh Server Replikasi SAP LT ke BigQuery.

Untuk mendapatkan jumlah total data dalam tabel BigQuery yang dapat dibandingkan dengan jumlah total data dalam tabel sumber, Anda dapat menggunakan kolom recordstamp dan is_deleted untuk menghitung data yang unik di tabel BigQuery yang belum dihapus dari tabel sumber.

Jika tabel sumber diperbarui secara aktif atau replikasi bersifat aktif saat Anda membuat kueri data, jumlah data dalam tabel sumber dan target mungkin tidak sama persis.

Untuk mendapatkan jumlah data unik saat ini dalam tabel target BigQuery, jalankan kueri berikut:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Alat Validasi Replikasi

Bagian ini menyediakan ringkasan alat Validasi Replikasi dan tindakan yang dapat Anda lakukan dengannya.

Alat Validasi Replikasi menghasilkan laporan yang membandingkan jumlah data di tabel BigQuery dengan statistik Server Replikasi SAP LT dan jumlah data dalam tabel sumber. Jika jumlahnya tidak sama persis, alat ini akan menandai laporan dengan lingkaran merah.

Untuk menghitung data di BigQuery, alat ini menggunakan kueri SQL yang ditunjukkan di bagian sebelumnya, yaitu Kueri SQL untuk jumlah data.

Jalankan alat Validasi Replikasi secara berkala untuk memvalidasi bahwa Server Replikasi SAP LT dan BigQuery Connector untuk SAP mereplikasi data ke BigQuery seperti yang diharapkan.

Untuk menjalankan alat Validasi Replikasi, masukkan transaksi kustom /GOOG/REPLIC_VALID yang didahului dengan /n di SAP GUI. Untuk mengetahui petunjuk langkah demi langkah, lihat:

Laporan validasi replikasi

Anda dapat membuat laporan validasi berikut dengan alat Validasi Replikasi:

  • Jumlah Pemuatan Awal: Perbandingan jumlah data yang dikirim oleh Server Replikasi SAP LT dalam mode pemuatan dan jumlah data yang dimuat ke BigQuery.
  • Jumlah Replikasi: Perbandingan jumlah data yang dikirim oleh Server Replikasi SAP LT dalam mode replikasi dan jumlah data yang dimasukkan ke BigQuery pada hari tertentu.
  • Jumlah Saat Ini: Perbandingan titik waktu antara jumlah data yang ada dalam tabel sumber dan jumlah data unik di BigQuery.

Anda dapat membuat setiap laporan satu per satu, atau dengan memilih Semua Pemeriksaan saat menjalankan alat ini, Anda dapat membuat ketiga laporan dalam satu eksekusi.

Menampilkan laporan Validasi Replikasi

Setelah membuat laporan, Anda dapat menampilkan laporan dengan memilih tombol pilihan Display Report di bagian Processing Options pada antarmuka alat Validasi Replikasi.

Informasi yang ditampilkan alat Validasi Replikasi di setiap laporan sedikit berbeda bergantung pada jenis laporan.

Semua laporan menyertakan jenis informasi berikut:

  • Jumlah data sumber dihitung dari statistik Server Replikasi SAP LT dan tabel sumber.
  • Jumlah data target dari tabel BigQuery target.
  • Perbedaan apa pun di antara keduanya akan dihitung. Perbedaannya dihitung dengan mengurangi jumlah BigQuery dari jumlah data sumber. Nilai positif mengindikasikan adanya kemungkinan masalah, karena nilai tersebut menunjukkan bahwa tidak semua data sumber berhasil dimasukkan ke BigQuery.
  • Perbedaan jumlah yang ditampilkan sebagai persentase jumlah data sumber.
  • Indikator visual apakah jumlah sumber dan target sama atau berbeda.

Jumlah data tidak sama

Alat Validasi Replikasi menyertakan kolom status dengan setiap laporan yang ditampilkan.

Kotak hijau di kolom status berarti jumlah data sumber sama dengan jumlah data target di BigQuery.

Lingkaran merah di kolom status berarti jumlah data tidak sama.

Jumlah data yang berbeda tidak selalu mengindikasikan adanya masalah. Indikator berikut menunjukkan kemungkinan adanya masalah:

  • Untuk laporan Jumlah Saat Ini, nilai yang tidak setara selalu mengindikasikan adanya masalah.

  • Untuk laporan Jumlah Pemuatan Awal atau Jumlah Replikasi, nilai positif mengindikasikan kemungkinan adanya masalah.

    Nilai negatif yang relatif rendah tidak mengindikasikan adanya masalah. Jumlah dalam tabel BigQuery target terkadang dapat sedikit lebih tinggi daripada jumlah data sumber karena beberapa peristiwa seperti gangguan konektivitas sementara yang menyebabkan Server Replikasi SAP LT mengirim ulang data.

Jika Anda melihat jumlah yang tidak sama, jalankan kembali laporan untuk memastikan bahwa perbedaan tidak disebabkan oleh masalah sementara. Jumlah data yang tidak sama dapat terjadi karena pemrosesan replikasi pada saat alat membuat laporan.

Untuk tabel sumber yang sangat besar atau tabel yang memiliki filter yang ditetapkan di Server Replikasi SAP LT untuk pemuatan atau replikasi awal, alat Validasi Replikasi mungkin tidak dapat menghitung semua data yang diperlukan untuk jumlah yang sama.

Menjadwalkan pemeriksaan validasi

Anda dapat menjadwalkan alat Validasi Replikasi agar berjalan secara otomatis pada interval tertentu menggunakan fungsi tugas latar belakang SAP.

Mengedit peta kolom BigQuery dalam file CSV

Bagian berikut menjelaskan cara mengekspor pemetaan kolom default, sehingga data engineer atau administrator BigQuery dapat mengedit nilai kolom target tanpa memerlukan akses ke Server Replikasi SAP LT.

Membuat spreadsheet atau file teks pemetaan kolom default

Untuk membuat file CSV guna melakukan pengeditan di luar Server Replikasi SAP LT:

  1. Jalankan transaksi /GOOG/SLT_SETTINGS.

  2. Di layar SLT Settings Maintenance, tentukan nilai berikut:

    • Di kolom Settings Table, tentukan Fields.
    • Di kolom Mass Transfer Key, tentukan ID transfer massal yang ingin diperbarui.
    • Di kolom Table Name, biarkan kolom kosong agar dapat digunakan dengan semua kolom dari semua tabel atau tentukan nama tabel agar dapat digunakan dengan tabel tertentu.
    • Biarkan kolom lain kosong.

  3. Klik ikon Jalankan. Layar BigQuery Settings Maintenance - Fields akan ditampilkan.

  4. Di layar BigQuery Settings Maintenance - Fields, sembunyikan semua kolom kecuali yang ada dalam daftar berikut dengan mengklik kanan judul kolom dan memilih Hide dari menu drop-down:

    • Nama Tabel SAP
    • Nama Kolom SAP
    • Elemen Data Eksternal
    • Nama Kolom Eksternal
    • Deskripsi Kolom

  5. Dengan lima kolom yang tersisa ditampilkan, klik ikon Export.

  6. Dari menu Export, pilih salah satu opsi berikut:

    • Spreadsheet
    • File lokal. Untuk memudahkan konversi konten file ke format CSV, sebaiknya simpan file dalam format Teks dengan tab.

  7. Simpan pemetaan kolom default dengan mengklik ikon Tanda Centang.

Mengonversi spreadsheet atau file teks ke format CSV

Untuk mengupload pemetaan kolom yang diedit menggunakan transaksi kustom /GOOG/SLT_SETTINGS, pemetaan kolom harus dalam format CSV.

Jika Anda menggunakan spreadsheet, simpan spreadsheet sebagai file CSV sebelum mengupload file tersebut.

Jika menggunakan file lokal dalam format yang dipisahkan tab atau format lainnya, Anda harus mengubah file agar sesuai dengan format CSV.

Contoh:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Mengupload file CSV

Untuk mengupload file CSV yang telah diedit:

  1. Jalankan transaksi /GOOG/SLT_SETTINGS.

  2. Di layar SLT Settings Maintenance, tentukan nilai berikut:

    • Di kolom Settings Table, tentukan Fields.
    • Di kolom Mass Transfer Key, tentukan ID transfer massal yang ingin diperbarui.
    • Centang kotak Upload from file.

  3. Klik ikon Jalankan. Dialog Select File to Upload akan terbuka.

  4. Dalam dialog Select File to Upload, pilih file CSV yang berisi nilai kolom yang diedit.

  5. Klik Open.

  6. Jika Anda menerima peringatan keamanan, klik Allow. File dimuat dan nilai yang diubah dalam file akan muncul pada baris yang berlaku di layar BigQuery Settings Maintenance - Fields.

  7. Klik ikon Save.

  8. Untuk mengonfirmasi bahwa nilai tersebut diterapkan, bandingkan nilai dalam file CSV dengan nilai yang ditampilkan oleh Server Replikasi SAP LT.

Menangani error dalam data sumber

Setelah menerima sejumlah data dari BigQuery Connector untuk SAP, BigQuery streaming API akan memeriksa error data sebelum memasukkan data apa pun ke dalam tabel BigQuery.

Anda dapat mengontrol respons BigQuery API dan BigQuery Connector untuk SAP ketika ditemukan adanya error data dengan menentukan flag berikut di setelan transfer massal:

  • Flag Skip Invalid Records (SKIP)
  • Flag Break at First Error Flag (BREAK)

Flag SKIP

Jika Anda menentukan flag SKIP, saat BigQuery API menerima sejumlah data dan menemukan data yang berisikan error, BigQuery API akan menghapus, atau melewati, data yang berisi error tersebut dan terus memasukkan semua data lain dari kumpulan tersebut ke dalam tabel BigQuery.

Jika flag SKIP tidak ditetapkan, saat BigQuery menemukan data yang berisikan error, BigQuery akan menghapus seluruh bagian tanpa memasukkan data apa pun dari data tersebut ke tabel BigQuery. Ini adalah perilaku default.

Menentukan flag SKIP merupakan pilihan terbaik untuk lingkungan pengembangan dan QA, dan tidak direkomendasikan untuk lingkungan produksi.

Anda dapat menentukan flag SKIP dalam transaksi /GOOG/SLT_SETTINGS saat mengonfigurasi replikasi. Spesifikasi disimpan di tabel konfigurasi /GOOG/BQ_MASTR.

Untuk melihat cara spesifikasi SKIP berinteraksi dengan spesifikasi BREAK, lihat Tabel matriks untuk interaksi SKIP dan BREAK.

Flag BREAK

Jika Anda menentukan flag BREAK, BigQuery Connector untuk SAP akan berhenti mengirim data ke BigQuery dan menghentikan tugas replikasi saat BigQuery Connector untuk SAP menerima notifikasi dari BigQuery API bahwa ditemukan error data dalam kumpulan data

Jika flag BREAK tidak ditetapkan, BigQuery Connector untuk SAP akan melanjutkan pengiriman data ke BigQuery dengan mengirim kumpulan berikutnya dan tugas replikasi berlanjut, saat BigQuery Connector untuk SAP menerima notifikasi dari BigQuery bahwa ditemukan error data dalam kumpulan data. Ini adalah perilaku default.

Sebaiknya tentukan flag BREAK di lingkungan produksi.

Anda dapat menentukan flag BREAK dalam transaksi //GOOG/SLT_SETTINGS saat mengonfigurasi replikasi. Spesifikasi disimpan di tabel konfigurasi /GOOG/BQ_MASTR.

Untuk melihat cara spesifikasi BREAK berinteraksi dengan spesifikasi SKIP, lihat Tabel matriks untuk interaksi SKIP dan BREAK.

Tabel matriks untuk interaksi SKIP dan BREAK

Anda dapat mengonfigurasi BigQuery Connector untuk SAP guna menangani error data dengan cara berikut:

Flag SKIP Flag BREAK Perilaku
FALSE TRUE

BigQuery menghapus kumpulan data saat ini tanpa memasukkan data apa pun dari kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP tidak lagi mengirimkan kumpulan data dari bagian saat ini dan memberi tahu Server Replikasi SAP LT untuk menghentikan tugas replikasi.

Ini adalah setelan yang disarankan.

FALSE FALSE

BigQuery menghapus kumpulan data saat ini tanpa memasukkan data apa pun dari kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP mengirimkan kumpulan data yang tersisa dari bagian kumpulan data saat ini, lalu memberi tahu Replikasi Server SAP LT untuk menghentikan tugas replikasi.

Ini adalah setelan defaultnya.

TRUE TRUE

BigQuery hanya akan menghapus data yang berisi error dan memasukkan sisa data dalam kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP tidak lagi mengirimkan kumpulan data dari bagian saat ini dan mengambil bagian berikutnya. BigQuery Connector untuk SAP tidak memberi tahu Replikasi Server SAP LT untuk menghentikan tugas replikasi.

TRUE FALSE

BigQuery hanya akan menghapus data yang berisi error dan memasukkan sisa data dalam kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP mengirimkan kumpulan data yang tersisa dari bagian saat ini dan mengambil bagian berikutnya. BigQuery Connector untuk SAP tidak memberi tahu Replikasi Server SAP LT untuk menghentikan tugas replikasi.

Perubahan struktur tabel

Bagian ini menjelaskan cara mengubah struktur tabel sumber SAP, dengan replikasi LTRC yang ada sedang berlangsung.

Menambahkan kolom ke tabel sumber

Untuk menambahkan kolom baru ke tabel sumber, ikuti langkah-langkah berikut:

  1. Tambahkan kolom baru ke tabel sumber. Setelah langkah ini berhasil, status replikasi berubah menjadi Load/Replication blocked.

  2. Di sistem SLT Anda, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP tentang cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT berada dalam status 'Pemuatan/Replikasi diblokir'.

  3. Menambahkan, memperbarui, atau menghapus entri dalam tabel sumber.

  4. Validasi hasil replikasi di BigQuery.

Menghapus kolom dari tabel sumber

Untuk menghapus kolom yang ada dari tabel sumber, ikuti langkah-langkah berikut:

  1. Di sistem SLT Anda, tangguhkan replikasi menggunakan transaksi LTRC.

  2. Menghapus kolom dari tabel sumber. Setelah langkah ini berhasil, pemicu SLT yang ada akan dihapus atau diubah ke status yang tidak konsisten.

  3. Di BigQuery, hapus kolom dari tabel BigQuery target. Untuk mengetahui informasi lebih lanjut tentang langkah-langkah menghapus kolom dari tabel yang ada, baca dokumentasi BigQuery.

  4. Di sistem SLT Anda, lanjutkan replikasi menggunakan transaksi LTRC.

  5. Di sistem SLT Anda, buat ulang pemicu SLT. Untuk mengetahui informasi selengkapnya dari SAP tentang cara membuat ulang pemicu SLT, lihat SAP Note 2254376 - pemicu SLT dalam status tidak konsisten.

  6. Jika status replikasi adalah Load /Replication blocked, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP terkait cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT dalam status 'Pemuatan/Replikasi diblokir'.

  7. Hapus log lama, jika ada.

  8. Menambahkan, memperbarui, atau menghapus entri dalam tabel sumber.

  9. Validasi hasil replikasi di BigQuery.

Mengubah tipe data dari kolom yang ada

Saat mengubah jenis data kolom yang ada di tabel sumber SAP, Anda harus mengikuti langkah-langkah tertentu, tergantung pada apakah Anda mengubah jenis data ke jenis data yang kompatibel atau tidak dengan tabel target BigQuery.

Jenis data bersifat kompatibel dengan jenis data dalam tabel BigQuery target jika jenis data yang ada dan jenis data baru dari kolom yang ada dipetakan ke jenis data yang sama dalam tabel BigQuery target. Misalnya, jika jenis data kolom diubah dari INT1 menjadi INT2 dalam tabel sumber, kedua jenis data tersebut bersifat kompatibel dengan jenis data INTEGER di tabel BigQuery target.

Untuk mengetahui informasi selengkapnya tentang pemetaan jenis data di BigQuery Connector untuk SAP, lihat Pemetaan jenis data.

Mengubah jenis data ke jenis data yang kompatibel

Untuk mengubah jenis data kolom yang ada ke jenis data yang kompatibel, ikuti langkah-langkah berikut:

  1. Ubah jenis data ke jenis data yang kompatibel di sistem sumber. Setelah langkah ini berhasil, pemicu SLT yang ada akan dihapus atau diubah ke status yang tidak konsisten.

  2. Di sistem SLT Anda, buat ulang pemicu SLT. Untuk mengetahui informasi selengkapnya dari SAP tentang cara membuat ulang pemicu SLT, lihat SAP Note 2254376 - pemicu SLT dalam status tidak konsisten.

  3. Jika status replikasi adalah Load /Replication blocked, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP terkait cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT dalam status 'Pemuatan/Replikasi diblokir'.

  4. Hapus log lama, jika ada.

  5. Menambahkan, memperbarui, atau menghapus entri dalam tabel sumber.

  6. Validasi hasil replikasi di BigQuery.

Mengubah jenis data menjadi jenis data yang tidak kompatibel

Untuk mengubah jenis data kolom yang ada ke jenis data yang tidak kompatibel, ikuti langkah-langkah berikut:

  1. Dalam sistem SLT Anda, hentikan replikasi menggunakan transaksi LTRC.
  2. Di BigQuery, hapus tabel target.
  3. Ubah jenis data di sistem sumber.
  4. Di sistem SLT Anda, mulai replikasi menggunakan transaksi LTRC.

Keluar dari peningkatan

BigQuery Connector untuk SAP menyediakan beberapa titik peningkatan dalam kodenya tempat developer ABAP dapat memasukkan kode untuk menambahkan fungsi kustom.

Tabel berikut mencantumkan fungsi yang didukung titik peningkatan, metode, dan class yang berisi titik peningkatan.

Fungsi Class Metode Spot Opsi
Perbarui pemetaan untuk kolom, seperti nama kolom eksternal, jenis data, dan sebagainya. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Perbarui pemetaan untuk tabel kolom dengan menambahkan atau menghapus kolom. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Ubah nilai kolom sumber sebelum kolom dikonversi ke kolom target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Setelah kolom sumber dikonversi ke kolom target dalam tabel target, ubah nilai kolom target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Tambahkan kolom ke tabel target yang tidak ada di tabel sumber selama proses konversi tabel sumber ke target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Siapkan kolom skema BigQuery sebelum tabel BigQuery dibuat. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD