Panduan operasi BigQuery Connector untuk SAP

Panduan ini menunjukkan kepada administrator Server Replikasi SAP LT, data engineer SAP, atau yang lainnya cara melakukan tugas operasional, seperti penyesuaian performa dan update versi, untuk BigQuery Connector untuk SAP versi 2.7 (terbaru).

Menyesuaikan performa replikasi

Performa replikasi dapat dipengaruhi oleh beberapa faktor. Faktor spesifik yang berlaku dapat berbeda dari penginstalan ke penginstalan lainnya dan dapat berubah seiring waktu.

Bagian berikut berisi panduan terkait cara menyesuaikan beberapa faktor umum yang dapat memengaruhi performa.

Untuk mengetahui informasi selengkapnya tentang performa replikasi dengan BigQuery Connector untuk SAP, lihat Perencanaan performa.

Menetapkan opsi performa untuk tabel

Di Server Replikasi SAP LT, Anda dapat menentukan opsi replikasi untuk setiap tabel yang memengaruhi performa.

Secara khusus, performa replikasi untuk tabel besar, yang memerlukan lebih banyak waktu dan resource untuk melakukan replikasi, dapat diuntungkan dengan menentukan rentang dan meningkatkan jumlah maksimum tugas replikasi paralel yang dapat digunakan untuk tabel tersebut.

Contoh tabel yang umumnya berukuran besar adalah MSEG, ACDOCA, dan MATDOC.

Saat menentukan tugas replikasi paralel untuk tabel besar, Anda harus menyeimbangkan jumlah tugas paralel yang Anda izinkan untuk setiap tabel tertentu dengan jumlah total tugas paralel yang diizinkan dalam konfigurasi transfer massal. Organisasi Anda mungkin juga membatasi jumlah tugas replikasi paralel yang dapat Anda tentukan untuk server tertentu.

Guna menetapkan opsi performa untuk tabel:

  1. Di SAP GUI, masukkan transaksi SAP LTRS.

  2. Di layar Advanced Replication Settings, tentukan ID setelan transfer massal untuk tabel tersebut.

  3. Di hierarki folder Advanced Replication Settings, klik folder Performance Options untuk menampilkan tabel yang memiliki opsi performa.

  4. Jika tabel yang Anda butuhkan tidak tercantum, klik kanan folder Performance Options, lalu pilih Add Table.

  5. Tentukan nama untuk Table.

  6. Tentukan opsi berikut sesuai kebutuhan:

    • Di bagian Opsi Performa Umum:
      • Jumlah Tugas Paralel, untuk menetapkan jumlah maksimum tugas replikasi paralel yang dapat digunakan untuk tabel.
      • Nomor Urut, untuk memprioritaskan replikasi tabel ini dibandingkan dengan replikasi tabel lainnya.
    • Di bagian Initial Load Options:
      • Untuk Reading Type, pilih Reading Type 1 Range Calculation, jika tabel Anda tidak terlalu besar. Untuk mengetahui informasi selengkapnya, lihat Performa dan Setelan Replikasi Lanjutan LTRS.
      • Untuk Package Size, tentukan ukuran dalam byte dari bagian kumpulan data yang dikirim ke Server Replikasi SAP LT.
      • Jika Anda memilih Jenis Pembacaan yang menggunakan rentang, tentukan rentang yang sesuai.
    • Di bagian Replication Option:
      • Untuk Ranges for Logging Table, tentukan No Ranges untuk opsi yang paling dapat diandalkan.
      • Jika Anda memilih Specify Ranges for Manually, tentukan rentang yang sesuai.

  7. Klik Save.

Tolok ukur performa dasar

Untuk membantu Anda mengevaluasi performa replikasi, bagian ini berisi angka performa dasar yang diamati dalam sistem pengujian Google Cloud.

Karena berbagai faktor yang memengaruhi performa, angka performa Anda cenderung akan bervariasi.

Misalnya, jika sistem SAP Anda tidak berjalan di Google Cloud, laju pemuatan dan replikasi Anda mungkin lebih lambat dibandingkan laju dasar karena beberapa hal seperti latensi jaringan dan overhead yang terkait dengan token akses. Jika tabel sumber memiliki kolom yang lebih sedikit atau Anda menginstal Server Replikasi SAP LT di servernya sendiri dalam arsitektur mandiri, laju Anda mungkin lebih cepat karena Server Replikasi SAP LT tidak harus bersaing dengan sistem sumber untuk mendapatkan resource.

Angka performa dasar yang diamati

Angka performa berikut mewakili performa dasar yang diamati oleh Google Cloud untuk setiap jenis sistem sumber selama pengujian. Pada setiap sistem pengujian, Server Replikasi SAP LT diinstal pada sistem sumber SAP dalam arsitektur tersemat pada VM Compute Engine. Sistem sumber SAP berjalan di region Google Cloud yang sama dengan set data BigQuery target.

Untuk mengetahui informasi tentang konfigurasi sistem pengujian, lihat Konfigurasi sistem pengujian performa dasar.

Untuk melihat angka performa, klik jenis sistem sumber:

S/4HANA

  • Tabel: ACDOCA
    • 343 juta kumpulan data
    • 477 kolom
  • Pemuatan awal
    • Kecepatan pemuatan: Rata-rata 350 juta kumpulan data per jam
    • Durasi pemuatan: Rata-rata 59 menit
  • Replikasi
    • Tingkat perubahan tabel sumber: Rata-rata 50 juta kumpulan data per jam
    • Tingkat replikasi maksimum: Rata-rata 50 juta kumpulan data per jam

ECC

  • Tabel: MSEG
    • 203 juta kumpulan data
    • 188 kolom
  • Pemuatan awal
    • Kecepatan pemuatan: Rata-rata 385 juta kumpulan data per jam
    • Durasi pemuatan: Rata-rata 32 menit
  • Replikasi
    • Tingkat perubahan tabel sumber: Rata-rata 50 juta kumpulan data per jam
    • Tingkat replikasi maksimum: Rata-rata 69 juta kumpulan data per jam

Angka performa sebelumnya adalah dasar pengukuran yang diamati oleh penguji Google Cloud.

Performa yang diamati lebih baik dalam sistem pengujian yang memiliki atribut berikut:

  • Server Replikasi SAP LT diinstal pada VM-nya sendiri dalam arsitektur mandiri.
    • Untuk sistem S/4HANA, arsitektur mandiri diamati memiliki laju pemuatan awal sekitar 42% lebih cepat dibandingkan arsitektur tersemat karena penskalaan independen dari proses Server Replikasi SAP LT.
    • Untuk sistem ECC, arsitektur mandiri diamati memiliki laju pemuatan awal sekitar 10% lebih cepat dibandingkan arsitektur tersemat karena penskalaan independen dari proses Server Replikasi SAP LT.
  • Tabel sumber memiliki kolom yang lebih sedikit.
  • Ukuran byte keseluruhan kumpulan data lebih kecil.

Untuk mengetahui informasi tentang atribut sistem yang dapat Anda modifikasi guna meningkatkan performa, lihat:

Konfigurasi sistem uji performa dasar

Sistem pengujian yang dijelaskan di bagian ini menghasilkan angka performa dasar yang tercantum di bagian sebelumnya, Angka performa dasar yang diamati.

Sistem pengujian, termasuk sistem sumber SAP, Server Replikasi SAP LT, dan set data BigQuery, semuanya berjalan di VM Compute Engine di region Google Cloud yang sama.

Di setiap sistem, server dan workload dirancang untuk menyimulasikan workload yang lebih berat dan volume replikasi yang lebih tinggi yang mungkin akan Anda temukan di banyak penginstalan dunia nyata.

Untuk melihat atribut sistem pengujian, klik jenis sistem sumber:

S/4HANA

  • Arsitektur penginstalan Server Replikasi SAP LT:
    • Arsitektur tersemat
  • Server sistem sumber:
    • Dua server aplikasi, masing-masing pada jenis mesin kustom Compute Engine berbasis N2 dengan spesifikasi berikut:
      • vCPU: 60
      • Memori: 324 GB
      • Platform CPU: Intel Cascade Lake
    • Satu server SAP HANA di VM Compute Engine m1-ultramem-80 dengan spesifikasi berikut:
      • vCPU: 80
      • Memori: 1.900 GB
      • Platform CPU: Intel Broadwell
  • Versi software:
    • S/4HANA 1909
    • Server Replikasi SAP LT: S/4CORE 104 SP00
  • Ukuran tabel:
    • Nama tabel: ACDOCA, data item baris entri jurnal buku besar umum
    • Jumlah kumpulan data: 343 juta
    • Jumlah kolom: 477
  • Proses kerja di setiap server aplikasi:
    • 60 Proses dialog
    • 220 Proses latar belakang
  • Memuat setelan di Server Replikasi SAP LT:
    • Tugas: 99
    • Jenis pembacaan: 1 Range
    • Penghitungan: Rentang otomatis
  • Setelan replikasi:
    • Tugas: 99
    • Menggunakan kolom Kunci untuk menghitung rentang tabel logging
    • 128 rentang

ECC

  • Arsitektur penginstalan Server Replikasi SAP LT:
    • Arsitektur tersemat
  • Server sistem sumber:
    • Dua server aplikasi, masing-masing di VM Compute Engine n2-highmem-48 dengan spesifikasi berikut:
      • vCPU: 60
      • Memori: 348 GB
      • Platform CPU: Intel Cascade Lake
  • Versi software:
    • SAP NetWeaver: 7.0 EHP2
    • Server Replikasi SAP LT: DMIS 2011_1_700 SP17
  • Ukuran tabel:
    • Tabel: MSEG, dokumen pengelolaan inventaris material
    • Jumlah kumpulan data: 203 juta
    • Jumlah kolom: 188
  • Proses kerja di setiap server aplikasi:
    • 60 Proses dialog
    • 100 Proses latar belakang
  • Memuat setelan di Server Replikasi SAP LT:
    • Tugas: 99
    • Jenis pembacaan: 5 Sender
    • Antrean: Rentang manual
  • Setelan replikasi:
    • Tugas: 99
    • Rentang untuk Tabel Logging: Gunakan kolom Kunci untuk menghitung rentang
    • Jumlah rentang: 128

Ukuran potongan dinamis

Jika Anda menemukan error karena ukuran byte dari potongan melebihi ukuran byte maksimum untuk permintaan HTTP yang diterima BigQuery, maka Anda harus mengurangi ukuran byte secara manual dengan mengurangi ukuran potongan tersebut. Fitur ukuran potongan dinamis memungkinkan Anda secara otomatis mengurangi ukuran potongan dan mencoba ulang replikasi ke BigQuery saat ukuran byte suatu potongan melebihi ukuran byte maksimum untuk permintaan HTTP yang diterima BigQuery. Ukuran potongan dinamis membantu Anda mencegah sebagian besar kegagalan replikasi karena ukuran byte permintaan terlampaui. Anda mungkin menerima error hanya jika ukuran potongan mencapai 1, tetapi ukuran byte tetap lebih dari batas BigQuery terkait jumlah byte di setiap permintaan HTTP.

Anda mengaktifkan ukuran potongan dinamis dalam konfigurasi transfer massal untuk tabel menggunakan transaksi /GOOG/SLT_SETTINGS. Ukuran potongan dinamis adalah pengaturan opsional. Untuk mengetahui informasi tentang cara mengaktifkan ukuran potongan dinamis, lihat:

Ketika ukuran potongan dinamis diaktifkan, ukuran potongan maksimum yang diizinkan BigQuery Connector untuk SAP tetap berada dalam batas kuota BigQuery, yaitu 50.000 kumpulan data.

Untuk mengetahui informasi selengkapnya tentang ukuran potongan, lihat Ukuran porsi dan ukuran potongan.

Cara kerja ukuran potongan dinamis

Dengan ukuran potongan dinamis, jika permintaan HTTP dengan ukuran potongan awal melebihi batas BigQuery terkait ukuran byte, BigQuery Connector untuk SAP akan mengurangi ukuran potongan dan mencoba mengirimkan data. BigQuery Connector untuk SAP terus mengurangi ukuran potongan dan mencoba mengirim data kembali ke BigQuery, sampai data berhasil ditransfer untuk potongan tertentu atau hingga ukuran potongan mencapai 1.

Ukuran potongan akhir yang dikurangi saat transfer data berhasil, kemudian digunakan sebagai ukuran potongan untuk semua bagian yang tersisa dari bagian tersebut. Anda dapat menemukan ukuran potongan akhir yang dikurangi yang berhasil untuk setiap bagian dalam Log aplikasi Server Replikasi SAP sebagai pesan informasi:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.

Untuk bagian berikutnya dan replikasi berikutnya, BigQuery Connector untuk SAP mulai mengirimkan data ke BigQuery dengan ukuran potongan yang dikonfigurasi dalam transaksi /GOOG/SLT_SETTINGS dan terus mengurangi ukuran potongan jika potongan dinamis dipicu.

Secara default, ukuran potongan dikurangi 50% setelah setiap percobaan ulang. Jika Anda ingin mengurangi ukuran potongan dengan persentase yang lebih rendah atau lebih tinggi, ubah parameter setelan lanjutan.

Mari kita pahami dengan contoh bagaimana ukuran potongan ditentukan dalam proses replikasi saat ukuran potongan dinamis diaktifkan untuk tabel. Untuk contoh ini, ukuran bagian Server Replikasi SAP LT lebih besar dari ukuran potongan BigQuery Connector untuk SAP dan ukuran potongan 10.000 kumpulan data ditentukan dalam transaksi /GOOG/SLT_SETTINGS. BigQuery Connector untuk SAP mereplikasi sebagian ke BigQuery sebagai berikut:

  1. Saat replikasi dimulai untuk bagian yang berisi 20.000 kumpulan data, ukuran potongan untuk potongan pertama adalah 10.000 kumpulan data. Namun, jika ukuran byte untuk permintaan HTTP lebih besar dari 10 MB, BigQuery Connector untuk SAP akan mengurangi ukuran potongan sebesar 50%, dan ukuran potongan baru menjadi 5.000 kumpulan data.

  2. BigQuery Connector untuk SAP mencoba kembali mengirim ukuran potongan sebanyak 5.000 kumpulan data, tetapi jika ukuran byte untuk permintaan HTTP masih lebih besar dari 10 MB, BigQuery Connector untuk SAP akan mengurangi ukuran potongan lebih lanjut sebesar 50% dan ukuran potongan baru menjadi 2.500 kumpulan data.

  3. BigQuery Connector untuk SAP mencoba kembali mengirim ukuran potongan sebanyak 2.500 kumpulan data, sekarang jika ukuran byte untuk permintaan HTTP untuk potongan ini lebih kecil dari 10 MB, replikasi berhasil dan data dimasukkan BigQuery.

  4. Ukuran potongan untuk semua potongan berikutnya menjadi 2.500 kumpulan data asalkan ukuran byte untuk setiap permintaan HTTP kurang dari 10 MB. Jika ukuran byte permintaan HTTP untuk potongan berikutnya melebihi 10 MB, maka BigQuery Connector untuk SAP akan mengurangi ukuran potongan lagi dan mencoba mengirim data ke BigQuery, sampai data berhasil ditransfer untuk potongan tertentu. Ukuran potongan yang dikurangi hanya digunakan untuk bagian replikasi saat ini.

Performa dengan ukuran potongan dinamis

Ukuran potongan dinamis dapat memengaruhi performa replikasi ke BigQuery. Untuk setiap potongan, BigQuery Connector untuk SAP menghitung jumlah kumpulan data dalam potongan dan memeriksa ukuran byte permintaan HTTP. Jika ukuran byte lebih besar dari 10 MB, BigQuery Connector untuk SAP akan mengurangi ukuran potongan dan mencoba mengirim data ke BigQuery yang meningkatkan waktu replikasi keseluruhan.

Gunakan ukuran potongan dinamis hanya dalam situasi tertentu, ketika setelah mengonfigurasi ukuran potongan yang ideal untuk beberapa kumpulan data, ukuran permintaan dapat melebihi batas permintaan HTTP BigQuery, dan Anda tidak ingin menerima kesalahan potongan ukuran. Contoh:

  • Tabel sumber yang berisi varian besar dalam ketersebaran data dalam kolom, yaitu, untuk beberapa kumpulan data, kolom yang lebih sedikit dipertahankan, sedangkan untuk beberapa kumpulan data, banyak kolom yang dipertahankan.
  • Tabel sumber yang berisi kolom teks panjang seperti EDID4-SDATA, VARI-CLUSTID, dan REPOSRC-DATA.

Anda juga dapat menggunakan ukuran potongan dinamis selama fase pengujian untuk mengidentifikasi ukuran potongan yang ideal untuk tabel yang dapat ditentukan dalam sistem SAP produksi.

Untuk informasi selengkapnya tentang mengonfigurasi ukuran potongan, lihat:

Memindahkan setelan transfer massal ke produksi

Untuk memindahkan setelan transfer massal ke produksi, Anda harus mengekspor setelan dari sistem pengembangan terlebih dahulu, lalu mengimpornya ke dalam sistem produksi.

Anda dapat memilih untuk mengimpor tiga bagian setelan transfer massal ke dalam produksi:

  • Setelan replikasi lanjutan, yang dapat diakses menggunakan transaksi LTRS.
  • Setelan kunci klien dari tabel /GOOG/CLIENT_KEY, yang dapat diakses menggunakan transaksi SM30.
  • Setelan transfer massal BigQuery Connector untuk SAP, yang dapat diakses menggunakan transaksi /GOOG/SLT_SETTINGS.

Mengekspor setelan transfer massal dari sistem pengembangan

Dalam sistem pengembangan Server Replikasi SAP LT, ekspor setiap bagian setelan transfer massal:

  1. Ekspor setelan replikasi lanjutan:

    1. Jalankan transaksi LTRS.
    2. Pilih data transfer massal yang akan Anda pindahkan ke produksi.
    3. Dari menu drop-down File, pilih Export All Settings.
    4. Dalam dialog Export Settings, pilih tujuan dan klik Save. Setelan disimpan dalam file terkompresi dalam format CSV di workstation lokal Anda.

  2. Ekspor setelan transfer massal BigQuery Connector untuk SAP:

    1. Jalankan transaksi /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. Pada kolom Settings Table, pilih Mass Transfer.

    3. Pilih data transfer massal yang akan Anda pindahkan ke produksi.

    4. Klik Transport Mass Transfer.

    5. Pada Prompt for Workbench request, masukkan nomor permintaan transpor, lalu klik ikon Continue. Untuk setiap data transfer massal yang dipilih, setelan dari tabel konfigurasi kustom berikut disertakan dalam transpor:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    Setelan transfer massal disimpan ke permintaan transpor.

  3. Ekspor setelan kunci klien dengan menyertakan isi tabel /GOOG/CLIENT_KEY secara manual dalam permintaan transpor.

  4. Simpan file ke workstation lokal.

Mengimpor setelan transfer massal ke dalam sistem produksi

Dalam sistem produksi Server Replikasi SAP LT, impor setiap bagian setelan transfer massal:

  1. Buat konfigurasi replikasi Server Replikasi SAP LT untuk setelan transfer massal.

  2. Impor setelan replikasi lanjutan:

    1. Jalankan transaksi LTRS.
    2. Pilih transfer massal yang Anda buat pada langkah pertama.
    3. Dari menu drop-down File, pilih Import All Settings.
    4. Pada dialog Choose File, pilih file yang dikompresi dari workstation lokal, lalu klik Open. Setelan diimpor sebagai setelan untuk transfer massal.

  3. Impor permintaan transpor yang berisi setelan transfer massal.

  4. Jalankan transaksi SM30.

  5. Perbarui setelan kunci klien sesuai kebutuhan untuk lingkungan produksi.

  6. Jalankan transaksi /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Pastikan transfer massal yang benar ditampilkan di layar Mass Transfer.

  8. Di kolom Mass Transfer ID, ganti ID transfer massal dari sistem pengembangan dengan ID transfer massal dari konfigurasi replikasi yang Anda buat pada langkah pertama.

  9. Di layar setelan Tables dan Fields berikutnya, perbarui nilai lain untuk pemetaan tabel dan kolom sesuai kebutuhan untuk lingkungan produksi.

  10. Uji konfigurasi dengan memulai pemuatan atau replikasi awal. Untuk mengetahui informasi tentang memulai pemuatan awal atau replikasi, lihat:

    • Jika Server Replikasi SAP LT berjalan di VM Compute Engine, Uji replikasi.
    • Jika Server Replikasi SAP LT berjalan di host yang berada di luar Google Cloud, Uji replikasi.

Mengupdate BigQuery Connector untuk SAP

Google Cloud mengirimkan rilis baru BigQuery Connector untuk SAP sebagai transpor SAP.

Administrator SAP dapat mengupdate BigQuery Connector untuk SAP dengan mengikuti langkah-langkah berikut:

  1. Jika Anda telah menerapkan hotfix untuk replikasi tabel cluster atau menyiapkan audience default untuk autentikasi berbasis JWT, sebelum mengupdate BigQuery Connector untuk SAP ke versi 2.6, Anda harus menghapus hotfix. Untuk informasi selengkapnya tentang penghapusan hotfix, lihat halaman SAP Membuat, Mengedit, dan Menghapus Implementasi Penyempurnaan.
  2. Nonaktifkan konfigurasi di Server Replikasi SAP LT.
  3. Impor permintaan transpor SAP yang baru.
  4. Setelah memvalidasi impor dan aktivasi objek yang berhasil, aktifkan konfigurasi di Server Replikasi SAP LT.

Mengupdate gcloud CLI

Anda harus terus memperbarui Google Cloud CLI pada host Server Replikasi SAP LT.

Untuk mengetahui informasi selengkapnya tentang cara mengelola gcloud CLI, lihat Mengelola komponen gcloud CLI.

Monitoring

Anda dapat memantau beberapa titik yang berbeda di sepanjang jalur data dari sumber data SAP ke tabel BigQuery target, termasuk:

  • Infrastruktur - jaringan, hardware, dan sistem operasi
  • Lapisan database SAP
  • Lapisan aplikasi SAP
  • BigQuery Connector untuk SAP
  • BigQuery

Opsi untuk pemantauan di setiap titik ini disajikan dalam sub-bagian berikut.

Memantau infrastruktur

Di Google Cloud, Anda dapat menginstal Agen Operasional di VM host untuk pemantauan dan logging lanjutan. Agen Operasional akan mengirimkan data ke Cloud Monitoring di konsol Google Cloud.

Untuk informasi selengkapnya, lihat:

Untuk sistem yang tidak berjalan di Google Cloud, Anda juga bisa mendapatkan informasi server dengan menjalankan transaksi SAP, seperti transaksi ST06.

Memantau lapisan database

Gunakan kode transaksi SAP standar untuk memantau kondisi database.

Kode transaksi DBACOCKPIT adalah transaksi yang paling umum untuk memantau database. Transaksi ini juga menyediakan log terperinci yang dapat Anda gunakan untuk memecahkan masalah error.

Untuk SAP HANA, Anda dapat menggunakan SAP HANA Studio untuk operasi SAP HANA. Anda dapat menginstal SAP HANA Studio di mesin frontend apa pun.

Saat memecahkan masalah performa atau masalah lainnya, periksa hal-hal berikut di database sumber:

  • Pernyataan SQL yang Mahal
  • Kunci
  • Histori pemuatan
  • Indeks
  • Proses

Memantau lapisan aplikasi

Anda dapat menggunakan alat pemantauan dan pemecahan masalah aplikasi SAP guna memantau dan memecahkan masalah BigQuery Connector untuk SAP, karena berjalan di lapisan aplikasi.

Pemantauan dan pemecahan masalah aplikasi SAP dapat diklasifikasikan lebih lanjut menjadi:

  • Pemantauan dan pemecahan masalah SAP standar
  • Pemantauan dan pemecahan masalah BigQuery Connector untuk SAP

Untuk lanskap yang lebih luas, Anda dapat menggunakan Pengelola Solusi SAP sebagai alat pemantauan terpusat.

Anda dapat menggunakan kode transaksi SAP dalam daftar berikut untuk memantau dan mendiagnosis masalah pada setiap sistem aplikasi SAP:

  • Status konfigurasi SLT: LTRC
  • Error dan log SLT: LTRO dan SLG1
  • Pengelola Komunikasi Internet (Panggilan HTTP dan HTTPS): SMICM
  • Keamanan dan sertifikat: STRUST
  • Transpor SAP: STMS
  • Koneksi RFC: SM59
  • Perintah OS: SM69
  • Pemeriksaan paket: SE80
  • Pemeriksaan otorisasi: SU53
  • Tugas latar belakang: SM37
  • Log sistem: SM21

Memantau BigQuery

Menggunakan Cloud Monitoring untuk melihat metrik BigQuery serta membuat diagram dan pemberitahuan. Setiap metrik memiliki jenis resource, baik bigquery_dataset, bigquery_project, atau global, serta sekumpulan label.

Gunakan jenis dan label resource untuk membuat kueri di Monitoring Query Language (MQL).

Anda dapat mengelompokkan atau memfilter setiap metrik menggunakan label.

Untuk mengetahui informasi selengkapnya tentang Monitoring, lihat dokumentasi Cloud Monitoring.

Melihat setelan BigQuery Connector untuk SAP

Untuk melihat setelan transfer massal BigQuery Connector untuk SAP, di SAP GUI, jalankan transaksi /GOOG/SLT_SETT_DISP.

Alat Create Table

Untuk tabel sumber kosong di SAP, SAP SLT mencegah pembuatan tabel target di BigQuery. Jika perlu membuat tabel target dalam set data BigQuery untuk tabel sumber yang kosong, Anda dapat menggunakan alat Create Table.

Untuk menjalankan alat Create Table, ikuti langkah-langkah ini:

  1. Di GUI SAP, jalankan transaksi /GOOG/CREATE_BQ_TAB yang didahului oleh /n:

    /n/GOOG/CREATE_BQ_TAB

  2. Di layar Create target tables from BQ settings, berikan nilai untuk kolom berikut:

    • Kunci transfer massa: kunci transfer massa yang berisi tabel SAP.
    • Nama tabel SAP: nama tabel SAP yang perlu dibuat.

  3. Klik ikon Execute. Tabel target dibuat di set data BigQuery.

  4. Secara opsional, verifikasi di set data BigQuery apakah tabel telah dibuat dengan skema yang benar.

Alat Mass Field Conversion

Meskipun BigQuery Connector untuk SAP otomatis menyarankan jenis data BigQuery untuk sebagian besar kolom, Anda mungkin perlu memetakan kolom secara manual. Daripada menetapkan jenis data ke setiap kolom secara manual, Anda dapat menggunakan alat Mass Field Conversion guna memetakan penetapan jenis data untuk semua kolom di layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS. Alat Mass Field Conversion mengonversi semua pemetaan kolom untuk tabel menjadi jenis STRING di BigQuery.

Jika tabel sudah direplikasi atau ditambahkan untuk pemuatan awal dalam transaksi LTRC, jangan gunakan alat Mass Field Conversion untuk tabel tersebut karena dapat mengakibatkan masalah ketidakcocokan skema. Anda hanya dapat menggunakan alat ini untuk tabel SAP yang pemuatan atau replikasi awalnya belum dimulai.

Untuk menjalankan alat Mass Field Conversion, ikuti langkah-langkah berikut:

  1. Di GUI SAP, jalankan transaksi /GOOG/MASS_CNVT_FMAP yang didahului oleh /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. Di layar Mass field conversion, berikan nilai untuk kolom berikut:

    • Kunci transfer massa: kunci transfer massa yang berisi tabel SAP.
    • Nama tabel SAP: nama tabel SAP yang semua pemetaan kolomnya Anda ingin dikonversi ke jenis STRING.

  3. Klik ikon Execute. Untuk tabel yang dipilih, semua pemetaan kolom akan dikonversi menjadi jenis STRING.

Alat Load Simulation

Bagian ini menyediakan ringkasan alat Load Simulation dan tindakan yang dapat Anda lakukan dengannya.

Alat Load Simulation adalah alat dukungan bagi BigQuery Connector untuk SAP yang memungkinkan Anda menyimulasikan replikasi data SAP ke BigQuery. Alat ini adalah bagian dari transport yang disediakan Google Cloud bagi BigQuery Connector untuk SAP. Anda menggunakan alat Load Simulation untuk mereplikasi data SAP sumber ke BigQuery dengan secara langsung memanggil Add-In Bisnis (BAdI) dari BigQuery Connector untuk SAP. Karena alat Load Simulation tidak menggunakan framework SLT yang mendasarinya, pemicu SLT tidak akan terpengaruh. Jangan gunakan alat Load Simulation untuk replikasi data di lingkungan produksi.

Alat Load Simulation menyediakan laporan yang dapat Anda analisis untuk menilai performa replikasi, mengidentifikasi potensi masalah, memahami akar penyebab masalah, dan mengatasinya sebelum replikasi data SAP yang sebenarnya ke BigQuery dengan menggunakan BigQuery Connector untuk SAP.

Berikut adalah beberapa kasus penggunaan umum saat Anda dapat menggunakan alat Load Simulation:

  • Mereproduksi dan memecahkan masalah konektivitas jaringan, otorisasi, atau autentikasi.
  • Buat log yang ditingkatkan dari panggilan BigQuery API untuk memecahkan masalah.
  • Untuk mendapatkan bantuan pemecahan masalah dari Cloud Customer Care, jalankan alat Load Simulation dan berikan log kepada tim Layanan Pelanggan.
  • Ukur metrik performa dengan memberikan waktu yang dibutuhkan untuk setiap langkah dalam proses replikasi.
  • Untuk Server Replikasi SAP LT dalam arsitektur tersemat, tentukan ukuran bagian yang optimal untuk tabel SAP.

Gunakan contoh konfigurasi transfer massal dengan alat Load Simulation yang Anda buat menggunakan transaksi kustom /GOOG/SLT_SETTINGS. Jangan gunakan set data produksi dan tabel BigQuery untuk menjalankan alat Load Simulation.

Saat Server Replikasi SAP LT berada dalam arsitektur tersemat, jalankan alat Load Simulation dengan tabel SAP standar seperti MARA dan T001.

Saat Server Replikasi SAP LT berada dalam arsitektur mandiri, jalankan alat Load Simulation dengan tabel contoh /GOOG/TEST_REPL yang disediakan Google Cloud dengan BigQuery Connector untuk SAP. Alat Load Simulation tidak mendukung pembacaan tabel sumber dari sistem jarak jauh.

Untuk mengetahui informasi selengkapnya tentang arsitektur sumber data SAP di Google Cloud, lihat Arsitektur penginstalan.

Prasyarat

Sebelum menjalankan alat Load Simulation, pastikan prasyarat berikut terpenuhi:

Cara menjalankan alat Load Simulation

Untuk menjalankan alat Load Simulation, ikuti langkah-langkah berikut:

  1. Di SAP GUI, masukkan transaksi /GOOG/LOAD_SIMULATE yang didahului dengan /n:

    /n/GOOG/LOAD_SIMULATE

  2. Klik ikon Execute. Layar SLT Load Simulation akan ditampilkan.

  3. Di Processing Options, pastikan opsi Execute Simulation dipilih.

  4. Di bagian Selection Options, masukkan spesifikasi berikut:

    • Dari menu drop-down di kolom Partner Google Cloud, pilih BigQuery.

    • Pada kolom Mass Transfer Key, masukkan kunci transfer massal untuk konfigurasi transfer massal.

      Gunakan sampel konfigurasi transfer massal dengan alat Load Simulation. Jangan gunakan set data produksi dan tabel BigQuery.

    • Di kolom Table Name, masukkan nama tabel SAP sumber yang Anda berikan dalam sampel konfigurasi transfer massal.

    • Secara opsional, di kolom Where Condition, masukkan kondisi untuk pemilihan data dari tabel sumber.

      Anda dapat memasukkan hingga 255 karakter. Misalnya, jika Anda menjalankan alat Load Simulation untuk tabel SAP MARA, dan Anda harus memilih nomor material dari rentang tertentu, maka untuk Where Condition, tentukan bernilai seperti MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • Di kolom Cycle Count, masukkan jumlah siklus pemrosesan yang dijalankan oleh alat Load Simulation.

      Ini akan berguna ketika Anda perlu membandingkan bagaimana laporan simulasi muncul dalam beberapa siklus. Nilai harus lebih besar dari 1.

    • Di kolom Record Count per cycle, masukkan jumlah data yang ingin Anda kirim ke BigQuery dalam setiap siklus pemrosesan. Nilai harus lebih besar dari 1.

    • Di kolom Portion size, masukkan jumlah kumpulan data dari Records Count per cycle yang dikirim Server Replikasi SAP LT ke BAdI BigQuery Connector untuk SAP di setiap bagian.

    • Pilih satu atau beberapa tanda yang sesuai:

      • Exact Records Count: Menunjukkan bahwa jumlah kumpulan data yang sama persis yang diberikan di kolom Record Count per cycle dikirim ke BigQuery pada setiap siklus pemrosesan. Jika tabel tidak memiliki cukup kumpulan data, alat Load Simulation akan menduplikasi data yang ada untuk mencapai jumlah yang diperlukan. Kumpulan data diduplikasi hanya untuk menyisipkan data ke dalam BigQuery, bukan untuk menyisipkan data dalam tabel sumber.

      • Use SLT Target Structure: Menggunakan struktur tabel logging SLT untuk mendapatkan kolom tabel sumber. Jika flag ini tidak ditetapkan, kolom akan dibaca langsung dari tabel sumber untuk membuat struktur target. Untuk informasi selengkapnya tentang aliran data Server Replikasi SAP LT, lihat Tampilan arsitektur mendetail tentang aliran data.

      • Log Detail: Menunjukkan bahwa data log dibuat untuk semua metode yang ditentukan dalam BigQuery Connector untuk SAP. Jika flag ini tidak ditetapkan, hanya metode penting yang dicatat ke dalam log.

      • ClearPrevious Results: Menghapus data log yang dibuat sebelumnya untuk transfer massal dan tabel SAP yang sama. Jika flag ini tidak ditetapkan, log akan ditambahkan ke hasil sebelumnya.

  5. Untuk menjalankan alat Load Simulation, klik ikon Execute.

  6. Setelah simulasi pemuatan selesai, di bagian Processing Options, pilih tombol pilihan Display Report.

  7. Di bagian Selection Options, masukkan spesifikasi berikut:

    • Dari menu drop-down di kolom Partner Google Cloud, pilih BigQuery.
    • Di kolom Mass Transfer Key, masukkan kunci transfer massal untuk konfigurasi transfer massal sampel.
    • Di kolom Table Name, masukkan nama tabel SAP sumber.
    • Atau, untuk melihat laporan berdasarkan tanggal eksekusi simulasi pemuatan, tentukan rentang tanggal di kolom Report Date.
    • Secara opsional, untuk melihat laporan yang terakhir dieksekusi bersama dengan laporan saat ini, pilih flag Last Execution Only.

  8. Untuk menampilkan laporan, klik ikon Execute.

Tabel berikut menjelaskan kolom yang ditampilkan dalam laporan simulasi:

Nama Deskripsi
Kunci Transfer Kunci transfer massal untuk konfigurasi transfer massal.
Tabel SAP Nama tabel SAP yang direplikasi ke BigQuery.
Stempel Waktu Mulai Eksekusi Waktu ketika eksekusi dimulai untuk metode BigQuery Connector untuk SAP.
Stempel Waktu Penyelesaian Waktu ketika eksekusi selesai untuk metode BigQuery Connector untuk SAP.
Nomor Tugas Nomor tugas unik untuk setiap eksekusi yang telah selesai, yang otomatis dihasilkan setiap kali alat Load Simulation dijalankan.
Nomor Siklus Nomor urut siklus pemrosesan tempat laporan dibuat. Jumlah Catatan per siklus yang diberikan dalam input simulasi ditransfer ke BigQuery untuk setiap siklus.
Nomor Bagian Nomor urut bagian. Jumlah Kumpulan Data per siklus yang diberikan dalam input simulasi dibagi menjadi beberapa bagian berdasarkan ukuran bagian yang ditentukan. BAdI BigQuery Connector untuk SAP dipanggil untuk setiap bagian.
Nama Class Nama class metode BigQuery Connector untuk SAP.
Nama Metode Nama metode BigQuery Connector untuk SAP. Metode yang dipanggil oleh BigQuery Connector untuk SAP dicatat ke dalam log secara berurutan. Jika flag Detailed Log dipilih pada input simulasi, semua metode akan dicatat ke dalam log, atau hanya metode penting yang akan dicatat ke dalam log.
Dipanggil oleh Metode Metode terakhir yang memanggil metode BigQuery Connector untuk SAP saat ini.
Durasi Total waktu yang dibutuhkan untuk menjalankan metode BigQuery Connector untuk SAP.
Jumlah Kumpulan Data Jumlah kumpulan data yang diteruskan ke metode BigQuery Connector untuk SAP. Hal ini hanya ditampilkan untuk metode yang digunakan untuk meneruskan data.
Metode URI Nama metode HTTP, jika metode ABAP membuat panggilan BigQuery API.
String URI URL HTTP, jika metode ABAP melakukan panggilan BigQuery API.
Sumber Token Sumber token autentikasi yang digunakan alat Load Simulation. Hal ini hanya berlaku jika penyimpanan token ke dalam cache diaktifkan dalam tabel /GOOG/CLIENT_KEY. Nilai yang memungkinkan adalah:
  • A: Nilai atribut statis dari proses tertentu.
  • M: Nilai memori bersama dari memori yang digunakan bersama di beberapa proses.
  • L: Nilai baru dengan kunci memori. Jika ada penguncian memori dan token yang di-cache tidak dapat dibaca, token baru akan dibuat.
  • N: Nilai baru tanpa kunci memori. Jika masa berlaku token habis atau tidak ditemukan dalam memori, token baru akan dibuat.
Waktu Habis Masa Berlaku Waktu habis masa berlaku token autentikasi.
Hal ini hanya berlaku jika penyimpanan token ke dalam cache diaktifkan dalam tabel /GOOG/CLIENT_KEY.
Nilai Token Nilai token autentikasi yang digunakan alat Load Simulation untuk mengakses BigQuery.
Kode return Kode yang ditampilkan dari eksekusi metode. Nilai yang memungkinkan adalah:
Teks Error Judul error, jika ada.
Deskripsi Error Informasi mendetail tentang error.
Ukuran payload Ukuran payload HTTP ke BigQuery Insert API. Jika terjadi error dalam eksekusi metode dan ukuran payload lebih besar dari 10 MB, Anda dapat menyesuaikan ukuran potongan untuk mengurangi ukuran payload.
Teks informasi Pesan informasi relevan yang disampaikan oleh BAdI BigQuery Connector untuk SAP. Misalnya, saat pemotongan dinamis dipicu, pesan informasi berikut akan ditampilkan: Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Status Status eksekusi metode. Jika eksekusi metode gagal, baca Panduan pemecahan masalah BigQuery Connector untuk SAP untuk menyelesaikan masalah.

Penjadwalan alat Load Simulation

Anda dapat menjadwalkan alat Load Simulation untuk berjalan secara otomatis sebagai tugas latar belakang di Server Replikasi SAP LT menggunakan nama program /GOOG/R_LOAD_SIMULATION. Untuk informasi selengkapnya dari SAP tentang menjadwalkan tugas latar belakang, lihat Menjadwalkan Tugas Latar Belakang.

Validasi replikasi

Jika Anda memilih Extra Fields Flag saat membuat tabel BigQuery target dengan /GOOG/SLT_SETTINGS transaksi, kolom akan ditambahkan ke skema tabel untuk menyimpan jenis perubahan ke setiap data yang memicu replikasi dan untuk stempel waktu yang mencerminkan waktu saat Server Replikasi SAP LT menerima bagian yang berisi data.

Anda dapat menggunakan jenis perubahan dan stempel waktu untuk membuat kueri jenis jumlah kumpulan data berikut:

  • Jumlah kumpulan data yang dimuat ke dalam tabel BigQuery selama pemuatan awal.
  • Jumlah kumpulan data yang direplikasi pada hari tertentu ke dalam tabel BigQuery.
  • Total jumlah kumpulan data unik dalam tabel BigQuery.

Untuk mendapatkan jumlah ini, Anda dapat membuat kueri tabel BigQuery secara langsung dengan mengirimkan kueri SQL di konsol Google Cloud, atau menjalankan alat Validasi Replikasi, yang menghasilkan laporan yang membandingkan jumlah kumpulan data BigQuery dengan Statistik Server Replikasi SAP LT atau jumlah kumpulan data dari tabel sumber.

Untuk ringkasan tentang Extra Fields Flag, lihat Kolom tambahan untuk perubahan kumpulan data dan kueri jumlah.

Untuk informasi tentang cara menentukan Extra Fields Flag, lihat:

Kueri SQL untuk kumpulan data

Pada halaman Editor SQL BigQuery di konsol Google Cloud, Anda dapat menjalankan kueri SQL untuk memeriksa jumlah kumpulan data dalam tabel BigQuery.

Anda kemudian dapat membandingkan jumlah kumpulan data BigQuery dengan jumlah dalam tabel sumber atau dalam statistik Server Replikasi SAP LT.

Membuat kueri jumlah data yang disisipkan dalam mode pemuatan awal

Jika skema tabel BigQuery menyertakan kolom operation_flag yang opsional, data yang dimasukkan ke dalam tabel dalam mode pemuatan awal akan menyertakan flag operasi L.

Untuk mendapatkan jumlah data yang diterima BigQuery selama pemuatan awal, jalankan kueri berikut:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Membuat kueri jumlah data yang disisipkan dalam mode replikasi

Jika skema tabel BigQuery menyertakan kolom operation_flag yang opsional, data yang dimasukkan ke dalam tabel dalam mode replikasi akan menyertakan salah satu flag operasi berikut:

  • I: data dimasukkan ke tabel sumber.
  • D: data telah dihapus dari tabel sumber.
  • U: data telah diperbarui di tabel sumber.

Untuk mendapatkan jumlah data yang diterima BigQuery dalam mode replikasi, jalankan kueri berikut:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Membuat kueri total jumlah data dalam tabel BigQuery

Jika skema tabel BigQuery menyertakan kolom recordstamp yang opsional, kolom recordstamp yang sesuai dari setiap data yang dimasukkan ke dalam tabel akan berisi stempel waktu yang menunjukkan waktu pengiriman data yang dilakukan oleh Server Replikasi SAP LT ke BigQuery.

Untuk mendapatkan jumlah total data dalam tabel BigQuery yang dapat dibandingkan dengan jumlah total data dalam tabel sumber, Anda dapat menggunakan kolom recordstamp dan is_deleted untuk menghitung data yang unik di tabel BigQuery yang belum dihapus dari tabel sumber.

Jika tabel sumber diperbarui secara aktif atau replikasi bersifat aktif saat Anda membuat kueri data, jumlah data dalam tabel sumber dan target mungkin tidak sama persis.

Untuk mendapatkan jumlah data unik saat ini dalam tabel target BigQuery, jalankan kueri berikut:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Alat Validasi Replikasi

Bagian ini menyediakan ringkasan alat Validasi Replikasi dan tindakan yang dapat Anda lakukan dengannya.

Alat Validasi Replikasi menghasilkan laporan yang membandingkan jumlah data di tabel BigQuery dengan statistik Server Replikasi SAP LT dan jumlah data dalam tabel sumber. Jika jumlahnya tidak sama persis, alat ini akan menandai laporan dengan lingkaran merah.

Untuk menghitung data di BigQuery, alat ini menggunakan kueri SQL yang ditunjukkan di bagian sebelumnya, yaitu Kueri SQL untuk jumlah data.

Jalankan alat Validasi Replikasi secara berkala untuk memvalidasi bahwa Server Replikasi SAP LT dan BigQuery Connector untuk SAP mereplikasi data ke BigQuery seperti yang diharapkan.

Untuk menjalankan alat Validasi Replikasi, masukkan transaksi kustom /GOOG/REPLIC_VALID yang didahului dengan /n di SAP GUI. Untuk mengetahui petunjuk langkah demi langkah, lihat:

Laporan validasi replikasi

Anda dapat membuat laporan validasi berikut dengan alat Validasi Replikasi:

  • Jumlah Pemuatan Awal: Perbandingan jumlah data yang dikirim oleh Server Replikasi SAP LT dalam mode pemuatan dan jumlah data yang dimuat ke BigQuery.
  • Jumlah Replikasi: Perbandingan jumlah data yang dikirim oleh Server Replikasi SAP LT dalam mode replikasi dan jumlah data yang dimasukkan ke BigQuery pada hari tertentu.
  • Current Counts: Perbandingan point-in-time dari jumlah kumpulan data yang ada dalam tabel sumber dan jumlah kumpulan data unik di BigQuery. Jumlah saat ini pada tabel sumber tidak dapat menampilkan angka yang lebih besar dari batas bilangan bulat 32-bit (-2.147.483.648 hingga 2.147.483.647).

Anda dapat membuat setiap laporan satu per satu, atau dengan memilih Semua Pemeriksaan saat menjalankan alat ini, Anda dapat membuat ketiga laporan dalam satu eksekusi. Dengan kolom Table Names, Anda dapat membuat laporan validasi replikasi untuk tabel tertentu dalam konfigurasi transfer massa.

Menampilkan laporan Validasi Replikasi

Setelah membuat laporan, Anda dapat menampilkan laporan dengan memilih tombol pilihan Display Report di bagian Processing Options pada antarmuka alat Validasi Replikasi.

Informasi yang ditampilkan alat Validasi Replikasi di setiap laporan sedikit berbeda bergantung pada jenis laporan.

Semua laporan menyertakan jenis informasi berikut:

  • Jumlah data sumber dihitung dari statistik Server Replikasi SAP LT dan tabel sumber.
  • Jumlah data target dari tabel BigQuery target.
  • Perbedaan apa pun di antara keduanya akan dihitung. Perbedaannya dihitung dengan mengurangi jumlah BigQuery dari jumlah data sumber. Nilai positif mengindikasikan adanya kemungkinan masalah, karena nilai tersebut menunjukkan bahwa tidak semua data sumber berhasil dimasukkan ke BigQuery.
  • Perbedaan jumlah yang ditampilkan sebagai persentase jumlah data sumber.
  • Indikator visual apakah jumlah sumber dan target sama atau berbeda.

Jumlah data tidak sama

Alat Validasi Replikasi menyertakan kolom status dengan setiap laporan yang ditampilkan.

Kotak hijau di kolom status berarti jumlah data sumber sama dengan jumlah data target di BigQuery.

Lingkaran merah di kolom status berarti jumlah data tidak sama.

Jumlah data yang berbeda tidak selalu mengindikasikan adanya masalah. Indikator berikut menunjukkan kemungkinan adanya masalah:

  • Untuk laporan Jumlah Saat Ini, nilai yang tidak setara selalu mengindikasikan adanya masalah.

  • Untuk laporan Jumlah Pemuatan Awal atau Jumlah Replikasi, nilai positif mengindikasikan kemungkinan adanya masalah.

    Nilai negatif yang relatif rendah tidak mengindikasikan adanya masalah. Jumlah dalam tabel BigQuery target terkadang dapat sedikit lebih tinggi daripada jumlah data sumber karena beberapa peristiwa seperti gangguan konektivitas sementara yang menyebabkan Server Replikasi SAP LT mengirim ulang data.

Jika Anda melihat jumlah yang tidak sama, jalankan kembali laporan untuk memastikan bahwa perbedaan tidak disebabkan oleh masalah sementara. Jumlah data yang tidak sama dapat terjadi karena pemrosesan replikasi pada saat alat membuat laporan.

Untuk tabel sumber yang sangat besar atau tabel yang memiliki filter yang ditetapkan di Server Replikasi SAP LT untuk pemuatan atau replikasi awal, alat Validasi Replikasi mungkin tidak dapat menghitung semua data yang diperlukan untuk jumlah yang sama.

Menjadwalkan pemeriksaan validasi

Anda dapat menjadwalkan alat Validasi Replikasi untuk berjalan secara otomatis pada interval menggunakan fitur tugas latar belakang SAP.

Mengedit peta kolom BigQuery dalam file CSV

Bagian berikut menjelaskan cara mengekspor pemetaan kolom default, sehingga data engineer atau administrator BigQuery dapat mengedit nilai kolom target tanpa memerlukan akses ke Server Replikasi SAP LT.

Membuat spreadsheet atau file teks pemetaan kolom default

Untuk membuat file CSV guna melakukan pengeditan di luar Server Replikasi SAP LT:

  1. Jalankan transaksi /GOOG/SLT_SETTINGS.

  2. Di layar SLT Settings Maintenance, tentukan nilai berikut:

    • Di kolom Settings Table, tentukan Fields.
    • Di kolom Mass Transfer Key, tentukan ID transfer massal yang ingin diperbarui.
    • Di kolom Table Name, biarkan kolom kosong agar dapat digunakan dengan semua kolom dari semua tabel atau tentukan nama tabel agar dapat digunakan dengan tabel tertentu.
    • Biarkan kolom lain kosong.

  3. Klik ikon Jalankan. Layar BigQuery Settings Maintenance - Fields akan ditampilkan.

  4. Di layar BigQuery Settings Maintenance - Fields, sembunyikan semua kolom kecuali yang ada dalam daftar berikut dengan mengklik kanan judul kolom dan memilih Hide dari menu drop-down:

    • Nama Tabel SAP
    • Nama Kolom SAP
    • Elemen Data Eksternal
    • Nama Kolom Eksternal
    • Deskripsi Kolom

  5. Dengan lima kolom yang tersisa ditampilkan, klik ikon Export.

  6. Dari menu Export, pilih salah satu opsi berikut:

    • Spreadsheet
    • File lokal. Untuk memudahkan konversi konten file ke format CSV, sebaiknya simpan file dalam format Teks dengan tab.

  7. Simpan pemetaan kolom default dengan mengklik ikon Tanda Centang.

Mengonversi spreadsheet atau file teks ke format CSV

Untuk mengupload pemetaan kolom yang diedit menggunakan transaksi kustom /GOOG/SLT_SETTINGS, pemetaan kolom harus dalam format CSV.

Jika Anda menggunakan spreadsheet, simpan spreadsheet sebagai file CSV sebelum mengupload file tersebut.

Jika menggunakan file lokal dalam format yang dipisahkan tab atau format lainnya, Anda harus mengubah file agar sesuai dengan format CSV.

Contoh:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Mengupload file CSV

Untuk mengupload file CSV yang telah diedit:

  1. Jalankan transaksi /GOOG/SLT_SETTINGS.

  2. Di layar SLT Settings Maintenance, tentukan nilai berikut:

    • Di kolom Settings Table, tentukan Fields.
    • Di kolom Mass Transfer Key, tentukan ID transfer massal yang ingin diperbarui.
    • Centang kotak Upload from file.

  3. Klik ikon Jalankan. Dialog Select File to Upload akan terbuka.

  4. Dalam dialog Select File to Upload, pilih file CSV yang berisi nilai kolom yang diedit.

  5. Klik Open.

  6. Jika Anda menerima peringatan keamanan, klik Allow. File dimuat dan nilai yang diubah dalam file akan muncul pada baris yang berlaku di layar BigQuery Settings Maintenance - Fields.

  7. Klik ikon Save.

  8. Untuk mengonfirmasi bahwa nilai tersebut diterapkan, bandingkan nilai dalam file CSV dengan nilai yang ditampilkan oleh Server Replikasi SAP LT.

Menangani error dalam data sumber

Setelah menerima sejumlah data dari BigQuery Connector untuk SAP, BigQuery streaming API akan memeriksa error data sebelum memasukkan data apa pun ke dalam tabel BigQuery.

Anda dapat mengontrol respons BigQuery API dan BigQuery Connector untuk SAP ketika ditemukan adanya error data dengan menentukan flag berikut di setelan transfer massal:

  • Flag Skip Invalid Records (SKIP)
  • Flag Break at First Error Flag (BREAK)

Flag SKIP

Jika Anda menentukan flag SKIP, saat BigQuery API menerima sejumlah data dan menemukan data yang berisikan error, BigQuery API akan menghapus, atau melewati, data yang berisi error tersebut dan terus memasukkan semua data lain dari kumpulan tersebut ke dalam tabel BigQuery.

Jika flag SKIP tidak ditetapkan, saat BigQuery menemukan data yang berisikan error, BigQuery akan menghapus seluruh bagian tanpa memasukkan data apa pun dari data tersebut ke tabel BigQuery. Ini adalah perilaku default.

Menentukan flag SKIP merupakan pilihan terbaik untuk lingkungan pengembangan dan QA, dan tidak direkomendasikan untuk lingkungan produksi.

Anda dapat menentukan flag SKIP dalam transaksi /GOOG/SLT_SETTINGS saat mengonfigurasi replikasi. Spesifikasi disimpan di tabel konfigurasi /GOOG/BQ_MASTR.

Untuk melihat cara spesifikasi SKIP berinteraksi dengan spesifikasi BREAK, lihat Tabel matriks untuk interaksi SKIP dan BREAK.

Flag BREAK

Jika Anda menentukan flag BREAK, BigQuery Connector untuk SAP akan berhenti mengirim data ke BigQuery dan menghentikan tugas replikasi saat BigQuery Connector untuk SAP menerima notifikasi dari BigQuery API bahwa ditemukan error data dalam kumpulan data

Jika flag BREAK tidak ditetapkan, BigQuery Connector untuk SAP akan melanjutkan pengiriman data ke BigQuery dengan mengirim kumpulan berikutnya dan tugas replikasi berlanjut, saat BigQuery Connector untuk SAP menerima notifikasi dari BigQuery bahwa ditemukan error data dalam kumpulan data. Ini adalah perilaku default.

Sebaiknya tentukan flag BREAK di lingkungan produksi.

Anda dapat menentukan flag BREAK dalam transaksi //GOOG/SLT_SETTINGS saat mengonfigurasi replikasi. Saat Anda membuat kunci transfer massal baru, tanda BREAK diaktifkan secara default.

Spesifikasi disimpan di tabel konfigurasi /GOOG/BQ_MASTR.

Untuk melihat cara spesifikasi BREAK berinteraksi dengan spesifikasi SKIP, lihat Tabel matriks untuk interaksi SKIP dan BREAK.

Tabel matriks untuk interaksi SKIP dan BREAK

Anda dapat mengonfigurasi BigQuery Connector untuk SAP guna menangani error data dengan cara berikut:

Flag SKIP Flag BREAK Perilaku
FALSE TRUE

BigQuery menghapus kumpulan data saat ini tanpa memasukkan data apa pun dari kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP tidak lagi mengirimkan kumpulan data dari bagian saat ini dan memberi tahu Server Replikasi SAP LT untuk menghentikan tugas replikasi.

Ini adalah setelan yang disarankan.

FALSE FALSE

BigQuery menghapus kumpulan data saat ini tanpa memasukkan data apa pun dari kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP mengirimkan kumpulan data yang tersisa dari bagian saat ini dan mengambil bagian berikutnya. BigQuery Connector untuk SAP tidak memberi tahu Replikasi Server SAP LT untuk menghentikan tugas replikasi.

Ini adalah setelan defaultnya.

TRUE TRUE

BigQuery hanya akan menghapus data yang berisi error dan memasukkan sisa data dalam kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP tidak lagi mengirimkan kumpulan data dari bagian saat ini dan memberi tahu Server Replikasi SAP LT untuk menghentikan tugas replikasi.

TRUE FALSE

BigQuery hanya akan menghapus data yang berisi error dan memasukkan sisa data dalam kumpulan saat ini ke dalam tabel BigQuery.

BigQuery Connector untuk SAP mengirimkan kumpulan data yang tersisa dari bagian saat ini dan mengambil bagian berikutnya. BigQuery Connector untuk SAP tidak memberi tahu Replikasi Server SAP LT untuk menghentikan tugas replikasi.

Perubahan struktur tabel

Bagian ini menjelaskan cara mengubah struktur tabel sumber SAP, dengan replikasi LTRC yang ada sedang berlangsung.

Menambahkan kolom ke tabel sumber

Untuk menambahkan kolom baru ke tabel sumber, ikuti langkah-langkah berikut:

  1. Tambahkan kolom baru ke tabel sumber. Setelah langkah ini berhasil, status replikasi berubah menjadi Load/Replication blocked.

  2. Di sistem SLT Anda, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP tentang cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT berada dalam status 'Pemuatan/Replikasi diblokir'.

  3. Menambahkan, memperbarui, atau menghapus entri di tabel sumber.

  4. Validasi hasil replikasi di BigQuery.

Menghapus kolom dari tabel sumber

Untuk menghapus kolom yang ada dari tabel sumber, ikuti langkah-langkah berikut:

  1. Di sistem SLT Anda, tangguhkan replikasi menggunakan transaksi LTRC.

  2. Menghapus kolom dari tabel sumber. Setelah langkah ini berhasil, pemicu SLT yang ada akan dihapus atau diubah ke status yang tidak konsisten.

  3. Di BigQuery, hapus kolom dari tabel BigQuery target. Untuk mengetahui informasi lebih lanjut tentang langkah-langkah menghapus kolom dari tabel yang ada, baca dokumentasi BigQuery.

  4. Di sistem SLT Anda, lanjutkan replikasi menggunakan transaksi LTRC.

  5. Di sistem SLT Anda, buat ulang pemicu SLT. Untuk mengetahui informasi selengkapnya dari SAP tentang cara membuat ulang pemicu SLT, lihat SAP Note 2254376 - pemicu SLT dalam status tidak konsisten.

  6. Jika status replikasi adalah Load /Replication blocked, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP terkait cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT dalam status 'Pemuatan/Replikasi diblokir'.

  7. Hapus log, jika ada.

  8. Menambahkan, memperbarui, atau menghapus entri di tabel sumber.

  9. Validasi hasil replikasi di BigQuery.

Mengubah tipe data dari kolom yang ada

Saat mengubah jenis data kolom yang ada di tabel sumber SAP, Anda harus mengikuti langkah-langkah tertentu, tergantung pada apakah Anda mengubah jenis data ke jenis data yang kompatibel atau tidak dengan tabel target BigQuery.

Jenis data bersifat kompatibel dengan jenis data dalam tabel BigQuery target jika jenis data yang ada dan jenis data baru dari kolom yang ada dipetakan ke jenis data yang sama dalam tabel BigQuery target. Misalnya, jika jenis data kolom diubah dari INT1 menjadi INT2 dalam tabel sumber, kedua jenis data tersebut bersifat kompatibel dengan jenis data INTEGER di tabel BigQuery target.

Untuk mengetahui informasi selengkapnya tentang pemetaan jenis data di BigQuery Connector untuk SAP, lihat Pemetaan jenis data.

Mengubah jenis data ke jenis data yang kompatibel

Untuk mengubah jenis data kolom yang ada ke jenis data yang kompatibel, ikuti langkah-langkah berikut:

  1. Ubah jenis data ke jenis data yang kompatibel di sistem sumber. Setelah langkah ini berhasil, pemicu SLT yang ada akan dihapus atau diubah ke status yang tidak konsisten.

  2. Di sistem SLT Anda, buat ulang pemicu SLT. Untuk mengetahui informasi selengkapnya dari SAP tentang cara membuat ulang pemicu SLT, lihat SAP Note 2254376 - pemicu SLT dalam status tidak konsisten.

  3. Jika status replikasi adalah Load /Replication blocked, reset status replikasi menggunakan transaksi LTRC. Untuk mengetahui informasi selengkapnya dari SAP terkait cara mereset status replikasi, lihat SAP Note 2204955 - Tabel SLT dalam status 'Pemuatan/Replikasi diblokir'.

  4. Hapus log, jika ada.

  5. Menambahkan, memperbarui, atau menghapus entri di tabel sumber.

  6. Validasi hasil replikasi di BigQuery.

Mengubah jenis data menjadi jenis data yang tidak kompatibel

Untuk mengubah jenis data kolom yang ada ke jenis data yang tidak kompatibel, ikuti langkah-langkah berikut:

  1. Dalam sistem SLT Anda, hentikan replikasi menggunakan transaksi LTRC.
  2. Di BigQuery, hapus tabel target.
  3. Ubah jenis data di sistem sumber.
  4. Di sistem SLT Anda, mulai replikasi menggunakan transaksi LTRC.

Untuk mengetahui informasi selengkapnya tentang perubahan struktur tabel, lihat BigQuery Connector untuk SAP: Menangani perubahan struktur tabel seperti seorang profesional.

Keluar dari peningkatan

BigQuery Connector untuk SAP menyediakan beberapa titik peningkatan kualitas dalam kodenya tempat developer ABAP dapat menyisipkan kode untuk menambahkan fitur kustom.

Tabel berikut mencantumkan fungsi yang didukung titik peningkatan, metode, dan class yang berisi titik peningkatan.

Fungsi Class Metode Spot Opsi
Perbarui pemetaan untuk kolom, seperti nama kolom eksternal, jenis data, dan sebagainya. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Perbarui pemetaan untuk tabel kolom dengan menambahkan atau menghapus kolom. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Ubah nilai kolom sumber sebelum kolom dikonversi ke kolom target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Setelah kolom sumber dikonversi ke kolom target dalam tabel target, ubah nilai kolom target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Tambahkan kolom ke tabel target yang tidak ada di tabel sumber selama proses konversi tabel sumber ke target. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Siapkan kolom skema BigQuery sebelum tabel BigQuery dibuat. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
Jika terjadi error HTTP, kumpulkan data logging setelah panggilan HTTP ke BigQuery API, untuk memecahkan masalah tersebut. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR

Setelan lanjutan

Jika ingin, Anda dapat mengubah setelan lanjutan untuk BigQuery Connector untuk SAP. Google Cloud merekomendasikan agar Anda mengubah parameter setelan lanjutan hanya setelah melakukan analisis yang komprehensif dan dampak nilai baru terhadap performa. Anda bertanggung jawab untuk memastikan bahwa setelan lanjutan baru untuk BigQuery Connector untuk SAP tidak menyebabkan kegagalan dan masalah performa.

Setelan lanjutan untuk BigQuery Connector untuk SAP diterapkan pada level sistem dan umum untuk semua kunci transfer massal. Jika parameter setelan lanjutan tidak diubah, BigQuery Connector untuk SAP akan berfungsi dengan setelan default.

Untuk mengubah parameter setelan lanjutan, selesaikan langkah-langkah berikut:

  1. Di SAP GUI, masukkan transaksi /GOOG/SLT_SETTINGS yang didahului dengan /n:

    /n/GOOG/SLT_SETTINGS

  2. Dari menu drop-down Settings Table di layar peluncuran untuk transaksi /GOOG/SLT_SETTINGS, pilih Parameter.

  3. Klik ikon Execute. Layar BigQuery Settings Maintenance - Parameters akan ditampilkan.

  4. Klik ikon Insert Row.

  5. Di baris yang ditampilkan, tentukan setelan berikut:

    1. Di kolom Parameter Name, masukkan nama parameter. Deskripsi parameter diisi secara otomatis.

    2. Di kolom Parameter Value, masukkan nilai.

      Untuk mengetahui parameter Setelan lanjutan, lihat Parameter setelan lanjutan.

  6. Klik Save.

    Pengaturan lanjutan Anda disimpan sebagai catatan di tabel konfigurasi /GOOG/BQ_PARAM dan kolom Changed By dan Changed On , dan Changed At diisi secara otomatis.

Parameter setelan lanjutan

Tabel berikut menunjukkan parameter setelan lanjutan untuk BigQuery Connector untuk SAP.

Nama parameter Deskripsi Nilai default Nilai yang valid
CHUNK_SIZE_DEF Ini adalah ukuran potongan default yang didukung oleh BigQuery Connector untuk SAP.
Jika ukuran potongan tidak dipertahankan dalam setelan, ukuran potongan default akan digunakan.		 10.000 Nilai harus berada dalam batas Kuota BigQuery.
PERC_REDUC_DEF Pengurangan persentase ukuran potongan.
Jika ukuran potongan dinamis diaktifkan, ukuran potongan akan dikurangi persentase ini hingga ukuran potongan yang ideal tercapai dan data dalam potongan berhasil ditransfer ke BigQuery.		 50 Nilai harus dari 1 hingga 99.
CMD_EXEC_TRIES Untuk sistem SAP yang tidak berjalan di Google Cloud, jika perintah sistem operasi yang Anda buat dalam transaksi SM69 gagal mengambil token akses dari Google Cloud, maka ini adalah frekuensi saat BigQuery Connector untuk SAP mencoba kembali pengambilan token. 5 Nilai minimum yang dapat Anda tetapkan ke parameter ini adalah 1. Untuk memfasilitasi setidaknya satu percobaan ulang, tetapkan nilai 2. Nilai maksimum untuk parameter ini harus ditetapkan setelah menganalisis dampak dari percobaan ulang pengambilan token terhadap performa replikasi.
CMD_SECS_DEFLT Jika Anda telah mengaktifkan penyimpanan token ke dalam cache, nilai ini adalah durasi dalam detik yang menunjukkan bahwa setelahnya masa berlaku token yang di-cache akan berakhir. 3500 Nilai harus dari 1 hingga 3599.