Panduan perencanaan ini memberi administrator SAP dan Google Cloud informasi yang diperlukan untuk merencanakan replikasi data SAP ke BigQuery menggunakan BigQuery Connector untuk SAP versi 2.8 (terbaru) dengan Server Replikasi SAP LT.
BigQuery Connector untuk SAP diinstal ke Server Replikasi Transformasi Lanskap SAP (Server Replikasi SAP LT) dan memungkinkan replikasi data SAP yang mendekati real-time langsung ke BigQuery.
Dengan data di BigQuery, Anda dapat menjalankan analytics real time dengan kecerdasan buatan atau machine learning pada data aplikasi SAP secara langsung. Di BigQuery, Anda juga dapat mengintegrasikan data SAP dengan data dari sumber lain.
Panduan ini mencakup topik berikut:
- Ringkasan BigQuery Connector untuk SAP
- Arsitektur penginstalan
- Persyaratan software
- Keamanan
- Jaringan
- Perencanaan performa
- Opsi pemetaan tabel dan kolom
- Siklus proses dukungan
Guna mengetahui petunjuk langkah demi langkah untuk menginstal dan mengonfigurasi replikasi Server Replikasi SAP LT dengan BigQuery Connector untuk SAP, baca panduan konfigurasi dan penginstalan BigQuery Connector untuk SAP.
Untuk mengetahui informasi tentang BigQuery, lihat Apa itu BigQuery?.
Untuk informasi tentang akselerator solusi untuk pemodelan data SAP di BigQuery, lihat Google Cloud Cortex Framework.
Ringkasan BigQuery Connector untuk SAP
BigQuery Connector untuk SAP menggunakan antarmuka dan kemampuan standar Server Replikasi Transformasi Lanskap SAP serta mendukung semua sumber data yang didukung oleh Server Replikasi SAP LT.
BigQuery Connector untuk SAP disediakan oleh Google Cloud dalam bentuk file transport yang Anda instal ke Server Replikasi SAP LT.
Download paket penginstalan yang berisi file transport sebelum Anda mulai menginstal BigQuery Connector untuk SAP. Meskipun BigQuery Connector untuk SAP ditawarkan tanpa biaya, Anda tetap memerlukan akun Penagihan Cloud untuk menerima paket penginstalan. Untuk mengetahui informasi selengkapnya, lihat Mendownload paket penginstalan.
BigQuery Connector untuk SAP adalah penerapan Google Cloud terhadap Business Add In (BAdI) SAP untuk Server Replikasi SAP LT. BigQuery Connector untuk SAP dikembangkan oleh Google Cloud dengan mengikuti proses SDK Server Replikasi SAP LT.
BigQuery Connector untuk SAP memanfaatkan fitur pengambilan data perubahan Server Replikasi SAP LT.
Pemrosesan data
BigQuery Connector untuk SAP mengirimkan kumpulan data SAP langsung ke BigQuery dari Server Replikasi SAP LT tanpa alat atau lapisan integrasi data perantara.
Setelah menerima kumpulan data, BigQuery akan menambahkannya ke tabel dengan mode hanya sisipkan. Jika BigQuery menerima pembaruan pada kumpulan data yang sudah ada dalam tabel BigQuery, BigQuery akan memasukkan instance kumpulan data baru ke dalam tabel tersebut tanpa mengubah instance yang ada. Instance kumpulan data yang baru saja dimasukkan mencerminkan status kumpulan data saat ini dalam tabel sumber.
BigQuery Connector untuk SAP hanya memungkinkan transformasi data yang minimal, sesuai dengan model extract, load, transform (ELT), bukan model extract, transform, load (ETL). Untuk mengetahui informasi selengkapnya tentang model ini, lihat Prosedur dan pola untuk pipeline data.
BigQuery Connector untuk SAP otomatis menyarankan kolom, nama kolom, dan jenis data untuk tabel target berdasarkan data sumber. Sebelum tabel BigQuery target dibuat, Anda dapat mengubah nilai yang disarankan sesuai kebutuhan.
Nama yang disarankan untuk kolom target didasarkan pada deskripsi kolom dalam tabel sumber. Untuk mengetahui informasi selengkapnya, lihat Opsi penamaan default untuk kolom.
Meskipun BigQuery Connector untuk SAP otomatis menyarankan jenis data BigQuery untuk sebagian besar kolom, nilai boolean, stempel waktu, dan heksadesimal tidak dapat diinterpretasikan secara otomatis, sehingga Anda perlu memetakannya secara manual. Untuk mengetahui informasi selengkapnya, lihat Pemetaan jenis data.
BigQuery Connector untuk SAP menyediakan beberapa spot peningkatan kualitas tempat Anda dapat memasukkan peningkatan kustom sendiri ke dalam kode BigQuery Connector untuk SAP. Untuk mengetahui informasi selengkapnya, lihat Exit peningkatan.
Jika tabel target belum ada di BigQuery, maka BigQuery Connector untuk SAP akan membuatnya.
Setelah replikasi dimulai, kumpulan data SAP ditambahkan ke BigQuery dalam mode hanya sisipkan.
Keamanan
Anda mengontrol akses ke BigQuery Connector untuk SAP di Server Replikasi SAP LT menggunakan sistem otorisasi berbasis peran Server Replikasi SAP LT. Saat Anda menginstal BigQuery Connector untuk SAP, file transport menyertakan peran khusus untuk BigQuery Connector untuk SAP. Untuk mengetahui informasi selengkapnya tentang peran khusus, lihat Keamanan SAP.
Anda dapat mengontrol akses ke Google Cloud dan BigQuery menggunakan autentikasi dan otorisasi Identity and Access Management dan autentikasi BigQuery API. Untuk informasi selengkapnya, lihat keamanan Google Cloud.
Untuk komunikasi antara BigQuery Connector untuk SAP dan BigQuery, BigQuery Connector untuk SAP menggunakan komunikasi HTTPS end-to-end dan SSL.
Untuk informasi dari SAP tentang otorisasi, lihat Panduan Keamanan untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.
Skalabilitas
Untuk volume yang sangat besar, seperti miliaran kumpulan data dengan jutaan delta, BigQuery Connector untuk SAP menggunakan fungsi penskalaan dan partisi Server Replikasi SAP LT untuk memparalelkan ekstraksi data dalam skala besar. Untuk mengetahui informasi selengkapnya, lihat Panduan Ukuran untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.
Di sisi BigQuery, BigQuery Connector untuk SAP menggunakan BigQuery streaming API untuk menskalakan pemuatan data.
Arsitektur penginstalan
Instal BigQuery Connector untuk SAP sebagai Business Add-In (BAdI) dalam instance Server Replikasi SAP LT.
Instance Server Replikasi SAP LT dapat berada di Google Cloud, infrastruktur lokal, atau di penyedia cloud lainnya. Di mana pun Server Replikasi SAP LT berjalan, server tersebut harus berada sedekat mungkin dengan sistem sumber. Bekerja samalah dengan tim jaringan Anda untuk memastikan latensi rendah dan throughput yang tinggi antara sistem SAP sumber, Server Replikasi SAP LT, dan set data BigQuery.
Bagian berikut menjelaskan arsitektur umum yang direkomendasikan untuk BigQuery Connector untuk SAP.
Arsitektur untuk sumber data SAP di Google Cloud
Diagram berikut menunjukkan dua contoh penginstalan Server Replikasi SAP LT di Google Cloud dengan sumber data SAP di Google Cloud.
Untuk menunjukkan contoh setiap arsitektur, salah satu penginstalan menggunakan arsitektur mandiri Server Replikasi SAP LT, dengan Server Replikasi SAP LT diinstal di server terpisah, dan penginstalan lainnya menggunakan arsitektur tersemat Server Replikasi SAP LT, dengan Server Replikasi SAP LT diinstal di server sistem sumber SAP.
Instance Server Replikasi SAP LT diinstal di Google Cloud, maka BigQuery Connector untuk SAP terhubung secara langsung ke endpoint BigQuery API, tanpa memerlukan koneksi Cloud Interconnect atau Cloud VPN.
Dalam diagram, sistem SAP dan BigQuery ditampilkan dalam project Google Cloud yang berbeda, tetapi Anda dapat menggunakan project yang sama untuk keduanya, jika perlu.
Arsitektur untuk sumber data SAP di infrastruktur lokal atau di penyedia cloud lain
Diagram berikut menunjukkan dua contoh penginstalan Server Replikasi SAP LT yang berjalan di infrastruktur lokal atau di penyedia cloud lain.
Untuk menampilkan contoh setiap arsitektur, satu penginstalan menggunakan arsitektur mandiri Server Replikasi SAP LT dan penginstalan lainnya menggunakan arsitektur tersemat Server Replikasi SAP LT.
Dalam kedua contoh tersebut, Server Replikasi SAP LT diinstal di lingkungan yang sama dengan sumber data SAP.
Koneksi dari BigQuery Connector untuk SAP di Server Replikasi SAP LT ke BigQuery disediakan oleh koneksi Cloud Interconnect atau koneksi Cloud VPN.
Tampilan arsitektur mendetail tentang aliran data
Diagram berikut menunjukkan lokasi BigQuery Connector untuk SAP sesuai dengan aliran data Server Replikasi SAP LT.
Angka dalam diagram dijelaskan di diagram selanjutnya.
Penjelasan bernomor berikut sesuai dengan angka dalam diagram:
- Setelah Server Replikasi SAP LT diinisialisasi, saat kumpulan data dalam tabel sumber disisipkan, diperbarui, atau dihapus, database akan mencatat perubahan dalam tabel logging.
- Server Replikasi SAP LT terus memeriksa tabel logging untuk entri baru menggunakan panggilan RFC.
- Jika Server Replikasi SAP LT menemukan entri baru, mesin Baca akan membaca kumpulan data dan memanggil mesin Pemetaan dan transformasi.
- Mesin Pemetaan dan transformasi memanggil mesin Tulis, yang memanggil BigQuery Connector untuk SAP.
- BigQuery Connector untuk SAP melakukan tindakan berikut:
- Memetakan data SAP ke nama tabel target, nama kolom, dan jenis data BigQuery.
- Membuat tabel BigQuery, jika diperlukan.
- Mengirim kumpulan data ke BigQuery dalam beberapa potongan melalui BigQuery streaming API.
- Setelah menerima data, BigQuery akan melakukan tindakan
berikut:
- Melakukan pemeriksaan validasi.
- Menyisipkan kumpulan data ke dalam tabel target.
- Mengirim respons kode status HTTP 200 (
OK) ke BigQuery Connector untuk SAP.
- BigQuery Connector untuk SAP meneruskan respons kode status
OKHTTP ke Server Replikasi SAP LT, yang menghapus entri yang direplikasi dari tabel logging dan membebaskan resource pada sistem sumber SAP.
Persyaratan software
Bagian ini menjelaskan persyaratan software untuk BigQuery Connector untuk SAP.
Anda dapat menginstal BigQuery Connector untuk SAP di Server Replikasi SAP LT di Google Cloud, infrastruktur lokal, atau di cloud publik, seperti AWS, Azure, dan sebagainya.
Persyaratan versi software SAP
Versi Server Replikasi SAP LT yang diperlukan dan sistem sumber SAP berbeda, bergantung pada apakah Anda menginstal Server Replikasi SAP LT di servernya sendiri dalam arsitektur mandiri atau dalam sistem aplikasi ABAP sumber pada arsitektur yang disematkan ini.
Persyaratan software SAP juga berbeda, bergantung pada sistem SAP yang Anda gunakan sebagai sumber data: SAP S/4HANA atau SAP ECC.
Untuk melihat versi software SAP yang didukung Google Cloud untuk BigQuery Connector untuk SAP, pilih tab yang sesuai dengan sistem sumber SAP Anda:
S/4HANA
| Arsitektur penginstalan | Image | Versi yang didukung | Add-On Antarmuka Pengguna (UI) |
|---|---|---|---|
| Mandiri | Sistem Sumber |
|
Pastikan Add-On UI adalah versi terbaru yang kompatibel dengan versi SAP NetWeaver Anda, seperti yang direkomendasikan oleh SAP. /UI2/CL_JSON: PL12 atau yang lebih baru. Untuk informasi tentang versi minimum Add-On UI yang diperlukan, lihat bagian "Paket Dukungan" di Catatan SAP 22798102 - /UI2/CL_JSON corrections - PL12. Untuk mengetahui informasi tentang kompatibilitas Add-On UI dengan SAP NetWeaver, lihat: |
| Sistem Server Replikasi SAP LT |
|
||
| Tersemat | Sistem Sumber |
|
ECC
| Arsitektur penginstalan | Image | Versi yang didukung | Add-On Antarmuka Pengguna (UI) |
|---|---|---|---|
| Mandiri | Sistem Sumber |
|
Pastikan Add-On UI adalah versi terbaru yang kompatibel dengan versi SAP NetWeaver Anda, seperti yang direkomendasikan oleh SAP. /UI2/CL_JSON: PL12 atau yang lebih baru. Untuk informasi tentang versi minimum Add-On UI yang diperlukan, lihat bagian "Paket Dukungan" di Catatan SAP 22798102 - /UI2/CL_JSON corrections - PL12. Untuk mengetahui informasi tentang kompatibilitas Add-On UI dengan SAP NetWeaver, lihat: |
| Sistem Server Replikasi SAP LT |
|
||
| Tersemat | Sistem Sumber |
|
Persyaratan sistem operasi
BigQuery Connector untuk SAP mendukung semua sistem operasi yang didukung oleh Server Replikasi SAP LT.
Untuk mengetahui informasi tentang sistem operasi yang didukung Server Replikasi SAP LT, lihat Matriks Ketersediaan Produk SAP.
Sumber replikasi yang didukung
BigQuery Connector untuk SAP mendukung sebagian besar sistem sumber database dan aplikasi yang biasa digunakan dan didukung oleh Server Replikasi SAP LT.
Sumber aplikasi SAP yang didukung
Anda dapat mereplikasi data dari sumber aplikasi SAP yang didukung Server Replikasi SAP LT. BigQuery Connector untuk SAP mendukung versi aplikasi perusahaan utama yang sedang dalam pemeliharaan sebagai sumber data, serta aplikasi lama yang lebih lama. Beberapa aplikasi SAP yang didukung meliputi:
- SAP Business Suite 7
- S/4HANA
- Aplikasi SAP yang berjalan di SAP NetWeaver
Untuk mereplikasi data dari SAP Business Warehouse, SAP merekomendasikan untuk tidak menggunakan Server Replikasi SAP LT. Untuk mengetahui informasi selengkapnya dari SAP, lihat SAP Note 2525755.
Aplikasi SAP Cloud, seperti S/4HANA Cloud, SAP Ariba, SAP SuccessFactors, dan lainnya, tidak didukung.
Sumber data yang didukung
Anda hanya dapat mereplikasi tabel cluster atau transparan.
BigQuery Connector untuk SAP tidak mendukung replikasi tabel virtual SAP Core Data Services (CDS).
Di Alat Desain Informasi, BigQuery didukung mulai dari SAP BusinessObjects Business Intelligence 4.3 sebagai sumber data. Anda dapat membuat kueri data yang disimpan di BigQuery dari alat pelaporan SAP BusinessObjects, seperti SAP BusinessObjects Web Intelligence dan SAP Crystal Reports for Enterprise.
Untuk informasi selengkapnya tentang pemeriksaan kompatibilitas, lihat Catatan SAP 2750723 - Dukungan Google BigQuery di produk platform SAP BI.
Keamanan
Saat menerapkan keamanan untuk replikasi data dari Server Replikasi SAP LT ke BigQuery, Anda perlu menerapkan kontrol keamanan di Server Replikasi SAP LT, sistem operasi host Server Replikasi SAP LT, dan di Google Cloud.
Keamanan SAP
Untuk mengontrol siapa yang dapat mengonfigurasi dan menggunakan BigQuery Connector untuk SAP di Server Replikasi SAP LT, Anda harus menggunakan otorisasi berbasis peran SAP standar.
BigQuery Connector untuk SAP memberikan
ZGOOG_MTID objek otorisasi sebagai bagian dari penginstalan transport.
Untuk mengonfigurasi dan menjalankan tugas replikasi data yang menggunakan BigQuery Connector untuk SAP, Anda dapat menentukan peran yang memiliki akses administratif dalam Server Replikasi SAP LT, seperti yang dijelaskan dalam Membuat peran dan otorisasi SAP BigQuery Connector untuk SAP.
Misalnya, Anda dapat menentukan peran yang disebut ZGOOGLE_BIGQUERY_ADMIN yang
memiliki semua otorisasi SAP dan otorisasi ZGOOG_MTID,
yang diperlukan untuk mengonfigurasi dan mengoperasikan
replikasi data ke BigQuery menggunakan
BigQuery Connector untuk SAP.
Untuk mengetahui informasi selengkapnya dari SAP tentang peran dan otorisasi, lihat Panduan Keamanan untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.
Keamanan Google Cloud
Menerapkan keamanan di Google Cloud untuk BigQuery Connector untuk SAP dapat melibatkan kontrol keamanan berikut:
- Izin, peran, akun layanan, dan kunci Identity and Access Management (IAM).
- Kontrol BigQuery yang ditetapkan di level set data atau tabel.
- Kontrol layanan Virtual Private Cloud (VPC) untuk layanan berbasis API seperti BigQuery.
- Endpoint Private Service Connect yang memungkinkan penggunaan layanan secara pribadi, seperti BigQuery, di seluruh jaringan VPC.
Google Cloud Identity and Access Management
Untuk autentikasi dan otorisasi BigQuery Connector untuk SAP, Anda memerlukan akun layanan IAM di project Google Cloud yang berisi set data BigQuery.
Untuk otorisasi guna berinteraksi dengan resource BigQuery, berikan peran ke akun layanan yang berisi izin untuk berinteraksi dengan BigQuery dalam project BigQuery.
Jika membuat akun layanan di project BigQuery, Anda dapat memberikan peran yang diperlukan saat membuat akun layanan dan akun layanan tersebut menjadi akun utama di project BigQuery secara otomatis.
Izin yang diperlukan BigQuery Connector untuk SAP guna mengakses BigQuery terdapat dalam peran IAM berikut:
- Editor Data BigQuery
- BigQuery Job User
Jika Server Replikasi SAP LT berjalan di VM Compute Engine, Anda juga harus memberikan peran Service Account Token Creator ke akun layanan VM host.
Jika Server Replikasi SAP LT berjalan di infrastruktur lokal atau di platform cloud lain, selain membuat akun layanan, Anda juga perlu membuat kunci akun layanan untuk BigQuery Connector untuk SAP. Administrator SAP Anda menginstal kunci tersebut di host Server Replikasi SAP LT. Saat BigQuery Connector untuk SAP terhubung ke BigQuery, Server Replikasi SAP LT akan menggunakan kunci akun layanan untuk melakukan autentikasi dengan Google Cloud.
Kunci akun layanan tidak diperlukan saat Server Replikasi SAP LT berjalan di Google Cloud.
Untuk mengetahui informasi selengkapnya tentang IAM, akun layanan, peran, dan izin, lihat:
- Akun layanan
- Melakukan autentikasi sebagai akun layanan
- Praktik terbaik akun layanan
- Pengantar autentikasi BigQuery API
Kontrol akses set data dan tabel BigQuery
Selain kontrol IAM, Anda juga dapat mengontrol akses menggunakan BigQuery. Untuk BigQuery Connector untuk SAP, Anda dapat menetapkan kontrol akses pada set data dan tabel.
Untuk informasi selengkapnya, lihat:
Kontrol Layanan VPC
Di Google Cloud, aturan firewall VPC tidak berlaku untuk interaksi berbasis API dengan BigQuery. Sebagai gantinya, Anda dapat menggunakan Kontrol Layanan Virtual Private Cloud (VPC) untuk membatasi traffic.
Jika workload SAP Anda berjalan di Google Cloud, Anda dapat mengimplementasikan kontrol layanan VPC dengan menentukan perimeter layanan. Untuk mengetahui informasi selengkapnya, lihat Perimeter layanan.
Jika workload SAP Anda tidak berjalan di Google Cloud, Anda dapat menerapkan kontrol layanan VPC sebagai bagian dari penyiapan Akses Google Pribadi untuk host lokal.
Untuk mengetahui informasi selengkapnya tentang keamanan jaringan untuk BigQuery, lihat Keamanan jaringan.
Endpoint Private Service Connect
Jika Anda ingin menyiapkan endpoint di jaringan VPC yang mengizinkan penggunaan layanan yang dikelola Google secara pribadi seperti BigQuery, Anda dapat menggunakan Private Service Connect.
Private Service Connect memungkinkan Anda membuat endpoint pribadi yang menggunakan alamat IP internal dari rentang CIDR VPC untuk mengakses layanan dan Google API. Anda juga dapat menggunakan Private Service Connect guna membuat nama DNS pribadi kustom untuk BigQuery streaming API. Untuk mengetahui informasi selengkapnya, lihat Private Service Connect.
Untuk BigQuery Connector untuk SAP yang berjalan di host di luar Google Cloud, Private Service Connect tidak didukung.
Informasi selengkapnya tentang keamanan Google Cloud
Untuk mengetahui informasi selengkapnya tentang akun, peran, dan izin keamanan, lihat:
- Akun layanan
- Membuat dan mengaktifkan akun layanan untuk instance
- Ringkasan keamanan data dan tata kelola
Jaringan
Saat merencanakan jalur jaringan untuk replikasi ke BigQuery, pertimbangkan hal berikut:
- Bandwidth
- Latensi dan dampaknya terhadap penggunaan resource pada host Server Replikasi SAP LT
- Volume data dan dampaknya terhadap muatan jaringan yang ada
- Jika workload SAP Anda tidak berjalan di Google Cloud, jenis koneksi yang dapat digunakan adalah: Cloud Interconnect atau Cloud VPN
Menghubungkan ke Google Cloud
Jika sistem SAP Anda tidak berjalan di Google Cloud dan Anda belum memiliki koneksi dari sistem SAP ke Google Cloud, Anda harus membuat koneksi dan mengonfigurasi akses pribadi ke Google Cloud API.
Anda dapat membuat koneksi ke Google Cloud menggunakan Cloud Interconnect atau Cloud VPN.
Cloud Interconnect biasanya memberikan bandwidth yang lebih tinggi, latensi yang lebih rendah, dan pertentangan jaringan yang lebih rendah daripada Cloud VPN. Untuk tugas replikasi bervolume tinggi dan sensitif performa, Google Cloud merekomendasikan Cloud Interconnect untuk BigQuery Connector untuk SAP.
Dengan Cloud VPN, data replikasi Anda berpindah melalui internet publik, sehingga pertentangan jaringan kurang dapat diprediksi dan latensinya biasanya lebih tinggi.
Apa pun opsi koneksinya, Anda harus meninjau semua traffic yang Anda harapkan akan didukung oleh koneksi tersebut. Tentukan apakah koneksi memiliki bandwidth dan kecepatan jaringan yang memadai untuk mendukung tugas replikasi dan workload lain tanpa memberikan dampak negatif.
Koneksi yang lambat dapat meningkatkan penggunaan resource di server sumber SAP dan host Server Replikasi SAP LT dengan memperpanjang waktu yang diperlukan untuk menyelesaikan tugas resource, sehingga resource yang diperlukan untuk replikasi tetap terikat untuk jangka waktu yang lebih lama.
Untuk mengetahui informasi selengkapnya tentang opsi koneksi Anda:
Agar dapat menggunakan server proxy untuk mengirim permintaan HTTP ke Google Cloud, sebaiknya
gunakan tujuan RFC yang ditentukan dalam
transaksi SM59.
Tujuan RFC
File transport BigQuery Connector untuk SAP berisi contoh tujuan RFC berikut
dalam transaksi SM59. Tujuan RFC ini adalah koneksi HTTP
ke Server Eksternal (Jenis G) dan terhubung ke endpoint API publik
masing-masing layanan.
| Contoh nama tujuan RFC | Host target (endpoint API) | Catatan |
|---|---|---|
GOOG_BIGQUERY |
https://bigquery.googleapis.com |
Tujuan RFC ini menargetkan BigQuery API. |
GOOG_IAMCREDENTIALS |
https://iamcredentials.googleapis.com |
Tujuan RFC ini menargetkan IAM API. |
GOOG_OAUTH2_TOKEN |
https://googleapis.com/oauth2 |
Tujuan RFC ini menargetkan endpoint Google Cloud untuk autentikasi berbasis OAuth 2.0. Gunakan metode ini untuk workload SAP yang berjalan di luar Google Cloud dan hanya saat Anda ingin melakukan autentikasi ke Google Cloud menggunakan JSON Web Token (JWT). |
Menggunakan tujuan RFC untuk terhubung ke Google Cloud akan memberikan keuntungan berikut:
Jika Anda menggunakan server proxy dalam lanskap SAP dan ingin menggunakannya untuk mengirim permintaan HTTP ke Google Cloud, Anda dapat mengonfigurasi server proxy di tujuan RFC.
Jika ingin mengaktifkan akses ke layanan dan Google Cloud API melalui endpoint Private Service Connect, maka Anda dapat membuat endpoint tersebut di project Google Cloud, lalu menentukan endpoint-nya di tujuan RFC.
Anda dapat menggunakan kompresi HTTP, yang direkomendasikan Google Cloud untuk replikasi lintas-region, tempat sistem sumber SAP dan set data BigQuery ditempatkan di region Compute Engine yang berbeda.
Untuk menggunakan tujuan RFC agar dapat terhubung ke layanan atau Google Cloud API, Anda
harus membuat entri dalam tabel /GOOG/SERVIC_MAP yang memetakan tujuan
RFC ke tabel /GOOG/CLIENT_KEY. Untuk mengetahui langkah-langkah konfigurasi, lihat
panduan konfigurasi dan penginstalan BigQuery Connector untuk SAP untuk skenario Anda.
Kompresi HTTP
Saat menggunakan tujuan RFC guna menyiapkan koneksi
antara BigQuery Connector untuk SAP dan Google Cloud API, Anda dapat menggunakan
opsi Kompresi untuk mengompresi isi permintaan HTTP. Kompresi HTTP
hanya tersedia jika Anda mengonfigurasi tujuan RFC untuk menggunakan HTTP 1.1.
Sebelum mengaktifkan kompresi HTTP di lingkungan produksi, analisis parameter profil yang memengaruhi kompresi HTTP di lingkungan pengujian. Untuk mengetahui informasi selengkapnya dari SAP, lihat SAP Note 1037677 - Kompresi HTTP hanya mengompresi dokumen tertentu.
Bandwidth
Pastikan koneksi jaringan antara Server Replikasi SAP LT dan BigQuery memiliki cukup bandwidth untuk mendukung volume data dengan kecepatan yang Anda perlukan.
Koneksi jaringan yang lebih lambat meningkatkan latensi replikasi data, yang meningkatkan resource yang digunakan replikasi dalam sistem SAP sumber.
Untuk penginstalan produktif, Google Cloud merekomendasikan koneksi Cloud Interconnect. Anda juga dapat menggunakan Cloud VPN.
Latensi
Untuk mengurangi latensi pada koneksi jaringan, buat set data BigQuery target Anda sedekat mungkin dengan sistem Server Replikasi SAP LT dan sistem sumber SAP. Jika sistem SAP sumber berjalan di Google Cloud, buat set data BigQuery di region Google Cloud yang sama dengan sistem SAP sumber.
Uji latensi Anda sebelum memigrasikan penginstalan ke lingkungan produksi.
Untuk mengetahui informasi selengkapnya tentang performa jaringan, lihat Performa koneksi jaringan.
Kontrol akses jaringan
Anda dapat menerapkan kontrol akses jaringan di kedua sisi koneksi antara Server Replikasi SAP LT dan Google Cloud.
Kontrol akses jaringan Google Cloud
BigQuery Connector untuk SAP berkomunikasi dengan BigQuery melalui endpoint API, yang tidak tunduk pada aturan firewall Google Cloud VPC.
Sebagai gantinya, gunakan Kontrol Layanan VPC untuk membatasi traffic.
Untuk mengetahui informasi selengkapnya tentang keamanan jaringan untuk BigQuery, lihat Keamanan jaringan.
Kontrol akses jaringan host Server Replikasi SAP LT
Di host Server Replikasi SAP LT, Anda harus memastikan bahwa setiap firewall atau proxy mengizinkan traffic keluar dari server ke endpoint BigQuery API. Secara khusus, Server Replikasi SAP LT harus dapat mengakses Google Cloud API berikut:
- https://bigquery.googleapis.com
- https://iamcredentials.googleapis.com
Jika ingin menggunakan endpoint Private Service Connect untuk
mengakses API streaming BigQuery, pastikan Anda
mengonfigurasi endpoint Private Service Connect di tabel
/GOOG/SERVIC_MAP. Untuk mengetahui informasi selengkapnya, lihat panduan penginstalan dan
konfigurasi untuk skenario Anda.
Perencanaan performa
Performa pemuatan awal dan tugas replikasi antara Server Replikasi SAP LT dan BigQuery dipengaruhi oleh beberapa faktor di titik yang berbeda di sepanjang jalur replikasi.
Namun, faktor dasar tertentu seperti jarak antara Server Replikasi SAP LT dan set data BigQuery atau bandwidth koneksi Anda ke Google Cloud, memiliki dampak yang lebih besar terhadap performa daripada sebagian besar faktor lainnya.
Praktik terbaik performa umum
Untuk performa terbaik, sertakan rekomendasi berikut ke dalam konfigurasi Server Replikasi SAP LT Anda:
- Jalankan workload SAP Anda, termasuk sistem sumber SAP dan Server Replikasi SAP LT, di Google Cloud.
- Jika workload SAP Anda ada di Google Cloud, buat set data BigQuery di region yang sama dengan workload SAP Anda.
- Jika Anda tidak dapat menjalankan workload SAP di Google Cloud:
- Buat set data BigQuery di region Google Cloud yang paling dekat dengan workload SAP Anda.
- Terhubung ke Google Cloud menggunakan Cloud Interconnect.
- Untuk menghindari pertentangan resource, gunakan host khusus terpisah untuk sistem sumber SAP dan Server Replikasi SAP LT.
- Sesuaikan ukuran sistem Server Replikasi SAP LT secara optimal untuk workload Anda sesuai dengan Panduan Ukuran untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.
- Gunakan setelan replikasi Server Replikasi SAP LT berikut:
- Tugas paralel.
- Reading Type 1, jika memungkinkan. Untuk mengetahui informasi selengkapnya, lihat Performa dan Setelan Replikasi Lanjutan LTRS.
- Konfigurasikan BigQuery Connector untuk SAP dengan:
- Kompresi kumpulan data default.
- Ukuran potongan default.
- Saat memetakan kolom ke tabel BigQuery, hindari penggunaan nama kustom, jika memungkinkan.
Untuk informasi selengkapnya, lihat:
- Pertimbangan performa Server Replikasi SAP LT
- Performa koneksi jaringan
- Transmisi data
- Kompresi kumpulan data
Karakteristik tambahan yang dapat memengaruhi performa
Banyak karakteristik konfigurasi dan data Anda yang dapat memengaruhi performa. Beberapa karakteristik ini mungkin tidak dapat Anda modifikasi. Karakteristik ini meliputi:
- Di server sumber:
- Jumlah CPU.
- Jumlah memori.
- Database yang digunakan, seperti SAP HANA, SAP ASE, IBM Db2, atau lainnya.
- Jumlah kolom dalam tabel sumber.
- Jumlah data yang disimpan oleh setiap kumpulan data.
- Metadata tabel, seperti panjang nama kolom.
- Jumlah proses tugas dialog.
- Di Server Replikasi SAP LT:
- Jumlah CPU.
- Jumlah memori.
- Workload lain yang mungkin dijalankan oleh host.
- Dialog SAP dan proses tugas latar belakang.
- Jenis arsitektur penginstalan Server Replikasi SAP LT. Untuk mengetahui informasi selengkapnya, lihat Penginstalan mandiri (direkomendasikan) atau tersemat Server Replikasi SAP LT.
- Jumlah tugas latar belakang yang berjalan di sistem Server Replikasi SAP LT.
- Jumlah tugas latar belakang yang dialokasikan ke transfer massal
di tab Administrasi transaksi
LTRC. - Setelan performa transaksi
LTRS, termasuk Jenis Bacaan dan Ukuran Portion.
- Dalam konfigurasi replikasi BigQuery (
/GOOG/SLT_SETTINGStransaksi):- Apakah nama kustom ditentukan untuk kolom target atau tidak. Pemrosesan nama kolom BigQuery target dapat sedikit memengaruhi performa.
- Apakah kompresi kumpulan data diaktifkan atau tidak.
- Ukuran Potongan BigQuery Connector untuk SAP, yang dapat memengaruhi jumlah total permintaan HTTP yang dikirimkan.
Pertimbangan performa Server Replikasi SAP LT
Bagian berikut membahas opsi performa yang terkait dengan konfigurasi Server Replikasi SAP LT.
Performa dan arsitektur penginstalan Server Replikasi SAP LT
Arsitektur mandiri, tempat Server Replikasi SAP LT diinstal pada server khususnya sendiri, biasanya memberikan performa yang lebih baik daripada arsitektur tersemat, tempat Server Replikasi SAP LT diinstal pada server yang sama dengan sistem sumber.
Dalam arsitektur tersemat, Server Replikasi SAP LT harus berbagi resource server dengan sistem sumber SAP.
Bahkan dengan arsitektur mandiri, CPU dan memori host, serta workload lain yang mungkin berjalan di server, dapat memengaruhi performa instance Server Replikasi SAP LT.
Performa dan Setelan Replikasi Lanjutan LTRS
Performa replikasi dan pemuatan awal dipengaruhi oleh
setelan yang Anda tentukan untuk tabel sumber dalam
transaksi LTRS di bagian Setelan Replikasi Lanjutan.
Untuk panduan tentang penyesuaian performa, khususnya untuk mengoptimalkan pemuatan atau replikasi awal volume tinggi, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.
Google Cloud merekomendasikan spesifikasi berikut di
bagian Setelan Replikasi Tingkat Lanjut > Performa Umum LTRS transaksi:
Untuk pemuatan awal dari sebagian besar jenis tabel, tetapkan 1 Perhitungan Rentang sebagai Jenis Bacaan. Untuk tabel yang terlalu besar bagi 1 Penghitungan Rentang, tetapkan Jenis Bacaan 5.
Untuk replikasi, di bagian Setelan Aktif:
- Untuk replikasi tercepat, tentukan Rentang Otomatis.
- Untuk replikasi yang lebih andal, tetapkan Tidak Ada Rentang.
Tabel berikut menyarankan setelan untuk beberapa skenario umum.
| Jenis tabel | Jenis bacaan yang direkomendasikan |
|---|---|
| Transparan (kecil hingga sedang) | Jenis Bacaan 1 - Penghitungan Rentang |
| Transparan (besar) | Hanya jika Jenis Bacaan 1 tidak berfungsi, Jenis Bacaan 5 - Penghitungan Rentang |
| Tabel cluster | Jenis Bacaan 4 - Antrean Pengirim |
Performa koneksi jaringan
Bandwidth dan latensi koneksi antara sistem Server Replikasi SAP LT dan BigQuery dapat memengaruhi keseluruhan performa replikasi ke BigQuery.
Dampaknya tidak hanya memengaruhi kecepatan replikasi, tetapi jumlah resource yang digunakan oleh Server Replikasi SAP LT dan sistem sumber, karena semakin lama waktu yang dibutuhkan untuk menerima konfirmasi replikasi dari BigQuery, semakin lama Server Replikasi SAP LT dan sistem sumbernya menampung resource host.
Jika workload SAP Anda berjalan di infrastruktur lokal atau penyedia cloud lainnya, Google Cloud merekomendasikan penggunaan koneksi Cloud Interconnect, yang memberikan bandwidth tinggi dan latensi rendah tanpa harus bersaing dengan traffic di internet publik.
Anda dapat menggunakan Cloud VPN untuk terhubung ke Google Cloud dan BigQuery, tetapi dengan koneksi VPN, replikasi Anda harus bersaing dengan traffic internet publik.
Jika workload SAP Anda berjalan di Google Cloud, Google Cloud akan merekomendasikan untuk meletakkan Server Replikasi SAP LT dan set data BigQuery di region yang sama. Jika Server Replikasi SAP LT dan BigQuery berada di region yang berbeda, latensi biasanya akan lebih tinggi dan performanya akan lebih buruk. Untuk mengetahui informasi selengkapnya tentang cara memilih region, lihat Memilih region dan zona.
Transmisi data
Umumnya, Anda perlu mengirim data sebanyak mungkin dalam setiap permintaan HTTP guna mengurangi jumlah keseluruhan permintaan HTTP dan overhead pemrosesan terkait.
Namun, dalam beberapa kasus, Anda mungkin perlu mengurangi jumlah data yang dikirim, baik karena ukuran kumpulan data dalam tabel tertentu, maupun karena Anda mencapai batas kuota atau batas lainnya di BigQuery.
Anda dapat mengontrol jumlah data yang dikirim dalam setiap permintaan dengan cara berikut:
- Sesuaikan jumlah data (ukuran bagian) yang dikirim Server Replikasi SAP LT ke BigQuery Connector untuk SAP.
- Sesuaikan jumlah data (ukuran potongan) yang dikirim BigQuery Connector untuk SAP ke BigQuery.
- Sesuaikan kuota untuk streaming insert di project BigQuery Anda.
Menyesuaikan jumlah data yang dikirim oleh Server Replikasi SAP LT
Server Replikasi SAP LT mengirimkan kumpulan data dari sistem sumber ke BigQuery Connector untuk SAP dalam bagian. Setiap bagian ditangani sebagai tugas replikasi atau pemuatan terpisah yang menggunakan resource server hingga selesai.
Umumnya, jika meningkatkan ukuran bagian Server Replikasi SAP LT, Anda akan mengurangi jumlah proses Server Replikasi SAP LT, serta overhead yang terkait dengannya.
Ukuran bagian dan ukuran potongan
Bagian Server Replikasi SAP LT diukur dalam byte atau sebagai produk byte dan kumpulan data. Potongan BigQuery Connector untuk SAP diukur berdasarkan jumlah kumpulan data yang dapat dimuat. Ukuran byte bagian bervariasi bergantung pada beberapa faktor, termasuk jumlah kolom dalam kumpulan data dan jumlah data yang disimpan oleh setiap kumpulan data.
Jika ukuran bagian Server Replikasi SAP LT lebih besar daripada ukuran potongan BigQuery Connector untuk SAP, maka BigQuery Connector untuk SAP akan mengirim beberapa potongan untuk setiap bagian, hingga semua kumpulan data dari bagian tersebut dikirim.
Jika ukuran bagian lebih kecil dibandingkan ukuran potongan, maka BigQuery Connector untuk SAP hanya akan mengirim satu potongan per bagian. Setiap potongan hanya berisi jumlah kumpulan data yang dikirim di setiap bagian, terlepas dari ukuran potongan yang ditetapkan pada BigQuery Connector untuk SAP.
Idealnya, tetapkan ukuran bagian di Server Replikasi SAP LT yang memungkinkan BigQuery Connector untuk SAP membuat potongan terbesar tanpa melampaui batas BigQuery terkait jumlah byte dalam setiap permintaan HTTP.
Untuk panduan lebih lanjut tentang menentukan ukuran potongan, lihat Ukuran potongan di BigQuery Connector untuk SAP.
Ukuran bagian di Server Replikasi SAP LT
Untuk mengubah ukuran bagian default yang digunakan Server Replikasi SAP LT, jalankan transaksi LTRS dan sesuaikan nilainya di kolom Ukuran Paket di Setelan Replikasi Tingkat Lanjut di bagian Opsi Performa.
Untuk mengetahui informasi selengkapnya, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.
Ukuran potongan di BigQuery Connector untuk SAP
BigQuery Connector untuk SAP mengirimkan data ke BigQuery sebagai bagian kumpulan data. Sebaiknya gunakan ukuran potongan default dengan BigQuery Connector untuk SAP, yaitu 10.000 kumpulan data. Jika kumpulan data dalam tabel sumber berisi sangat sedikit kolom atau kolom berisi nilai data berukuran sangat kecil, maka Anda dapat menggunakan ukuran potongan yang lebih besar hingga ukuran potongan maksimum yang diizinkan BigQuery Connector untuk SAP, yaitu 50.000 data.
Jika jumlah kumpulan data dalam potongan tertentu ditetapkan ke ukuran byte yang
melebihi batas BigQuery terkait ukuran byte untuk permintaan
HTTP, Anda mungkin akan menerima error quotaExceeded
atau error invalid.
Hal ini dapat terjadi jika kumpulan data dalam tabel sumber berisi banyak kolom atau kolom berisi banyak data.
Jika Anda mendapatkan error terkait ukuran potongan, coba kurangi ukuran potongan yang ditentukan dalam konfigurasi transfer massal untuk tabel tersebut. Atau, Anda dapat mengaktifkan ukuran potongan dinamis untuk tabel tersebut agar otomatis menyesuaikan ukuran potongan. Untuk mengetahui informasi selengkapnya, lihat Ukuran potongan dinamis.
Jika Anda belum mengaktifkan ukuran potongan dinamis, maka untuk tabel sumber SAP seperti
MSEG, ACDOCA, dan MATDOC, yang dapat memiliki kumpulan data besar dengan
banyak kolom per kumpulan data, Anda mungkin perlu menentukan ukuran potongan hingga serendah 2.000.
Anda dapat menentukan ukuran potongan dengan menjalankan transaksi /GOOG/SLT_SETTINGS. Ukuran potongan ditentukan dalam kolom Ukuran Potongan pada layar atribut tabel.
Untuk panduan selengkapnya tentang menentukan ukuran potongan, lihat:
- Jika Server Replikasi SAP LT berjalan di VM Compute Engine, lihat Menentukan atribut tabel.
- Jika Server Replikasi SAP LT berjalan di host yang berada di luar Google Cloud, lihat Menentukan atribut tabel.
Untuk mengetahui informasi selengkapnya tentang pesan error BigQuery, lihat Pesan error.
Overhead pemrosesan yang terkait dengan pengiriman bagian
Setiap bagian yang dikirim akan memicu tindakan berikut, yang masing-masingnya menyebabkan beberapa overhead pemrosesan atau penggunaan resource:
- Kumpulan data yang diubah dalam tabel logging pada sistem sumber dikirim ke Server Replikasi SAP LT dalam satu bagian. Kumpulan data yang diubah tidak dihapus dari tabel logging.
- Server Replikasi SAP LT meminta token akses baru dari Google Cloud.
- BigQuery Connector untuk SAP akan mengirimkan permintaan HTTP ke BigQuery untuk memeriksa struktur tabel target.
- BigQuery Connector untuk SAP akan mengirimkan kumpulan data ke BigQuery dalam jumlah potongan yang diperlukan untuk mengirim semua kumpulan data yang diterima dalam satu bagian. Setiap potongan akan dikirimkan dalam permintaan HTTP terpisah.
- BigQuery akan memproses setiap potongan yang diterimanya.
- Kode status
OKHTTP ditampilkan ke Server Replikasi SAP LT untuk setiap potongan. - Setelah BigQuery menerima semua kumpulan data, Server Replikasi SAP LT akan menghapus kumpulan data yang dikirimkan dari tabel logging, yang nantinya membebaskan resource pada sistem sumber.
Untuk mengetahui informasi selengkapnya tentang bagian serta cara mengonfigurasi Server Replikasi SAP LT untuk mengoptimalkan performa, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.
Kuota BigQuery
Kuota API streaming BigQuery yang berlaku untuk project Anda membatasi jumlah data yang dapat di-streaming ke BigQuery dari waktu ke waktu dan dalam satu permintaan HTTP.
Misalnya, BigQuery menetapkan batas pada metrik seperti:
- Byte per detik per project yang dapat Anda kirim.
- Jumlah maksimum kumpulan data atau baris yang dapat Anda kirim dalam satu permintaan HTTP.
- Ukuran maksimum permintaan HTTP yang dapat Anda kirim.
Untuk streaming insert, BigQuery memperbaiki ukuran permintaan HTTP menjadi 10 MB dan jumlah kumpulan data yang dapat Anda kirim dalam satu permintaan HTTP menjadi 50.000.
Dalam sebagian besar kasus, Anda dapat mengubah kuota, tetapi tidak dapat mengubah batas.
Anda dapat melihat dan mengedit kuota yang berlaku untuk project Anda di Konsol Google Cloud di halaman Kuota.
Untuk mengetahui informasi selengkapnya tentang kuota dan batas BigQuery untuk streaming insert, lihat:
Kompresi kumpulan data
Secara default, BigQuery Connector untuk SAP meningkatkan performa replikasi dengan mengompresi kumpulan data yang dikirimkannya ke BigQuery. Mulai BigQuery Connector untuk SAP versi 2.8 dan yang lebih baru, opsi kompresi kumpulan data tersedia di tingkat tabel dan tingkat kolom.
Jika kompresi kumpulan data diaktifkan di tingkat tabel, yang merupakan setelan default,
BigQuery Connector untuk SAP akan menghapus semua kolom yang kosong dalam kumpulan data sumber
dari kumpulan data yang dikirim ke BigQuery. Saat kumpulan data
dimasukkan ke dalam BigQuery, kolom yang dihapus
dari data yang dikirim akan diinisialisasi dengan null dalam tabel target di
BigQuery.
Namun, jika Anda perlu mereplikasi beberapa kolom kosong dengan nilai awalnya ke BigQuery sambil tetap menggunakan kompresi kumpulan data di tingkat tabel, Anda dapat mengubah setelan kompresi kumpulan data untuk kolom tertentu tersebut. Artinya, nilai kosong di kolom yang ditentukan tidak dihilangkan dari data yang dikirim, dan mempertahankan nilai apa pun yang diinisialisasi di tabel sumber.
Anda dapat mengontrol perilaku kompresi kumpulan data menggunakan setelan Send Uncompressed Flag yang tersedia di tingkat tabel dan tingkat kolom. Tabel berikut merangkum perilaku kompresi data:
| Mengirim Flag Tidak Dikompresi di tingkat tabel | Mengirim Flag Tidak Dikompresi di tingkat kolom | Perilaku kompresi kumpulan data |
|---|---|---|
| Ya | Tidak | Semua kolom dikirim dalam bentuk tidak dikompresi. |
| Ya | Ya | Semua kolom dikirim dalam bentuk tidak dikompresi. |
| Tidak | Ya | Hanya kolom yang dipilih di tingkat kolom yang dikirim tanpa dikompresi. |
| Tidak | Tidak | Semua kolom dikirim dalam bentuk terkompresi. |
Saat data yang tidak dikompresi dikirim untuk direplikasi, kecuali untuk kolom tanggal dan kolom stempel waktu, kolom kosong mempertahankan nilai apa pun yang diinisialisasi dalam tabel sumber. Nilai yang diinisialisasi untuk kolom tanggal dan stempel waktu akan menerima nilai berikut:
- Nilai inisialisasi kolom tanggal:
DATE 1970-01-01 - Nilai inisialisasi kolom stempel waktu:
TIMESTAMP 1970-01-01 00:00:00 UTC
Screenshot berikut menunjukkan contoh perilaku kompresi data:
- Baris #1: Semua kolom tidak dikompresi. Send Uncompressed Flag dipilih di tingkat tabel.
- Baris #2: Semua kolom dikompresi. Send Uncompressed Flag jelas di tingkat tabel.
- Baris #3: Kolom berikut tidak dikompresi:
int2_value,curr_value_154,currency,float_value, danlang_value. Untuk kolom ini, Send Uncompressed Flag dipilih di tingkat kolom.
Untuk performa yang lebih baik, jangan nonaktifkan kompresi kumpulan data dengan memilih Kirim Flag Tidak Terkompresi di tingkat tabel. Hal ini dapat memengaruhi performa replikasi secara negatif. Jika Anda perlu mengirim data yang tidak dikompresi hanya untuk kolom tertentu, pilih Send Uncompressed Flag untuk kolom tertentu tersebut di tingkat kolom. Untuk mengetahui informasi selengkapnya tentang pengaruh kompresi kumpulan data terhadap data Anda yang ditransfer dari Server Replikasi SAP LT ke BigQuery, lihat Memahami Fitur Kompresi BigQuery Connector untuk SAP.
Konfigurasi replikasi BigQuery
Saat mengonfigurasi replikasi dengan BigQuery Connector untuk SAP, Anda akan menggunakan beberapa transaksi SAP yang berbeda, termasuk transaksi khusus yang disediakan oleh Google Cloud:
SM30- Menentukan properti untuk terhubung ke Google Cloud, yang disimpan sebagai kumpulan data dalam tabel konfigurasi khusus/GOOG/CLIENT_KEY. Secara opsional, saat Anda menggunakan tujuan RFC untuk terhubung ke layanan dan Google Cloud API, beberapa properti koneksi disimpan dalam tabel konfigurasi khusus/GOOG/SERVIC_MAP.LTRC- Menentukan ID transfer massal dan aplikasi replikasi BigQuery Connector untuk SAP, serta properti lainnya.SM59- Menentukan tujuan RFC yang memungkinkan terhubung ke layanan dan Google Cloud API seperti BigQuery dan IAM./GOOG/SLT_SETTINGS- Menentukan properti untuk set data, tabel, dan kolom BigQuery target. Saat memasukkan/GOOG/SLT_SETTINGSdi Server Replikasi SAP LT, Anda harus menambahkan/nuntuk meng-escape garis miring awal dalam nama transaksi.
Dukungan bahasa
BigQuery Connector untuk SAP hanya mendukung konfigurasi replikasi dalam bahasa Inggris. Saat mengonfigurasi replikasi menggunakan transaksi SAP dan transaksi khusus yang disediakan oleh Google Cloud, gunakan Bahasa Inggris sebagai bahasa login Anda di layar login SAP.
Namun, BigQuery Connector untuk SAP mendukung eksekusi tugas latar belakang yang berjalan di Server Replikasi SAP LT dalam semua bahasa yang didukung SAP SLT.
Pesan error apa pun yang mungkin Anda temukan saat menggunakan BigQuery Connector untuk SAP akan dihasilkan dalam bahasa Inggris, terlepas dari bahasa eksekusi tugas latar belakang.
Properti tabel target
Saat mengonfigurasi replikasi di Server Replikasi SAP LT dengan menjalankan
transaksi /GOOG/SLT_SETTINGS, Anda dapat menentukan
setelan yang berlaku saat BigQuery Connector untuk SAP membuat
tabel target di BigQuery.
Misalnya, Anda dapat menentukan properti berikut untuk tabel BigQuery target:
- Nama tabel
- Opsi penamaan default untuk kolom
- Kolom tambahan untuk mencatat perubahan kumpulan data dan mengaktifkan kueri jumlah kumpulan data
- Partisi tabel
Opsi penamaan default untuk kolom
Anda dapat mengonfigurasi BigQuery Connector untuk SAP guna membuat nama kolom dalam tabel BigQuery target, baik dari nama kolom sumber atau label dan deskripsi kolom sumber. Label dan deskripsi biasanya lebih informatif dalam mendeskripsikan isi kolom.
Secara default, BigQuery Connector untuk SAP menggunakan nama kolom sumber.
Anda dapat mengubah nilai default ini dengan menentukan flag Nama Kustomsaat
menentukan atribut pembuatan tabel di konfigurasi transfer
massal transaksi /GOOG/SLT_SETTINGS. Spesifikasi ini
disimpan dalam tabel konfigurasi /GOOG/BQ_MASTR.
Saat membuat nama, BigQuery Connector untuk SAP akan memodifikasinya agar sesuai dengan konvensi penamaan BigQuery.
Sebelum tabel dibuat, Anda dapat mengedit nama kolom di layar pemetaan kolom
transaksi /GOOG/SLT_SETTINGS.
Saat flag Nama Kustom ditentukan, nama yang akan digunakan oleh konektor BigQuery Connector untuk SAP saat membuat tabel target akan ditampilkan di kolom Nama Kolom Eksternal layar pemetaan.
BigQuery Connector untuk SAP membuat nama di kolom Nama Kolom Eksternal dari label kolom media di setiap kolom sumber. Jika label kolom medium tidak ditentukan dalam definisi kolom sumber, maka deskripsi singkat kolom akan digunakan. Jika deskripsi singkat juga tidak ditentukan, maka label tersingkat yang ditentukan akan digunakan. Jika semuanya tidak ditentukan, maka nama kolom sumber akan digunakan.
Untuk mengetahui informasi selengkapnya tentang cara menyesuaikan nama kolom target, lihat Menyesuaikan nama kolom target.
Mencatat perubahan kumpulan data dan mengaktifkan jumlah kumpulan data
Agar dapat mencatat jenis perubahan dalam tabel sumber yang memicu replikasi
serta membuat kueri jumlah kumpulan data dalam tabel BigQuery
untuk dibandingkan dengan Server Replikasi SAP LT atau jumlah kumpulan data dalam tabel
sumber, tentukan opsi Flag Kolom Tambahan pada
transaksi /GOOG/SLT_SETTINGS saat mengonfigurasi replikasi.
Jika opsi Flag Kolom Tambahan ditentukan, maka kolom berikut akan ditambahkan ke skema untuk tabel BigQuery target:
| Nama kolom | Jenis data | Deskripsi |
|---|---|---|
operation_flag
|
STRING
|
Mengidentifikasi jenis perubahan dalam tabel sumber yang memicu pemuatan atau replikasi kumpulan data ke BigQuery.
Untuk menghitung kumpulan data yang disisipkan dalam mode replikasi, buat kueri
kumpulan data yang memiliki nilai
Untuk menghitung kumpulan data yang disisipkan dalam mode pemuatan awal, buat kueri
kumpulan data yang memiliki nilai |
is_deleted
|
BOOLEAN
|
Jika true, menunjukkan bahwa data sumber telah
dihapus dari tabel sumber.
Untuk menghitung kumpulan data saja dalam tabel BigQuery yang
belum dihapus dari tabel sumber, gunakan
kolom |
recordstamp
|
TIMESTAMP
|
Waktu saat Server Replikasi SAP LT mengirim data ke BigQuery. Untuk menghitung jumlah kumpulan data unik dalam tabel BigQuery, hanya buat kueri instance yang terakhir dimasukkan dalam setiap kumpulan data. Untuk contoh kueri, lihat Membuat kueri total jumlah kumpulan data dalam tabel BigQuery. |
Setelan saat ini opsi Flag Kolom Tambahan disimpan dalam tabel konfigurasi /GOOG/BQ_MASTR.
Untuk mengetahui informasi selengkapnya tentang cara menentukan Flag Kolom Tambahan, lihat:
- Jika Server Replikasi SAP LT berjalan di VM Compute Engine, lihat Menentukan pembuatan tabel dan atribut umum lainnya.
- Jika Server Replikasi SAP LT berjalan di host yang berada di luar Google Cloud, lihat Menentukan pembuatan tabel dan atribut umum lainnya.
Partisi tabel
Anda dapat membuat tabel BigQuery yang dipartisi berdasarkan kolom stempel waktu dalam tabel sumber, yang membuat tabel berpartisi kolom unit waktu, atau berdasarkan waktu saat data dimasukkan ke dalam BigQuery, yang membuat tabel berpartisi berdasarkan waktu penyerapan.
Aktifkan partisi dengan menentukan jenis partisi pada kolom Jenis Partisi di /GOOG/BQ_TABLE saat mengonfigurasi properti
replikasi.
Jenis partisi yang dapat Anda tentukan akan menyesuaikan tingkat perincian partisi menurut jam, hari, bulan, atau tahun.
Agar dapat menggunakan stempel waktu dari tabel sumber untuk partisi kolom unit waktu, tentukan nama kolom sumber di kolom Kolom Partisi.
Agar dapat menggunakan waktu penyisipan BigQuery untuk partisi waktu penyerapan, Anda dapat mengosongkan Kolom Partisi. BigQuery Connector untuk SAP membuat kolom dalam tabel target untuk menyimpan waktu penyisipan.
Properti kolom target
Secara default, BigQuery Connector untuk SAP menggunakan nama kolom dan jenis data dalam tabel sumber SAP sebagai nama kolom dan jenis data dalam BigQuery target.
Secara opsional, sebelum tabel target dibuat, Anda dapat menyesuaikan nama kolom atau mengubah jenis data BigQuery.
Menyesuaikan nama kolom target
Sebelum tabel dibuat, Anda dapat menyesuaikan nama kolom target.
Jika perlu, BigQuery Connector untuk SAP dapat mengubah nama kustom yang Anda tentukan agar sesuai dengan konvensi penamaan BigQuery.
Saat mengonfigurasi replikasi, Anda dapat melihat nama kolom di layar
pemetaan kolom dalam transaksi /GOOG/SLT_SETTINGS. BigQuery
Connector untuk SAP menyimpan setelan Anda dalam tabel konfigurasi /GOOG/BQ_FIELD.
Sebelum tabel dibuat, Anda dapat menentukan nama kolom kustom dengan mengedit nama yang dihasilkan di kolom Nama Kolom Sementara pada layar pemetaan kolom. Jika Anda menghapus nilai dan mengosongkan kolom Nama Kolom Sementara, BigQuery Connector untuk SAP akan menggunakan nama kolom sumber untuk nama kolom target.
Setelah melakukan pengeditan pada Nama Kolom Sementara, saat Anda mengklik Simpan, BigQuery Connector untuk SAP akan memvalidasi nilainya, menerapkan konvensi penamaan BigQuery sebagaimana diperlukan, dan menyimpan perubahannya. Anda dapat memvalidasi nilai tanpa menyimpannya dengan menekan Masuk.
Untuk mengetahui informasi tentang cara menetapkan metode penamaan default untuk kolom target, lihat Opsi penamaan default untuk kolom.
Menggunakan spreadsheet atau file teks untuk mengedit peta kolom BigQuery
Sebelum membuat tabel BigQuery target, Anda dapat memilih untuk menyimpan jenis data, nama, dan deskripsi default kolom target ke dalam spreadsheet atau file teks, sehingga data engineer atau administrator BigQuery dapat mengedit nilai tersebut tanpa memerlukan akses ke Server Replikasi SAP LT.
Setelah nilai diedit, Anda harus mengonversi file dan kontennya
ke dalam format nilai yang dipisahkan koma (CSV). Selanjutnya, Anda dapat menerapkan update
tersebut ke setelan transfer massal dengan mengupload file CSV menggunakan
transaksi kustom /GOOG/SLT_SETTINGS.
Proses pengeditan peta kolom BigQuery menggunakan file CSV mencakup langkah-langkah berikut:
- Buat spreadsheet atau file teks pemetaan kolom default.
- Edit the values.
- Konversikan spreadsheet atau file teks ke dalam format CSV.
- Upload file CSV.
Untuk mendapatkan petunjuk mendetail setiap langkah ini, lihat Mengedit peta kolom BigQuery dalam file CSV.
Konvensi penamaan BigQuery untuk kolom
Konvensi penamaan BigQuery hanya menggunakan huruf kecil, angka, dan garis bawah.
BigQuery Connector untuk SAP menerapkan konvensi penamaan BigQuery ke nilai input apa pun yang akan digunakan untuk nama kolom target.
Misalnya, jika Anda memasukkan FIELD-@#!*123 sebagai nama kolom kustom, maka
BigQuery Connector untuk SAP akan mengubah namanya menjadi field_123.
Untuk mengetahui informasi selengkapnya tentang konvensi penamaan BigQuery untuk kolom, lihat Nama kolom.
Pemetaan jenis data
Secara default, BigQuery Connector untuk SAP menetapkan jenis data ke kolom BigQuery target berdasarkan ragam jenis SAP atau jenis data SAP kolom SAP sumber.
Saat mengonfigurasi replikasi, Anda dapat melihat jenis data di layar
pemetaan kolom transaksi /GOOG/SLT_SETTINGS. BigQuery
Connector untuk SAP menyimpan setelan Anda dalam tabel konfigurasi /GOOG/BQ_FIELD.
Sebelum tabel dibuat, Anda dapat mengubah spesifikasi jenis data default ke jenis data BigQuery lain di kolom Element Data Eksternal layar pemetaan kolom.
Jenis data yang memerlukan penanganan khusus
Beberapa jenis data SAP memerlukan penanganan khusus agar dapat direpresentasikan secara akurat dalam tabel BigQuery target.
Anda harus menangani sendiri beberapa jenis data ini. BigQuery Connector untuk SAP akan menangani hal lainnya untuk Anda.
Boolean
Untuk boolean, SAP menggunakan jenis data CHAR, yang secara default, BigQuery Connector untuk SAP petakan ke jenis data STRING dalam
tabel BigQuery target.
Oleh karena itu, untuk boolean, saat mengonfigurasi replikasi menggunakan
transaksi /GOOG/SLT_SETTINGS, Anda perlu
mengubah penetapan jenis data default
untuk kolom boolean dari STRING menjadi BOOLEAN dalam
layar pemetaan kolom.
Stempel waktu
Untuk stempel waktu, SAP menggunakan jenis data P (dikemas dalam desimal) atau DEC
(desimal), yang secara default, BigQuery Connector untuk SAP petakan ke
NUMERIC dalam tabel BigQuery target.
Oleh karena itu, untuk stempel waktu, saat mengonfigurasi replikasi menggunakan
transaksi /GOOG/SLT_SETTINGS, Anda perlu
mengubah penetapan jenis data default
untuk kolom stempel waktu dari NUMERIC menjadi TIMESTAMP atau
TIMESTAMP (LONG) di layar pemetaan kolom.
Ragam jenis SAP X
Ragam jenis SAP X adalah heksadesimal dan direpresentasikan oleh jenis data SAP RAW,
RAWSTRING, atau LRAW. Secara default, BigQuery Connector untuk SAP
akan memetakan jenis data ini ke STRING dalam tabel BigQuery
sumber.
Jika Anda memerlukan kolom sumber dengan ragam jenis SAP X untuk dipetakan ke BYTES,
Anda perlu mengubah penetapan jenis data default untuk kolom tersebut
dalam layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS.
Ragam jenis SAP X terkadang juga digunakan dalam SAP untuk merepresentasikan bilangan bulat.
Dalam hal ini, BigQuery Connector untuk SAP akan memeriksa jenis data dalam
kolom sumber untuk salah satu jenis data SAP untuk bilangan bulat, INT1, INT2,
INT4, INT8, dan menetapkan jenis data INTEGER dalam tabel
BigQuery target.
Ragam jenis SAP y
Ragam jenis SAP y adalah string byte dan direpresentasikan oleh jenis data SAP RAW,
RAWSTRING, atau LRAW. Secara default, BigQuery Connector untuk SAP
akan memetakan jenis data ini ke STRING dalam tabel BigQuery
sumber.
Jika Anda memerlukan kolom sumber dengan ragam jenis SAP y untuk dipetakan ke BYTES,
Anda perlu mengubah penetapan jenis data default untuk kolom tersebut
dalam layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS.
Pemetaan jenis data default
Tabel berikut menampilkan konversi jenis data default BigQuery Connector untuk SAP:
| Ragam jenis SAP | Jenis data SAP | Jenis data BigQuery | Catatan |
|---|---|---|---|
b (bilangan bulat 1 byte)s (bilangan bulat 2 byte)I (Bilangan Bulat 4 byte)8 (bilangan bulat 8 byte)
|
INT1INT2INT4INT8
|
INTEGER |
|
F (float)
|
FLTP
|
FLOAT |
|
P (dikemas)
|
CURRDECQUAN
|
NUMERIC |
Secara default, ragam jenis SAP P dipetakan ke
jenis data BigQuery NUMERIC dan dikonversi
menjadi angka dalam format eksternal. |
a (bilangan mengambang desimal, 16 angka)
|
DECFLOAT16 |
NUMERIC |
|
e (bilangan mengambang desimal, 16 angka)
|
DECFLOAT34 |
NUMERIC |
|
N (numerik) |
NUMC |
STRING |
|
X (heksadesimal)y (string byte)
|
RAWRAWSTRINGLRAW
|
STRING |
Jika ragam jenis SAP adalahX, tetapi nama jenis datanya mencakup
pola 'INT*' (INT1, INT2, INT4), elemen data sumber diganti
dengan elemen data baru TYPINT8 dengan TYPEKIND '8', yang dipetakan
ke jenis data BigQuery INTEGER. |
C (karakter)g (string karakter)? (csequence)& (clike)
|
CHARSTRING |
STRING |
|
D (tanggal) |
DATS |
DATE |
|
T (waktu) |
TIMS |
TIME |
Pemberian Lisensi
BigQuery Connector untuk SAP tersedia sebagai "Software" berdasarkan perjanjian yang mengatur penggunaan Google Cloud Platform oleh Anda, termasuk Persyaratan Khusus Layanan yang tersedia di https://cloud.google.com/terms/service-terms. Tanpa membatasi umumnya persyaratan sebelumnya, Anda tidak boleh memodifikasi atau mendistribusikan BigQuery Connector untuk SAP tanpa izin tertulis yang jelas dari Google.
Software BigQuery Connector untuk SAP ditawarkan tanpa biaya. Agar lebih jelas, penggunaan "Software" dan "Layanan" lain oleh Anda berdasarkan perjanjian yang mengatur penggunaan Google Cloud Platform oleh Anda, seperti BigQuery dan BigQuery streaming API, dapat dikenai biaya.
BigQuery Connector untuk SAP tidak mencakup lisensi apa pun untuk software SAP, termasuk, tetapi tidak terbatas pada Server Replikasi SAP LT. Harap lakukan pembelanjaan lisensi yang sesuai secara terpisah untuk software SAP.
Siklus proses dukungan
Google Cloud mendukung dan mengelola versi utama BigQuery Connector untuk SAP saat ini dan, selama minimal 12 bulan setelah publikasi pemberitahuan penghentian di halaman Catatan Rilis untuk SAP di Google Cloud, versi utama sebelumnya.