Panduan perencanaan BigQuery Connector untuk SAP

Panduan perencanaan ini membantu administrator SAP dan Google Cloud dengan informasi yang mereka butuhkan untuk merencanakan replikasi data SAP ke BigQuery dengan menggunakan versi 2.7 (terbaru) dari BigQuery Connector untuk SAP dengan Server Replikasi SAP LT.

BigQuery Connector untuk SAP diinstal ke Server Replikasi Transformasi Lanskap SAP (Server Replikasi SAP LT) dan memungkinkan replikasi data SAP yang mendekati real-time langsung ke BigQuery.

Dengan data di BigQuery, Anda dapat menjalankan analytics real time dengan kecerdasan buatan atau machine learning pada data aplikasi SAP secara langsung. Di BigQuery, Anda juga dapat mengintegrasikan data SAP dengan data dari sumber lain.

Panduan ini mencakup topik berikut:

Guna mengetahui petunjuk langkah demi langkah untuk menginstal dan mengonfigurasi replikasi Server Replikasi SAP LT dengan BigQuery Connector untuk SAP, baca panduan konfigurasi dan penginstalan BigQuery Connector untuk SAP.

Untuk mengetahui informasi tentang BigQuery, lihat Apa itu BigQuery?.

Untuk informasi tentang akselerator solusi untuk pemodelan data SAP di BigQuery, lihat Google Cloud Cortex Framework.

Ringkasan BigQuery Connector untuk SAP

BigQuery Connector untuk SAP menggunakan antarmuka dan kemampuan standar Server Replikasi Transformasi Lanskap SAP dan mendukung semua sumber data yang Dukungan SAP LT Replikasi Server.

BigQuery Connector untuk SAP disediakan oleh Google Cloud dalam bentuk file transport yang Anda instal ke Server Replikasi SAP LT.

Download paket penginstalan yang berisi file transport sebelum Anda mulai menginstal BigQuery Connector untuk SAP. Meskipun BigQuery Connector untuk SAP ditawarkan tanpa biaya, Anda memerlukan Akun Penagihan Cloud untuk menerima paket instalasi. Untuk mengetahui informasi selengkapnya, lihat Mendownload paket penginstalan.

BigQuery Connector untuk SAP adalah implementasi Google Cloud dari Add-In Bisnis (BAdI) untuk Server Replikasi SAP LT. BigQuery Connector untuk SAP dikembangkan oleh Google Cloud dengan mengikuti proses SDK Server Replikasi SAP LT.

Konektor BigQuery untuk SAP memanfaatkan fitur pengambilan data perubahan dari Server Replikasi SAP LT.

Pemrosesan data

BigQuery Connector untuk SAP mengirimkan kumpulan data SAP langsung ke BigQuery dari Server Replikasi SAP LT tanpa alat atau lapisan integrasi data perantara.

Setelah menerima kumpulan data, BigQuery akan menambahkannya ke tabel dengan mode hanya sisipkan. Jika BigQuery menerima pembaruan pada kumpulan data yang sudah ada dalam tabel BigQuery, BigQuery akan memasukkan instance kumpulan data baru ke dalam tabel tersebut tanpa mengubah instance yang ada. Instance kumpulan data yang baru saja dimasukkan mencerminkan status kumpulan data saat ini dalam tabel sumber.

BigQuery Connector untuk SAP hanya memungkinkan transformasi data yang minimal, sesuai dengan model extract, load, transform (ELT), bukan model extract, transform, load (ETL). Untuk mengetahui informasi selengkapnya tentang model ini, lihat Prosedur dan pola untuk pipeline data.

BigQuery Connector untuk SAP otomatis menyarankan kolom, nama kolom, dan jenis data untuk tabel target berdasarkan data sumber. Sebelum tabel BigQuery target dibuat, Anda dapat mengubah nilai yang disarankan sesuai kebutuhan.

Nama yang disarankan untuk kolom target didasarkan pada deskripsi kolom dalam tabel sumber. Untuk mengetahui informasi selengkapnya, lihat Opsi penamaan default untuk kolom.

Meskipun BigQuery Connector untuk SAP otomatis menyarankan jenis data BigQuery untuk sebagian besar kolom, nilai boolean, stempel waktu, dan heksadesimal tidak dapat diinterpretasikan secara otomatis, sehingga Anda perlu memetakannya secara manual. Untuk mengetahui informasi selengkapnya, lihat Pemetaan jenis data.

BigQuery Connector untuk SAP menyediakan beberapa spot peningkatan kualitas tempat Anda dapat memasukkan peningkatan kustom sendiri ke dalam kode BigQuery Connector untuk SAP. Untuk mengetahui informasi selengkapnya, lihat Exit peningkatan.

Jika tabel target belum ada di BigQuery, maka BigQuery Connector untuk SAP akan membuatnya.

Setelah replikasi dimulai, kumpulan data SAP ditambahkan ke BigQuery dalam mode hanya sisipkan.

Keamanan

Anda mengontrol akses ke BigQuery Connector untuk SAP di Server Replikasi SAP LT menggunakan sistem otorisasi berbasis peran Server Replikasi SAP LT. Saat Anda menginstal BigQuery Connector untuk SAP, file transport menyertakan peran khusus untuk BigQuery Connector untuk SAP. Untuk mengetahui informasi selengkapnya tentang peran khusus, lihat Keamanan SAP.

Anda mengontrol akses ke Google Cloud dan BigQuery menggunakan autentikasi dan otorisasi Identity and Access Management dan Autentikasi BigQuery API. Untuk informasi selengkapnya, lihat keamanan Google Cloud.

Untuk komunikasi antara BigQuery Connector untuk SAP dan BigQuery, BigQuery Connector untuk SAP menggunakan komunikasi HTTPS end-to-end dan SSL.

Untuk informasi dari SAP tentang otorisasi, lihat Panduan Keamanan untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.

Skalabilitas

Untuk volume yang sangat besar, seperti miliaran kumpulan data dengan jutaan delta, BigQuery Connector untuk SAP menggunakan fungsi penskalaan dan partisi Server Replikasi SAP LT untuk memparalelkan ekstraksi data dalam skala besar. Untuk mengetahui informasi selengkapnya, lihat Panduan Ukuran untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.

Di sisi BigQuery, Konektor BigQuery untuk SAP menggunakan BigQuery streaming API untuk menskalakan pemuatan data.

Arsitektur penginstalan

Instal BigQuery Connector untuk SAP sebagai Business Add-In (BAdI) dalam instance Server Replikasi SAP LT.

Instance Server Replikasi SAP LT dapat berada di Google Cloud, infrastruktur lokal, atau di penyedia cloud lainnya. Di mana pun Server Replikasi SAP LT berjalan, server tersebut harus berada sedekat mungkin dengan sistem sumber. Bekerja samalah dengan tim jaringan Anda untuk memastikan latensi rendah dan throughput yang tinggi antara sistem SAP sumber, Server Replikasi SAP LT, dan set data BigQuery.

Bagian berikut menjelaskan arsitektur umum yang direkomendasikan untuk BigQuery Connector untuk SAP.

Arsitektur untuk sumber data SAP di Google Cloud

Diagram berikut menunjukkan dua contoh penginstalan Server Replikasi SAP LT di Google Cloud dengan sumber data SAP di Google Cloud.

Untuk menunjukkan contoh setiap arsitektur, salah satu penginstalan menggunakan arsitektur mandiri Server Replikasi SAP LT, dengan Server Replikasi SAP LT diinstal di server terpisah, dan penginstalan lainnya menggunakan arsitektur tersemat Server Replikasi SAP LT, dengan Server Replikasi SAP LT diinstal di server sistem sumber SAP.

Instance Server Replikasi SAP LT diinstal di Google Cloud, maka BigQuery Connector untuk SAP terhubung secara langsung ke endpoint BigQuery API, tanpa memerlukan koneksi Cloud Interconnect atau Cloud VPN.

Dalam diagram, sistem SAP dan BigQuery ditampilkan dalam project Google Cloud yang berbeda, tetapi Anda dapat menggunakan project yang sama untuk keduanya, jika perlu.

Diagram dijelaskan dalam teks sebelumnya

Arsitektur untuk sumber data SAP di infrastruktur lokal atau di penyedia cloud lain

Diagram berikut menunjukkan dua contoh penginstalan Server Replikasi SAP LT yang berjalan di infrastruktur lokal atau di penyedia cloud lain.

Untuk menampilkan contoh setiap arsitektur, satu penginstalan menggunakan arsitektur mandiri Server Replikasi SAP LT dan penginstalan lainnya menggunakan arsitektur tersemat Server Replikasi SAP LT.

Dalam kedua contoh tersebut, Server Replikasi SAP LT diinstal di lingkungan yang sama dengan sumber data SAP.

Koneksi dari BigQuery Connector untuk SAP di Server Replikasi SAP LT ke BigQuery disediakan oleh koneksi Cloud Interconnect atau koneksi Cloud VPN.

Diagram dijelaskan dalam teks sebelumnya

Tampilan arsitektur mendetail tentang aliran data

Diagram berikut menunjukkan lokasi BigQuery Connector untuk SAP sesuai dengan aliran data Server Replikasi SAP LT.

Angka dalam diagram dijelaskan di diagram selanjutnya.

Diagram dijelaskan dalam teks sebelumnya

Penjelasan bernomor berikut sesuai dengan angka dalam diagram:

  1. Setelah Server Replikasi SAP LT diinisialisasi, saat kumpulan data dalam tabel sumber disisipkan, diperbarui, atau dihapus, database akan mencatat perubahan dalam tabel logging.
  2. Server Replikasi SAP LT terus memeriksa tabel logging untuk menemukan entri yang menggunakan panggilan RFC.
  3. Jika Server Replikasi SAP LT menemukan entri baru, mesin Baca akan membaca kumpulan data dan memanggil mesin Pemetaan dan transformasi.
  4. Mesin Pemetaan dan transformasi memanggil mesin Tulis, yang memanggil BigQuery Connector untuk SAP.
  5. BigQuery Connector untuk SAP melakukan tindakan berikut:
    1. Memetakan data SAP ke nama tabel target, nama kolom, dan jenis data BigQuery.
    2. Membuat tabel BigQuery, jika diperlukan.
    3. Mengirim kumpulan data ke BigQuery dalam beberapa potongan melalui BigQuery streaming API.
  6. Setelah menerima data, BigQuery akan melakukan tindakan berikut:
    1. Melakukan pemeriksaan validasi.
    2. Menyisipkan kumpulan data ke dalam tabel target.
    3. Mengirim respons kode status HTTP 200 (OK) ke BigQuery Connector untuk SAP.
  7. BigQuery Connector untuk SAP meneruskan respons kode status OK HTTP ke Server Replikasi SAP LT, yang menghapus entri yang direplikasi dari tabel logging dan membebaskan resource pada sistem sumber SAP.

Persyaratan software

Bagian ini menjelaskan persyaratan software untuk BigQuery Connector untuk SAP.

Anda dapat menginstal BigQuery Connector untuk SAP di Server Replikasi SAP LT di Google Cloud, infrastruktur lokal, atau di cloud publik, seperti AWS, Azure, dan sebagainya.

Persyaratan versi software SAP

Versi Server Replikasi SAP LT yang diperlukan dan sistem sumber SAP berbeda, bergantung pada apakah Anda menginstal Server Replikasi SAP LT di servernya sendiri dalam arsitektur mandiri atau dalam sistem aplikasi ABAP sumber pada arsitektur yang disematkan ini.

Persyaratan software SAP juga berbeda, bergantung pada sistem SAP yang Anda gunakan sebagai sumber data: SAP S/4HANA atau SAP ECC.

Untuk melihat versi software SAP yang didukung Google Cloud untuk BigQuery Connector untuk SAP, pilih tab yang sesuai dengan sistem sumber SAP Anda:

S/4HANA

Arsitektur penginstalan Image Versi yang didukung Add-On Antarmuka Pengguna (UI)
Mandiri Sistem Sumber
  • Versi NetWeaver 7.5 atau versi yang lebih baru atau versi ABAP Platform apa pun.

    Untuk memastikan bahwa versi DMIS pada sistem sumber dan target kompatibel, lihat SAP Note 2577774.

  • Add-on SLT: DMIS 2011 SP15, DMIS 2018 SP00, DMIS 2020, atau S4CORE versi apa pun.

Pastikan bahwa Add-On UI adalah versi terbaru yang kompatibel dengan versi SAP NetWeaver Anda, seperti yang direkomendasikan oleh SAP.

/UI2/CL_JSON: PL12 atau yang lebih baru.

Untuk informasi tentang versi minimum Add-On UI yang diperlukan, lihat "Support Package" di koreksi SAP Note 22798102 - /UI2/CL_JSON - PL12.

Untuk mengetahui informasi tentang kompatibilitas Add-On UI dengan SAP NetWeaver, lihat:

Sistem Server Replikasi SAP LT
  • NetWeaver 7.0 (dengan EHP2) atau yang lebih baru atau versi ABAP Platform apa pun.
  • Add on SLT: DMIS 2011 SP15 atau yang lebih baru, DMIS 2018 SP00 atau yang lebih baru, atau DMIS 2020 SP00 atau yang lebih baru.
Tersemat Sistem Sumber
  • NetWeaver 7.5 atau yang lebih baru atau versi ABAP Platform apa pun.
  • Add on SLT: DMIS 2011 SP15 atau yang lebih baru, DMIS 2018 SP00 atau yang lebih baru, DMIS 2020 atau yang lebih baru, atau S4CORE versi apa pun.

ECC

Arsitektur penginstalan Image Versi yang didukung Add-On Antarmuka Pengguna (UI)
Mandiri Sistem Sumber
  • NetWeaver 7.0 (dengan EHP2) atau yang lebih baru.

    Untuk memastikan versi DMIS pada sistem sumber dan target kompatibel, lihat SAP Note 2577774.

    Jika versi DMIS kompatibel, Anda dapat menggunakan versi sebelumnya versi baru ECC.

  • Add on SLT: DMIS 2011 SP15 atau yang lebih baru, atau DMIS 2018 SP00 atau yang lebih baru.

Pastikan bahwa Add-On UI adalah versi terbaru yang kompatibel dengan versi SAP NetWeaver Anda, seperti yang direkomendasikan oleh SAP.

/UI2/CL_JSON: PL12 atau yang lebih baru.

Untuk informasi tentang versi minimum Add-On UI yang diperlukan, lihat "Support Package" di koreksi SAP Note 22798102 - /UI2/CL_JSON - PL12.

Untuk mengetahui informasi tentang kompatibilitas Add-On UI dengan SAP NetWeaver, lihat:

Sistem Server Replikasi SAP LT
  • NetWeaver 7.0 (dengan EHP2) atau yang lebih baru.
  • Add on SLT: DMIS 2011 SP15 atau yang lebih baru, atau DMIS 2018 SP00 atau yang lebih baru.
Tersemat Sistem Sumber
  • NetWeaver 7.0 (dengan EHP2) atau yang lebih baru.
  • Add on SLT: DMIS 2011 SP15 atau yang lebih baru, atau DMIS 2018 SP00 atau yang lebih baru.

Persyaratan sistem operasi

BigQuery Connector untuk SAP mendukung semua sistem operasi yang didukung oleh Server Replikasi SAP LT.

Untuk mengetahui informasi tentang sistem operasi yang didukung Server Replikasi SAP LT, lihat Matriks Ketersediaan Produk SAP.

Sumber replikasi yang didukung

BigQuery Connector untuk SAP mendukung sebagian besar sistem sumber database dan aplikasi yang biasa digunakan dan didukung oleh Server Replikasi SAP LT.

Sumber aplikasi SAP yang didukung

Anda dapat mereplikasi data dari sumber aplikasi SAP yang didukung Server Replikasi SAP LT. Konektor BigQuery untuk SAP mendukung versi aplikasi perusahaan utama dalam pemeliharaan sebagai sumber data, serta seperti aplikasi lama. Beberapa aplikasi SAP yang didukung meliputi:

  • SAP Business Suite 7
  • S/4HANA
  • Aplikasi SAP yang berjalan di SAP NetWeaver

Untuk mereplikasi data dari SAP Business Warehouse, SAP merekomendasikan untuk tidak menggunakan Server Replikasi SAP LT. Untuk mengetahui informasi selengkapnya dari SAP, lihat SAP Note 2525755.

Aplikasi SAP Cloud, seperti S/4HANA Cloud, SAP Ariba, SAP SuccessFactors, dan lainnya, tidak didukung.

Sumber data yang didukung

Anda hanya dapat mereplikasi tabel cluster atau transparan.

BigQuery Connector untuk SAP tidak mendukung replikasi tabel virtual SAP Core Data Services (CDS).

Di Alat Desain Informasi, BigQuery didukung mulai dari SAP BusinessObjects Business Intelligence 4.3 sebagai sumber data. Anda dapat membuat kueri data yang disimpan di BigQuery dari SAP BusinessObjects seperti SAP BusinessObjects Web Intelligence dan SAP Crystal Reports for Enterprise.

Untuk mengetahui informasi selengkapnya tentang kompatibilitas, periksa SAP Note 2750723 - Dukungan Google BigQuery dalam produk platform SAP BI.

Keamanan

Saat menerapkan keamanan untuk replikasi data dari Server Replikasi SAP LT ke BigQuery, Anda perlu menerapkan kontrol keamanan di Server Replikasi SAP LT, sistem operasi host Server Replikasi SAP LT, dan di Google Cloud.

Keamanan SAP

Untuk mengontrol siapa yang dapat mengonfigurasi dan menggunakan BigQuery Connector untuk SAP di Server Replikasi SAP LT, Anda harus menggunakan otorisasi berbasis peran SAP standar.

BigQuery Connector untuk SAP memberikan ZGOOG_MTID objek otorisasi sebagai bagian dari penginstalan transport.

Untuk mengonfigurasi dan menjalankan tugas replikasi data yang menggunakan BigQuery Connector untuk SAP, Anda dapat menentukan peran yang memiliki akses administratif dalam Server Replikasi SAP LT, seperti yang dijelaskan dalam Membuat peran dan otorisasi SAP BigQuery Connector untuk SAP.

Misalnya, Anda dapat menentukan peran yang disebut ZGOOGLE_BIGQUERY_ADMIN yang memiliki semua otorisasi SAP dan otorisasi ZGOOG_MTID, yang diperlukan untuk mengonfigurasi dan mengoperasikan replikasi data ke BigQuery menggunakan BigQuery Connector untuk SAP.

Untuk mengetahui informasi selengkapnya dari SAP tentang peran dan otorisasi, lihat Panduan Keamanan untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.

Keamanan Google Cloud

Menerapkan keamanan di Google Cloud untuk BigQuery Connector untuk SAP dapat melibatkan kontrol keamanan berikut:

  • Izin, peran, akun layanan, dan kunci Identity and Access Management (IAM).
  • Kontrol BigQuery yang ditetapkan di level set data atau tabel.
  • Kontrol layanan Virtual Private Cloud (VPC) untuk layanan berbasis API seperti BigQuery.
  • Endpoint Private Service Connect yang memungkinkan penggunaan layanan secara pribadi, seperti BigQuery, di seluruh jaringan VPC.

Google Cloud Identity and Access Management

Untuk autentikasi dan otorisasi BigQuery Connector untuk SAP, Anda memerlukan akun layanan IAM di project Google Cloud yang berisi set data BigQuery.

Untuk otorisasi guna berinteraksi dengan resource BigQuery, berikan peran ke akun layanan yang berisi izin untuk berinteraksi dengan BigQuery dalam project BigQuery.

Jika membuat akun layanan di project BigQuery, Anda dapat memberikan peran yang diperlukan saat membuat akun layanan dan akun layanan tersebut menjadi akun utama di project BigQuery secara otomatis.

Izin yang diperlukan BigQuery Connector untuk SAP guna mengakses BigQuery terdapat dalam peran IAM berikut:

  • Editor Data BigQuery
  • BigQuery Job User

Jika Server Replikasi SAP LT berjalan di VM Compute Engine, Anda juga harus memberikan peran Service Account Token Creator ke akun layanan VM host.

Jika Server Replikasi SAP LT berjalan di infrastruktur lokal atau di platform cloud lain, selain membuat akun layanan, Anda juga perlu membuat kunci akun layanan untuk BigQuery Connector untuk SAP. Administrator SAP Anda menginstal kunci tersebut di host Server Replikasi SAP LT. Saat BigQuery Connector untuk SAP terhubung ke BigQuery, Server Replikasi SAP LT akan menggunakan kunci akun layanan untuk melakukan autentikasi dengan Google Cloud.

Kunci akun layanan tidak diperlukan saat Server Replikasi SAP LT berjalan di Google Cloud.

Untuk mengetahui informasi selengkapnya tentang IAM, akun layanan, peran, dan izin, lihat:

Kontrol akses set data dan tabel BigQuery

Selain kontrol IAM, Anda juga dapat mengontrol akses menggunakan BigQuery. Untuk BigQuery Connector untuk SAP, Anda dapat menetapkan kontrol akses pada set data dan tabel.

Untuk informasi selengkapnya, lihat:

Kontrol Layanan VPC

Di Google Cloud, aturan firewall VPC tidak berlaku untuk interaksi berbasis API dengan BigQuery. Sebagai gantinya, Anda dapat menggunakan Layanan Virtual Private Cloud (VPC) Kontrol untuk membatasi lalu lintas.

Jika workload SAP Anda berjalan di Google Cloud, Anda dapat mengimplementasikan kontrol layanan VPC dengan menentukan perimeter layanan. Untuk mengetahui informasi selengkapnya, lihat Perimeter layanan.

Jika workload SAP Anda tidak berjalan di Google Cloud, Anda dapat menerapkan kontrol layanan VPC sebagai bagian dari penyiapan Akses Google Pribadi untuk host lokal.

Untuk mengetahui informasi selengkapnya tentang keamanan jaringan untuk BigQuery, lihat Keamanan jaringan.

Endpoint Private Service Connect

Jika Anda ingin menyiapkan endpoint di jaringan VPC yang mengizinkan penggunaan layanan yang dikelola Google secara pribadi seperti BigQuery, Anda dapat menggunakan Private Service Connect.

Private Service Connect memungkinkan Anda membuat endpoint pribadi yang menggunakan alamat IP internal dari rentang CIDR VPC untuk mengakses Google API dan Layanan Google. Anda juga dapat menggunakan Private Service Connect guna membuat nama DNS pribadi kustom untuk BigQuery streaming API. Untuk mengetahui informasi selengkapnya, lihat Private Service Connect.

Untuk Konektor BigQuery untuk SAP yang berjalan di host di luar Google Cloud, Private Service Connect tidak didukung.

Informasi selengkapnya tentang keamanan Google Cloud

Untuk mengetahui informasi selengkapnya tentang akun, peran, dan izin keamanan, lihat:

Jaringan

Saat merencanakan jalur jaringan untuk replikasi ke BigQuery, pertimbangkan hal berikut:

  • Bandwidth
  • Latensi dan dampaknya terhadap penggunaan resource pada host Server Replikasi SAP LT
  • Volume data dan dampaknya terhadap muatan jaringan yang ada
  • Jika workload SAP Anda tidak berjalan di Google Cloud, jenis koneksi yang dapat digunakan adalah: Cloud Interconnect atau Cloud VPN

Menghubungkan ke Google Cloud

Jika sistem SAP Anda tidak berjalan di Google Cloud dan Anda belum memiliki koneksi dari sistem SAP ke Google Cloud, Anda harus membuat koneksi dan mengonfigurasi akses pribadi ke Google Cloud API.

Anda dapat membuat koneksi ke Google Cloud menggunakan Cloud Interconnect atau Cloud VPN.

Cloud Interconnect biasanya memberikan bandwidth yang lebih tinggi, latensi yang lebih rendah, dan pertentangan jaringan yang lebih rendah daripada Cloud VPN. Untuk tugas replikasi bervolume tinggi dan sensitif performa, Google Cloud merekomendasikan Cloud Interconnect untuk BigQuery Connector untuk SAP.

Dengan Cloud VPN, data replikasi Anda berpindah melalui internet publik, sehingga pertentangan jaringan kurang dapat diprediksi dan latensinya biasanya lebih tinggi.

Apa pun opsi koneksinya, Anda harus meninjau semua traffic yang Anda harapkan akan didukung oleh koneksi tersebut. Tentukan apakah koneksi memiliki bandwidth dan kecepatan jaringan yang memadai untuk mendukung tugas replikasi dan workload lain tanpa memberikan dampak negatif.

Koneksi yang lambat dapat meningkatkan penggunaan resource di server sumber SAP dan host Server Replikasi SAP LT dengan memperpanjang waktu yang diperlukan untuk menyelesaikan tugas resource, sehingga resource yang diperlukan untuk replikasi tetap terikat untuk jangka waktu yang lebih lama.

Untuk mengetahui informasi selengkapnya tentang opsi koneksi Anda:

Agar dapat menggunakan server proxy untuk mengirim permintaan HTTP ke Google Cloud, sebaiknya gunakan tujuan RFC yang ditentukan dalam transaksi SM59.

Tujuan RFC

File transport BigQuery Connector untuk SAP berisi contoh tujuan RFC berikut dalam transaksi SM59. Tujuan RFC ini adalah koneksi HTTP ke Server Eksternal (Jenis G) dan terhubung ke endpoint API publik masing-masing layanan.

Contoh nama tujuan RFC Host target (endpoint API) Catatan
GOOG_BIGQUERY https://bigquery.googleapis.com Tujuan RFC ini menargetkan BigQuery API.
GOOG_IAMCREDENTIALS https://iamcredentials.googleapis.com Tujuan RFC ini menargetkan IAM API.
GOOG_OAUTH2_TOKEN https://googleapis.com/oauth2 Tujuan RFC ini menargetkan endpoint Google Cloud untuk autentikasi berbasis OAuth 2.0. Gunakan metode ini untuk workload SAP yang berjalan di luar Google Cloud dan hanya saat Anda ingin melakukan autentikasi ke Google Cloud menggunakan JSON Web Token (JWT).

Menggunakan tujuan RFC untuk terhubung ke Google Cloud akan memberikan keuntungan berikut:

  • Jika Anda menggunakan server proxy dalam lanskap SAP dan ingin menggunakannya untuk mengirim permintaan HTTP ke Google Cloud, Anda dapat mengonfigurasi server proxy di tujuan RFC.

  • Jika ingin mengaktifkan akses ke layanan dan Google Cloud API melalui endpoint Private Service Connect, maka Anda dapat membuat endpoint tersebut di project Google Cloud, lalu menentukan endpoint-nya di tujuan RFC.

  • Anda dapat menggunakan kompresi HTTP, yang direkomendasikan Google Cloud untuk replikasi lintas-region, tempat sistem sumber SAP dan set data BigQuery ditempatkan di region Compute Engine yang berbeda.

Untuk menggunakan tujuan RFC agar dapat terhubung ke layanan atau Google Cloud API, Anda harus membuat entri dalam tabel /GOOG/SERVIC_MAP yang memetakan tujuan RFC ke tabel /GOOG/CLIENT_KEY. Untuk mengetahui langkah-langkah konfigurasi, lihat panduan konfigurasi dan penginstalan BigQuery Connector untuk SAP untuk skenario Anda.

Kompresi HTTP

Saat menggunakan tujuan RFC guna menyiapkan koneksi antara BigQuery Connector untuk SAP dan Google Cloud API, Anda dapat menggunakan opsi Kompresi untuk mengompresi isi permintaan HTTP. Kompresi HTTP hanya tersedia jika Anda mengonfigurasi tujuan RFC untuk menggunakan HTTP 1.1.

Sebelum mengaktifkan kompresi HTTP di lingkungan produksi, analisis parameter profil yang memengaruhi kompresi HTTP di lingkungan pengujian. Untuk mengetahui informasi selengkapnya dari SAP, lihat SAP Note 1037677 - Kompresi HTTP hanya mengompresi dokumen tertentu.

Bandwidth

Pastikan koneksi jaringan antara Server Replikasi SAP LT dan BigQuery memiliki cukup bandwidth untuk mendukung volume data dengan kecepatan yang Anda perlukan.

Koneksi jaringan yang lebih lambat meningkatkan latensi replikasi data, yang meningkatkan resource yang digunakan replikasi dalam sistem SAP sumber.

Untuk penginstalan produktif, Google Cloud merekomendasikan koneksi Cloud Interconnect. Anda juga dapat menggunakan Cloud VPN.

Latensi

Untuk mengurangi latensi pada koneksi jaringan, buat set data BigQuery target Anda sedekat mungkin dengan sistem Server Replikasi SAP LT dan sistem sumber SAP. Jika sistem SAP sumber berjalan di Google Cloud, buat set data BigQuery di region Google Cloud yang sama dengan sistem SAP sumber.

Uji latensi Anda sebelum memigrasikan penginstalan ke lingkungan produksi.

Untuk mengetahui informasi selengkapnya tentang performa jaringan, lihat Performa koneksi jaringan.

Kontrol akses jaringan

Anda dapat menerapkan kontrol akses jaringan di kedua sisi koneksi antara Server Replikasi SAP LT dan Google Cloud.

Kontrol akses jaringan Google Cloud

BigQuery Connector untuk SAP berkomunikasi dengan BigQuery melalui endpoint API, yang tidak tunduk pada aturan firewall Google Cloud VPC.

Sebagai gantinya, gunakan Kontrol Layanan VPC untuk membatasi lalu lintas.

Untuk mengetahui informasi selengkapnya tentang keamanan jaringan untuk BigQuery, lihat Keamanan jaringan.

Kontrol akses jaringan host Server Replikasi SAP LT

Di host Server Replikasi SAP LT, Anda harus memastikan bahwa setiap firewall atau proxy mengizinkan traffic keluar dari server ke endpoint BigQuery API. Secara khusus, Server Replikasi SAP LT harus dapat mengakses Google Cloud API berikut:

  • https://bigquery.googleapis.com
  • https://iamcredentials.googleapis.com

Jika ingin menggunakan endpoint Private Service Connect untuk mengakses API streaming BigQuery, pastikan Anda mengonfigurasi endpoint Private Service Connect di tabel /GOOG/SERVIC_MAP. Untuk mengetahui informasi selengkapnya, lihat panduan penginstalan dan konfigurasi untuk skenario Anda.

Perencanaan performa

Performa pemuatan awal dan tugas replikasi antara Server Replikasi SAP LT dan BigQuery dipengaruhi oleh beberapa faktor di titik yang berbeda di sepanjang jalur replikasi.

Namun, faktor dasar tertentu seperti jarak antara Server Replikasi SAP LT dan set data BigQuery atau bandwidth koneksi Anda ke Google Cloud, memiliki dampak yang lebih besar terhadap performa daripada sebagian besar faktor lainnya.

Praktik terbaik performa umum

Untuk performa terbaik, sertakan rekomendasi berikut ke dalam konfigurasi Server Replikasi SAP LT Anda:

  • Jalankan workload SAP Anda, termasuk sistem sumber SAP dan Server Replikasi SAP LT, di Google Cloud.
  • Jika workload SAP Anda ada di Google Cloud, buat set data BigQuery di region yang sama dengan workload SAP Anda.
  • Jika Anda tidak dapat menjalankan workload SAP di Google Cloud:
    • Buat set data BigQuery di region Google Cloud yang paling dekat dengan workload SAP Anda.
    • Terhubung ke Google Cloud menggunakan Cloud Interconnect.
  • Untuk menghindari pertentangan resource, gunakan host khusus terpisah untuk sistem sumber SAP dan Server Replikasi SAP LT.
  • Sesuaikan ukuran sistem Server Replikasi SAP LT secara optimal untuk workload Anda sesuai dengan Panduan Ukuran untuk versi Server Replikasi SAP LT Anda di Portal Bantuan SAP.
  • Gunakan setelan replikasi Server Replikasi SAP LT berikut:
  • Konfigurasikan BigQuery Connector untuk SAP dengan:
    • Kompresi kumpulan data default.
    • Ukuran potongan default.
  • Saat memetakan kolom ke tabel BigQuery, hindari penggunaan nama kustom, jika memungkinkan.

Untuk informasi selengkapnya, lihat:

Karakteristik tambahan yang dapat memengaruhi performa

Banyak karakteristik konfigurasi dan data Anda yang dapat memengaruhi performa. Beberapa karakteristik ini mungkin tidak dapat Anda modifikasi. Karakteristik ini meliputi:

  • Di server sumber:
    • Jumlah CPU.
    • Jumlah memori.
    • Database yang digunakan, seperti SAP HANA, SAP ASE, IBM Db2, atau lainnya.
    • Jumlah kolom dalam tabel sumber.
    • Jumlah data yang disimpan oleh setiap kumpulan data.
    • Metadata tabel, seperti panjang nama kolom.
    • Jumlah proses tugas dialog.
  • Di Server Replikasi SAP LT:
    • Jumlah CPU.
    • Jumlah memori.
    • Workload lain yang mungkin dijalankan oleh host.
    • Dialog SAP dan proses tugas latar belakang.
    • Jenis arsitektur penginstalan Server Replikasi SAP LT. Untuk mengetahui informasi selengkapnya, lihat Penginstalan mandiri (direkomendasikan) atau tersemat Server Replikasi SAP LT.
    • Jumlah tugas latar belakang yang berjalan di sistem Server Replikasi SAP LT.
    • Jumlah tugas latar belakang yang dialokasikan ke transfer massal di tab Administrasi transaksi LTRC.
    • Setelan performa transaksi LTRS, termasuk Jenis Bacaan dan Ukuran Portion.
  • Dalam konfigurasi replikasi BigQuery ( /GOOG/SLT_SETTINGS transaksi):
    • Apakah nama kustom ditentukan untuk kolom target atau tidak. Pemrosesan nama kolom BigQuery target dapat sedikit memengaruhi performa.
    • Apakah kompresi kumpulan data diaktifkan atau tidak.
    • Ukuran Potongan BigQuery Connector untuk SAP, yang dapat memengaruhi jumlah total permintaan HTTP yang dikirimkan.

Pertimbangan performa Server Replikasi SAP LT

Bagian berikut membahas opsi performa yang terkait dengan konfigurasi Server Replikasi SAP LT.

Performa dan arsitektur penginstalan Server Replikasi SAP LT

Arsitektur mandiri, tempat Server Replikasi SAP LT diinstal pada server khususnya sendiri, biasanya memberikan performa yang lebih baik daripada arsitektur tersemat, tempat Server Replikasi SAP LT diinstal pada server yang sama dengan sistem sumber.

Dalam arsitektur tersemat, Server Replikasi SAP LT harus berbagi resource server dengan sistem sumber SAP.

Bahkan dengan arsitektur mandiri, CPU dan memori host, serta workload lain yang mungkin berjalan di server, dapat memengaruhi performa instance Server Replikasi SAP LT.

Performa dan Setelan Replikasi Lanjutan LTRS

Performa replikasi dan pemuatan awal dipengaruhi oleh setelan yang Anda tentukan untuk tabel sumber dalam transaksi LTRS di bagian Setelan Replikasi Lanjutan.

Untuk panduan tentang penyesuaian performa, khususnya untuk mengoptimalkan pemuatan atau replikasi awal volume tinggi, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.

Google Cloud merekomendasikan spesifikasi berikut di bagian Setelan Replikasi Tingkat Lanjut > Performa Umum LTRS transaksi:

Untuk pemuatan awal dari sebagian besar jenis tabel, tetapkan 1 Perhitungan Rentang sebagai Jenis Bacaan. Untuk tabel yang terlalu besar bagi 1 Penghitungan Rentang, tetapkan Jenis Bacaan 5.

Untuk replikasi, di bagian Setelan Aktif:

  • Untuk replikasi tercepat, tentukan Rentang Otomatis.
  • Untuk replikasi yang lebih andal, tetapkan Tidak Ada Rentang.

Tabel berikut menyarankan setelan untuk beberapa skenario umum.

Jenis tabel Jenis bacaan yang direkomendasikan
Transparan (kecil hingga sedang) Jenis Bacaan 1 - Penghitungan Rentang
Transparan (besar) Hanya jika Jenis Bacaan 1 tidak berfungsi, Jenis Bacaan 5 - Penghitungan Rentang
Tabel cluster Jenis Bacaan 4 - Antrean Pengirim

Performa koneksi jaringan

Bandwidth dan latensi koneksi antara sistem Server Replikasi SAP LT dan BigQuery dapat memengaruhi keseluruhan performa replikasi ke BigQuery.

Dampaknya tidak hanya memengaruhi kecepatan replikasi, tetapi jumlah resource yang digunakan oleh Server Replikasi SAP LT dan sistem sumber, karena semakin lama waktu yang dibutuhkan untuk menerima konfirmasi replikasi dari BigQuery, semakin lama Server Replikasi SAP LT dan sistem sumbernya menampung resource host.

Jika workload SAP Anda berjalan di infrastruktur lokal atau penyedia cloud lainnya, Google Cloud merekomendasikan penggunaan koneksi Cloud Interconnect, yang memberikan bandwidth tinggi dan latensi rendah tanpa harus bersaing dengan traffic di internet publik.

Anda dapat menggunakan Cloud VPN untuk terhubung ke Google Cloud dan BigQuery, tetapi dengan koneksi VPN, replikasi Anda harus bersaing dengan traffic internet publik.

Jika workload SAP Anda berjalan di Google Cloud, Google Cloud akan merekomendasikan untuk meletakkan Server Replikasi SAP LT dan set data BigQuery di region yang sama. Jika Server Replikasi SAP LT dan BigQuery berada di region yang berbeda, latensi biasanya akan lebih tinggi dan performanya akan lebih buruk. Untuk mengetahui informasi selengkapnya tentang cara memilih region, lihat Memilih region dan zona.

Transmisi data

Umumnya, Anda perlu mengirim data sebanyak mungkin dalam setiap permintaan HTTP guna mengurangi jumlah keseluruhan permintaan HTTP dan overhead pemrosesan terkait.

Namun, dalam beberapa kasus, Anda mungkin perlu mengurangi jumlah data yang dikirim, baik karena ukuran kumpulan data dalam tabel tertentu, maupun karena Anda mencapai batas kuota atau batas lainnya di BigQuery.

Anda dapat mengontrol jumlah data yang dikirim dalam setiap permintaan dengan cara berikut:

  • Sesuaikan jumlah data (ukuran bagian) yang dikirim Server Replikasi SAP LT ke BigQuery Connector untuk SAP.
  • Sesuaikan jumlah data (ukuran potongan) yang dikirim BigQuery Connector untuk SAP ke BigQuery.
  • Sesuaikan kuota untuk streaming insert di project BigQuery Anda.

Menyesuaikan jumlah data yang dikirim oleh Server Replikasi SAP LT

Server Replikasi SAP LT mengirimkan kumpulan data dari sistem sumber ke BigQuery Connector untuk SAP dalam bagian. Setiap bagian ditangani sebagai tugas replikasi atau pemuatan terpisah yang menggunakan resource server hingga selesai.

Umumnya, jika meningkatkan ukuran bagian Server Replikasi SAP LT, Anda akan mengurangi jumlah proses Server Replikasi SAP LT, serta overhead yang terkait dengannya.

Ukuran bagian dan ukuran potongan

Bagian Server Replikasi SAP LT diukur dalam byte atau sebagai produk byte dan kumpulan data. Potongan BigQuery Connector untuk SAP diukur berdasarkan jumlah kumpulan data yang dapat dimuat. Ukuran byte bagian bervariasi bergantung pada beberapa faktor, termasuk jumlah kolom dalam kumpulan data dan jumlah data yang disimpan oleh setiap kumpulan data.

Jika ukuran bagian Server Replikasi SAP LT lebih besar daripada ukuran potongan BigQuery Connector untuk SAP, maka BigQuery Connector untuk SAP akan mengirim beberapa potongan untuk setiap bagian, hingga semua kumpulan data dari bagian tersebut dikirim.

Jika ukuran bagian lebih kecil dibandingkan ukuran potongan, maka BigQuery Connector untuk SAP hanya akan mengirim satu potongan per bagian. Setiap potongan hanya berisi jumlah kumpulan data yang dikirim di setiap bagian, terlepas dari ukuran potongan yang ditetapkan pada BigQuery Connector untuk SAP.

Idealnya, tetapkan ukuran bagian di Server Replikasi SAP LT yang memungkinkan BigQuery Connector untuk SAP membuat potongan terbesar tanpa melampaui batas BigQuery terkait jumlah byte dalam setiap permintaan HTTP.

Untuk panduan lebih lanjut tentang menentukan ukuran potongan, lihat Ukuran potongan di BigQuery Connector untuk SAP.

Ukuran bagian di Server Replikasi SAP LT

Untuk mengubah ukuran bagian {i>default<i} yang digunakan Server Replikasi SAP, jalankan transaksi LTRS dan sesuaikan nilai di kolom Package Size di Advanced Replication Settings pada Performance Options.

Untuk mengetahui informasi selengkapnya, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.

Ukuran potongan di BigQuery Connector untuk SAP

BigQuery Connector untuk SAP mengirimkan data ke BigQuery sebagai bagian kumpulan data. Sebaiknya gunakan ukuran potongan default dengan BigQuery Connector untuk SAP, yaitu 10.000 kumpulan data. Jika kumpulan data dalam tabel sumber berisi sangat sedikit kolom atau kolom berisi nilai data berukuran sangat kecil, maka Anda dapat menggunakan ukuran potongan yang lebih besar hingga ukuran potongan maksimum yang diizinkan BigQuery Connector untuk SAP, yaitu 50.000 data.

Jika jumlah kumpulan data dalam potongan tertentu ditetapkan ke ukuran byte yang melebihi batas BigQuery terkait ukuran byte untuk permintaan HTTP, Anda mungkin akan menerima error quotaExceeded atau error invalid.

Hal ini dapat terjadi jika kumpulan data dalam tabel sumber berisi banyak kolom atau kolom berisi banyak data.

Jika Anda mendapatkan error terkait ukuran potongan, coba kurangi ukuran potongan yang ditentukan dalam konfigurasi transfer massal untuk tabel tersebut. Atau, Anda dapat mengaktifkan ukuran potongan dinamis untuk tabel tersebut agar otomatis menyesuaikan ukuran potongan. Untuk mengetahui informasi selengkapnya, lihat Ukuran potongan dinamis.

Jika Anda belum mengaktifkan ukuran potongan dinamis, maka untuk tabel sumber SAP seperti MSEG, ACDOCA, dan MATDOC, yang dapat memiliki kumpulan data besar dengan banyak kolom per kumpulan data, Anda mungkin perlu menentukan ukuran potongan hingga serendah 2.000.

Anda dapat menentukan ukuran potongan dengan menjalankan transaksi /GOOG/SLT_SETTINGS. Ukuran potongan ditentukan dalam kolom Ukuran Potongan pada layar atribut tabel.

Untuk panduan selengkapnya tentang menentukan ukuran potongan, lihat:

Untuk mengetahui informasi selengkapnya tentang pesan error BigQuery, lihat Pesan error.

Overhead pemrosesan yang terkait dengan pengiriman bagian

Setiap bagian yang dikirim akan memicu tindakan berikut, yang masing-masingnya menyebabkan beberapa overhead pemrosesan atau penggunaan resource:

  1. Kumpulan data yang diubah dalam tabel logging pada sistem sumber dikirim ke Server Replikasi SAP LT dalam satu bagian. Kumpulan data yang diubah tidak dihapus dari tabel logging.
  2. Server Replikasi SAP LT meminta token akses baru dari Google Cloud.
  3. BigQuery Connector untuk SAP akan mengirimkan permintaan HTTP ke BigQuery untuk memeriksa struktur tabel target.
  4. BigQuery Connector untuk SAP akan mengirimkan kumpulan data ke BigQuery dalam jumlah potongan yang diperlukan untuk mengirim semua kumpulan data yang diterima dalam satu bagian. Setiap potongan akan dikirimkan dalam permintaan HTTP terpisah.
  5. BigQuery akan memproses setiap potongan yang diterimanya.
  6. Kode status OK HTTP ditampilkan ke Server Replikasi SAP LT untuk setiap potongan.
  7. Setelah BigQuery menerima semua kumpulan data, Server Replikasi SAP LT akan menghapus kumpulan data yang dikirimkan dari tabel logging, yang nantinya membebaskan resource pada sistem sumber.

Untuk mengetahui informasi selengkapnya tentang bagian serta cara mengonfigurasi Server Replikasi SAP LT untuk mengoptimalkan performa, lihat Panduan Pengoptimalan Performa Server Replikasi SAP LT di Portal Bantuan SAP.

Kuota BigQuery

Kuota API streaming BigQuery yang berlaku untuk project Anda membatasi jumlah data yang dapat di-streaming ke BigQuery dari waktu ke waktu dan dalam satu permintaan HTTP.

Misalnya, BigQuery menetapkan batas pada metrik seperti:

  • Byte per detik per project yang dapat Anda kirim.
  • Jumlah maksimum kumpulan data atau baris yang dapat Anda kirim dalam satu permintaan HTTP.
  • Ukuran maksimum permintaan HTTP yang dapat Anda kirim.

Untuk streaming insert, BigQuery memperbaiki ukuran permintaan HTTP menjadi 10 MB dan jumlah kumpulan data yang dapat Anda kirim dalam satu permintaan HTTP menjadi 50.000.

Dalam sebagian besar kasus, Anda dapat mengubah kuota, tetapi tidak dapat mengubah batas.

Anda dapat melihat dan mengedit kuota yang berlaku untuk project Anda di Konsol Google Cloud terkait Kuota kami.

Untuk mengetahui informasi selengkapnya tentang kuota dan batas BigQuery untuk streaming insert, lihat:

Kompresi kumpulan data

Secara default, BigQuery Connector untuk SAP meningkatkan performa replikasi dengan mengompresi kumpulan data yang dikirimkannya ke BigQuery.

Jika kompresi kumpulan data diaktifkan, yang merupakan setelan default, BigQuery Connector untuk SAP akan menghapus kolom yang kosong dalam kumpulan data sumber dari kumpulan data yang dikirim ke BigQuery. Saat kumpulan data dimasukkan ke dalam BigQuery, kolom yang dihapus dari data yang dikirim akan diinisialisasi dengan null dalam tabel target.

Anda dapat menonaktifkan kompresi kumpulan data dengan menentukan Kirim Flag Tidak Terkompresi dalam konfigurasi tabel BigQuery, tetapi tindakan tersebut dapat berdampak negatif pada performa replikasi.

Jika opsi Kirim Flag Tidak Terkompresi dipilih, BigQuery Connector untuk SAP akan mengirimkan kumpulan data ke BigQuery beserta semua kolomnya, termasuk kolom kosong. Kecuali untuk kolom tanggal dan kolom stempel waktu, kolom kosong mempertahankan nilai apa pun yang diinisialisasi dalam tabel sumber. Nilai yang diinisialisasi untuk kolom tanggal dan stempel waktu akan menerima nilai berikut:

  • Nilai inisialisasi kolom tanggal: DATE 1970-01-01
  • Nilai inisialisasi kolom stempel waktu: TIMESTAMP 1970-01-01 00:00:00 UTC

Untuk informasi selengkapnya tentang pengaruh kompresi data terhadap data yang ditransfer dari Server Replikasi SAP LT ke BigQuery, lihat Memahami Konektor BigQuery untuk Fitur Kompresi SAP.

Konfigurasi replikasi BigQuery

Saat mengonfigurasi replikasi dengan BigQuery Connector untuk SAP, Anda akan menggunakan beberapa transaksi SAP yang berbeda, termasuk transaksi khusus yang disediakan oleh Google Cloud:

  • SM30 - Menentukan properti untuk terhubung ke Google Cloud, yang disimpan sebagai kumpulan data dalam tabel konfigurasi khusus /GOOG/CLIENT_KEY. Secara opsional, saat Anda menggunakan tujuan RFC untuk terhubung ke layanan dan Google Cloud API, beberapa properti koneksi disimpan dalam tabel konfigurasi khusus /GOOG/SERVIC_MAP.
  • LTRC - Menentukan ID transfer massal dan aplikasi replikasi BigQuery Connector untuk SAP, serta properti lainnya.
  • SM59 - Menentukan tujuan RFC yang memungkinkan terhubung ke layanan dan Google Cloud API seperti BigQuery dan IAM.
  • /GOOG/SLT_SETTINGS - Menentukan properti untuk set data, tabel, dan kolom BigQuery target. Saat memasukkan /GOOG/SLT_SETTINGS di Server Replikasi SAP LT, Anda harus menambahkan /n untuk meng-escape garis miring awal dalam nama transaksi.

Dukungan bahasa

BigQuery Connector untuk SAP hanya mendukung konfigurasi replikasi dalam bahasa Inggris. Saat mengonfigurasi replikasi menggunakan transaksi SAP dan transaksi khusus yang disediakan oleh Google Cloud, gunakan Bahasa Inggris sebagai bahasa login Anda di layar login SAP.

Namun, BigQuery Connector untuk SAP mendukung eksekusi tugas latar belakang yang berjalan di Server Replikasi SAP LT dalam semua bahasa yang didukung SAP SLT.

Pesan error apa pun yang mungkin Anda temukan saat menggunakan BigQuery Connector untuk SAP akan dihasilkan dalam bahasa Inggris, terlepas dari bahasa eksekusi tugas latar belakang.

Properti tabel target

Saat mengonfigurasi replikasi di Server Replikasi SAP LT dengan menjalankan transaksi /GOOG/SLT_SETTINGS, Anda dapat menentukan setelan yang berlaku saat BigQuery Connector untuk SAP membuat tabel target di BigQuery.

Misalnya, Anda dapat menentukan properti berikut untuk tabel BigQuery target:

  • Nama tabel
  • Opsi penamaan default untuk kolom
  • Kolom tambahan untuk mencatat perubahan kumpulan data dan mengaktifkan kueri jumlah kumpulan data
  • Partisi tabel

Opsi penamaan default untuk kolom

Anda dapat mengonfigurasi BigQuery Connector untuk SAP guna membuat nama kolom dalam tabel BigQuery target, baik dari nama kolom sumber atau label dan deskripsi kolom sumber. Label dan deskripsi biasanya lebih informatif dalam mendeskripsikan isi kolom.

Secara default, BigQuery Connector untuk SAP menggunakan nama kolom sumber. Anda dapat mengubah nilai default ini dengan menentukan flag Nama Kustomsaat menentukan atribut pembuatan tabel di konfigurasi transfer massal transaksi /GOOG/SLT_SETTINGS. Spesifikasi ini disimpan dalam tabel konfigurasi /GOOG/BQ_MASTR.

Saat membuat nama, BigQuery Connector untuk SAP akan memodifikasinya agar sesuai dengan konvensi penamaan BigQuery.

Sebelum tabel dibuat, Anda dapat mengedit nama kolom di layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS.

Saat flag Nama Kustom ditentukan, nama yang akan digunakan oleh konektor BigQuery Connector untuk SAP saat membuat tabel target akan ditampilkan di kolom Nama Kolom Eksternal layar pemetaan.

BigQuery Connector untuk SAP membuat nama di kolom Nama Kolom Eksternal dari label kolom media di setiap kolom sumber. Jika label kolom medium tidak ditentukan dalam definisi kolom sumber, maka deskripsi singkat kolom akan digunakan. Jika deskripsi singkat juga tidak ditentukan, maka label tersingkat yang ditentukan akan digunakan. Jika semuanya tidak ditentukan, maka nama kolom sumber akan digunakan.

Untuk mengetahui informasi selengkapnya tentang cara menyesuaikan nama kolom target, lihat Menyesuaikan nama kolom target.

Mencatat perubahan kumpulan data dan mengaktifkan jumlah kumpulan data

Agar dapat mencatat jenis perubahan dalam tabel sumber yang memicu replikasi serta membuat kueri jumlah kumpulan data dalam tabel BigQuery untuk dibandingkan dengan Server Replikasi SAP LT atau jumlah kumpulan data dalam tabel sumber, tentukan opsi Flag Kolom Tambahan pada transaksi /GOOG/SLT_SETTINGS saat mengonfigurasi replikasi.

Jika opsi Flag Kolom Tambahan ditentukan, maka kolom berikut akan ditambahkan ke skema untuk tabel BigQuery target:

Nama kolom Jenis data Deskripsi
operation_flag STRING

Mengidentifikasi jenis perubahan dalam tabel sumber yang memicu pemuatan atau replikasi kumpulan data ke BigQuery.

Untuk menghitung kumpulan data yang disisipkan dalam mode replikasi, buat kueri kumpulan data yang memiliki nilai I, U, atau D di kolom operation_flag. Untuk contoh kueri, lihat Kueri jumlah data yang disisipkan dalam mode replikasi.

Untuk menghitung kumpulan data yang disisipkan dalam mode pemuatan awal, buat kueri kumpulan data yang memiliki nilai L di kolom operation_flag. Untuk contoh kueri, lihat Membuat kueri jumlah kumpulan data yang disisipkan dalam mode pemuatan awal.

is_deleted BOOLEAN Jika true, menunjukkan bahwa data sumber telah dihapus dari tabel sumber.

Untuk menghitung kumpulan data saja dalam tabel BigQuery yang belum dihapus dari tabel sumber, gunakan kolom is_deleted untuk mengecualikan kumpulan data sumber yang dihapus. Untuk contoh kueri, lihat Membuat kueri total jumlah kumpulan data dalam tabel BigQuery.

recordstamp TIMESTAMP

Waktu saat Server Replikasi SAP LT mengirim data ke BigQuery.

Untuk menghitung jumlah kumpulan data unik dalam tabel BigQuery, hanya buat kueri instance yang terakhir dimasukkan dalam setiap kumpulan data. Untuk contoh kueri, lihat Membuat kueri total jumlah kumpulan data dalam tabel BigQuery.

Setelan saat ini opsi Flag Kolom Tambahan disimpan dalam tabel konfigurasi /GOOG/BQ_MASTR.

Untuk mengetahui informasi selengkapnya tentang cara menentukan Flag Kolom Tambahan, lihat:

Partisi tabel

Anda dapat membuat tabel BigQuery yang dipartisi berdasarkan kolom stempel waktu dalam tabel sumber, yang membuat tabel berpartisi kolom unit waktu, atau berdasarkan waktu saat data dimasukkan ke dalam BigQuery, yang membuat tabel berpartisi berdasarkan waktu penyerapan.

Aktifkan partisi dengan menentukan jenis partisi pada kolom Jenis Partisi di /GOOG/BQ_TABLE saat mengonfigurasi properti replikasi.

Jenis partisi yang dapat Anda tentukan akan menyesuaikan tingkat perincian partisi menurut jam, hari, bulan, atau tahun.

Agar dapat menggunakan stempel waktu dari tabel sumber untuk partisi kolom unit waktu, tentukan nama kolom sumber di kolom Kolom Partisi.

Agar dapat menggunakan waktu penyisipan BigQuery untuk partisi waktu penyerapan, Anda dapat mengosongkan Kolom Partisi. BigQuery Connector untuk SAP membuat kolom dalam tabel target untuk menyimpan waktu penyisipan.

Properti kolom target

Secara default, BigQuery Connector untuk SAP menggunakan nama kolom dan jenis data dalam tabel sumber SAP sebagai nama kolom dan jenis data dalam BigQuery target.

Secara opsional, sebelum tabel target dibuat, Anda dapat menyesuaikan nama kolom atau mengubah jenis data BigQuery.

Menyesuaikan nama kolom target

Sebelum tabel dibuat, Anda dapat menyesuaikan nama kolom target.

Jika perlu, BigQuery Connector untuk SAP dapat mengubah nama kustom yang Anda tentukan agar sesuai dengan konvensi penamaan BigQuery.

Saat mengonfigurasi replikasi, Anda dapat melihat nama kolom di layar pemetaan kolom dalam transaksi /GOOG/SLT_SETTINGS. BigQuery Connector untuk SAP menyimpan setelan Anda dalam tabel konfigurasi /GOOG/BQ_FIELD.

Sebelum tabel dibuat, Anda dapat menentukan nama kolom kustom dengan mengedit nama yang dihasilkan di kolom Nama Kolom Sementara pada layar pemetaan kolom. Jika Anda menghapus nilai dan mengosongkan kolom Nama Kolom Sementara, BigQuery Connector untuk SAP akan menggunakan nama kolom sumber untuk nama kolom target.

Setelah melakukan pengeditan pada Nama Kolom Sementara, saat Anda mengklik Simpan, BigQuery Connector untuk SAP akan memvalidasi nilainya, menerapkan konvensi penamaan BigQuery sebagaimana diperlukan, dan menyimpan perubahannya. Anda dapat memvalidasi nilai tanpa menyimpannya dengan menekan Masuk.

Untuk mengetahui informasi tentang cara menetapkan metode penamaan default untuk kolom target, lihat Opsi penamaan default untuk kolom.

Menggunakan spreadsheet atau file teks untuk mengedit peta kolom BigQuery

Sebelum Anda membuat tabel BigQuery target, Anda dapat memilih menyimpan jenis data, nama, dan deskripsi default dari kolom target ke {i>spreadsheet<i} atau {i>file<i} teks, sehingga BigQuery insinyur data atau administrator dapat mengedit nilai tanpa memerlukan akses ke Server Replikasi SAP LT.

Setelah nilai diedit, Anda harus mengonversi file dan kontennya ke dalam format nilai yang dipisahkan koma (CSV). Selanjutnya, Anda dapat menerapkan update tersebut ke setelan transfer massal dengan mengupload file CSV menggunakan transaksi kustom /GOOG/SLT_SETTINGS.

Proses pengeditan peta kolom BigQuery menggunakan file CSV mencakup langkah-langkah berikut:

  1. Buat spreadsheet atau file teks pemetaan kolom default.
  2. Edit the values.
  3. Konversikan spreadsheet atau file teks ke dalam format CSV.
  4. Upload file CSV.

Untuk mendapatkan petunjuk mendetail setiap langkah ini, lihat Mengedit peta kolom BigQuery dalam file CSV.

Konvensi penamaan BigQuery untuk kolom

Konvensi penamaan BigQuery hanya menggunakan huruf kecil, angka, dan garis bawah.

BigQuery Connector untuk SAP menerapkan konvensi penamaan BigQuery ke nilai input apa pun yang akan digunakan untuk nama kolom target.

Misalnya, jika Anda memasukkan FIELD-@#!*123 sebagai nama kolom kustom, maka BigQuery Connector untuk SAP akan mengubah namanya menjadi field_123.

Untuk mengetahui informasi selengkapnya tentang konvensi penamaan BigQuery untuk kolom, lihat Nama kolom.

Pemetaan jenis data

Secara default, BigQuery Connector untuk SAP menetapkan jenis data ke kolom BigQuery target berdasarkan ragam jenis SAP atau jenis data SAP kolom SAP sumber.

Saat mengonfigurasi replikasi, Anda dapat melihat jenis data di layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS. BigQuery Connector untuk SAP menyimpan setelan Anda dalam tabel konfigurasi /GOOG/BQ_FIELD.

Sebelum tabel dibuat, Anda dapat mengubah spesifikasi jenis data default ke jenis data BigQuery lain di kolom Element Data Eksternal layar pemetaan kolom.

Jenis data yang memerlukan penanganan khusus

Beberapa jenis data SAP memerlukan penanganan khusus agar dapat direpresentasikan secara akurat dalam tabel BigQuery target.

Anda harus menangani sendiri beberapa jenis data ini. BigQuery Connector untuk SAP akan menangani hal lainnya untuk Anda.

Boolean

Untuk boolean, SAP menggunakan jenis data CHAR, yang secara default, BigQuery Connector untuk SAP petakan ke jenis data STRING dalam tabel BigQuery target.

Akibatnya, untuk boolean, saat Anda mengonfigurasi replikasi menggunakan transaksi /GOOG/SLT_SETTINGS, Anda perlu untuk mengubah jenis data default penetapan untuk kolom boolean dari STRING hingga BOOLEAN di layar pemetaan kolom.

Stempel waktu

Untuk stempel waktu, SAP menggunakan jenis data P (dikemas dalam desimal) atau DEC (desimal), yang secara default, BigQuery Connector untuk SAP petakan ke NUMERIC dalam tabel BigQuery target.

Karenanya, untuk stempel waktu, saat Anda mengonfigurasi replikasi menggunakan transaksi /GOOG/SLT_SETTINGS, Anda perlu untuk mengubah jenis data default penetapan untuk kolom stempel waktu dari NUMERIC hingga TIMESTAMP atau TIMESTAMP (LONG) di layar pemetaan kolom.

Ragam jenis SAP X

Ragam jenis SAP X adalah heksadesimal dan direpresentasikan oleh jenis data SAP RAW, RAWSTRING, atau LRAW. Secara default, BigQuery Connector untuk SAP akan memetakan jenis data ini ke STRING dalam tabel BigQuery sumber.

Jika Anda memerlukan kolom sumber dengan ragam jenis SAP X untuk dipetakan ke BYTES, Anda perlu mengubah penetapan jenis data default untuk kolom tersebut dalam layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS.

Ragam jenis SAP X terkadang juga digunakan dalam SAP untuk merepresentasikan bilangan bulat. Dalam hal ini, BigQuery Connector untuk SAP akan memeriksa jenis data dalam kolom sumber untuk salah satu jenis data SAP untuk bilangan bulat, INT1, INT2, INT4, INT8, dan menetapkan jenis data INTEGER dalam tabel BigQuery target.

Ragam jenis SAP y

Ragam jenis SAP y adalah string byte dan direpresentasikan oleh jenis data SAP RAW, RAWSTRING, atau LRAW. Secara default, BigQuery Connector untuk SAP akan memetakan jenis data ini ke STRING dalam tabel BigQuery sumber.

Jika Anda memerlukan kolom sumber dengan ragam jenis SAP y untuk dipetakan ke BYTES, Anda perlu mengubah penetapan jenis data default untuk kolom tersebut dalam layar pemetaan kolom transaksi /GOOG/SLT_SETTINGS.

Pemetaan jenis data default

Tabel berikut menampilkan konversi jenis data default BigQuery Connector untuk SAP:

Ragam jenis SAP Jenis data SAP Jenis data BigQuery Catatan
b (bilangan bulat 1 byte)
s (bilangan bulat 2 byte)
I (Bilangan Bulat 4 byte)
8 (bilangan bulat 8 byte)
INT1
INT2
INT4
INT8
INTEGER
F (float) FLTP FLOAT
P (dikemas) CURR
DEC
QUAN
NUMERIC Secara default, ragam jenis SAP P dipetakan ke jenis data BigQuery NUMERIC dan dikonversi menjadi angka dalam format eksternal.
a (bilangan mengambang desimal, 16 angka) DECFLOAT16
NUMERIC
e (bilangan mengambang desimal, 16 angka) DECFLOAT34
NUMERIC
N (numerik) NUMC STRING
X (heksadesimal)
y (string byte)
RAW
RAWSTRING
LRAW
STRING Jika ragam jenis SAP adalahX, tetapi nama jenis datanya mencakup pola 'INT*' (INT1, INT2, INT4), elemen data sumber diganti dengan elemen data baru TYPINT8 dengan TYPEKIND '8', yang dipetakan ke jenis data BigQuery INTEGER.
C (karakter)
g (string karakter)
? (csequence)
& (clike)
CHARSTRING STRING
D (tanggal) DATS DATE
T (waktu) TIMS TIME

Pemberian Lisensi

BigQuery Connector untuk SAP tersedia sebagai "Software" berdasarkan perjanjian yang mengatur penggunaan Google Cloud Platform oleh Anda, termasuk Persyaratan Khusus Layanan yang tersedia di https://cloud.google.com/terms/service-terms. Tanpa membatasi umum dari persyaratan sebelumnya, Anda tidak boleh memodifikasi atau mendistribusikan Konektor BigQuery untuk SAP tanpa izin tertulis yang tegas dari Google.

BigQuery Connector untuk software SAP ditawarkan secara gratis. Agar lebih jelas, penggunaan "Software" dan "Layanan" lain oleh Anda berdasarkan perjanjian yang mengatur penggunaan Google Cloud Platform oleh Anda, seperti BigQuery dan BigQuery streaming API, dapat dikenai biaya.

BigQuery Connector untuk SAP tidak mencakup lisensi apa pun untuk software SAP, termasuk, tetapi tidak terbatas pada Server Replikasi SAP LT. Harap lakukan pembelanjaan lisensi yang sesuai secara terpisah untuk software SAP.

Siklus proses dukungan

Google Cloud mendukung dan mengelola versi utama BigQuery Connector untuk SAP saat ini dan, selama minimal 12 bulan setelah publikasi pemberitahuan penghentian di halaman Catatan Rilis untuk SAP di Google Cloud, versi utama sebelumnya.