Menginstal dan mengonfigurasi BigQuery Toolkit untuk SAP

On-premises or any cloud edition v1.9

• Edisi SAP BTP v1.1
• Edisi lokal atau cloud apa pun v1.9

Dokumen ini menjelaskan cara menginstal dan mengonfigurasi BigQuery Toolkit untuk SAP.

Menginstal BigQuery Toolkit untuk SAP

Saat Anda menginstal ABAP SDK untuk Google Cloud edisi cloud atau versi 1.9 di infrastruktur lokal, BigQuery Toolkit untuk SAP akan diinstal untuk Anda secara default. Untuk informasi tentang langkah-langkah penginstalan, lihat Menginstal dan mengonfigurasi ABAP SDK untuk Google Cloud edisi cloud atau on-premise.

Jika sudah menggunakan ABAP SDK untuk Google Cloud versi 1.8 atau yang lebih lama di lokal atau edisi cloud, Anda harus mengupdate SDK ke versi terbaru untuk mendapatkan BigQuery Toolkit untuk SAP. Untuk informasi selengkapnya, lihat Mengupdate ABAP SDK untuk Google Cloud.

Mengaktifkan BigQuery API

Anda harus mengaktifkan BigQuery API di project Google Cloud. Untuk mengetahui informasi tentang cara mengaktifkan Google Cloud API, lihat Mengaktifkan API.

Menyiapkan autentikasi

Setelah Anda menyiapkan autentikasi untuk mengakses Google Cloud API di ABAP SDK untuk Google Cloud edisi cloud atau lokal, BigQuery Toolkit untuk SAP akan menggunakan metode autentikasi yang sama untuk mengakses BigQuery API. Untuk mengetahui informasi tentang cara menyiapkan autentikasi di ABAP SDK untuk Google Cloud edisi cloud atau lokal, lihat Ringkasan autentikasi.

Pastikan akun layanan yang dikonfigurasi di konfigurasi kunci klien ABAP SDK untuk Google Cloud memiliki peran berikut:

• Editor Data BigQuery
• BigQuery Job User

Catat kunci klien yang telah Anda buat sebagai bagian dari penyiapan autentikasi. Anda menggunakan kunci klien ini saat mengonfigurasi modul konfigurasi BigQuery Data Transfer dari BigQuery Toolkit untuk SAP di sistem SAP Anda.

Membuat set data BigQuery

Untuk membuat set data BigQuery, akun pengguna Anda harus memiliki izin IAM yang tepat untuk BigQuery. Untuk mengetahui informasi selengkapnya, lihat Izin yang diperlukan.

Untuk membuat set data BigQuery, lakukan hal berikut:

1. Di konsol Google Cloud, buka halaman BigQuery:

   Buka BigQuery

2. Di samping project ID Anda, klik ikon View actions, , lalu klik Create dataset.

   

3. Di kolom Dataset ID, masukkan nama unik. Untuk mengetahui informasi selengkapnya, lihat Penamaan set data.

Untuk mengetahui informasi selengkapnya tentang cara membuat set data BigQuery, lihat Membuat set data.

Mengonfigurasi modul BigQuery Data Transfer

Modul BigQuery Data Transfer dari BigQuery Toolkit untuk SAP memungkinkan Anda membuat pipeline data dari sistem SAP ke BigQuery. Dalam proses ini, Anda membuat konfigurasi transfer massal tempat Anda dapat menentukan sumber data SAP mana yang akan direplikasi, memetakan kolom antara tabel SAP dan BigQuery, serta mengoptimalkan performa dengan mengonfigurasi setelan replikasi data.

Memilih opsi transfer massal awal

Pilih bagian konfigurasi transfer massal yang perlu Anda edit.

Tips: Untuk mengakses layar BigQuery Data Transfer: Settings Maintenance di SAP GUI, Anda dapat menjalankan kode transaksi /GOOG/BQTR_SETTINGS yang didahului dengan /n.

Untuk memilih bagian konfigurasi transfer massal, lakukan hal berikut:

1. Di SAP GUI, jalankan kode transaksi /GOOG/SDK_IMG.

   Atau, jalankan kode transaksi SPRO, lalu klik IMG Referensi SAP.

2. Klik ABAP SDK for Google Cloud > Basic Settings > BigQuery Data Transfer: Settings Maintenance.

3. Dari menu drop-down Settings Table, pilih Mass Transfers.

   Untuk konfigurasi transfer massal baru, kosongkan kolom Mass Transfer Key.

4. Klik ikon Execute. Layar BigQuery Data Transfer Settings Maintenance - Mass Transfers akan ditampilkan.

Menentukan pembuatan tabel dan atribut umum lainnya

Di bagian awal konfigurasi transfer massal BigQuery, Anda mengidentifikasi konfigurasi transfer massal dan menentukan kunci klien terkait, serta properti tertentu yang berkaitan dengan pembuatan tabel BigQuery target.

Server SAP Anda menyimpan konfigurasi transfer massal sebagai kumpulan data dalam tabel konfigurasi kustom /GOOG/BQTR_MASTR.

Kolom yang Anda tentukan pada langkah-langkah berikut diperlukan untuk konfigurasi transfer massal.

Untuk menentukan atribut tabel, lakukan hal berikut:

1. Di layar BigQuery Data Transfer Settings Maintenance - Mass Transfers, klik ikon Append Row.

2. Di baris yang ditampilkan, tentukan setelan berikut:

   1. Di kolom Mass Transfer Key, tentukan nama untuk transfer ini. Nama ini menjadi kunci utama transfer massal.
   2. Untuk menggunakan label atau deskripsi singkat dari kolom sumber sebagai nama untuk kolom target di BigQuery, klik kotak centang Use Custom Names Flag. Untuk mengetahui informasi selengkapnya tentang nama kolom, lihat Opsi penamaan default untuk kolom.

   3. Untuk menyimpan jenis perubahan yang memicu penyisipan dan mengaktifkan validasi jumlah kumpulan data antara tabel sumber, statistik server SAP, dan tabel BigQuery, klik kotak centang Extra Fields Flag.

      Jika flag ini ditetapkan, BigQuery Toolkit untuk SAP akan menambahkan kolom ke skema tabel BigQuery. Untuk mengetahui informasi selengkapnya, lihat Kolom tambahan untuk perubahan kumpulan data dan kueri jumlah.

   4. Untuk berhenti mengirim data saat muncul kumpulan data dengan error, kotak centang Break at First Error Flag dicentang secara default. Sebaiknya biarkan opsi ini dicentang. Untuk mengetahui informasi selengkapnya, lihat Flag BREAK.

   5. Secara opsional, untuk otomatis mengurangi ukuran potongan saat ukuran byte dari suatu potongan melebihi ukuran byte maksimum untuk permintaan HTTP yang diterima BigQuery, klik kotak centang Dynamic Chunk Size Flag. Untuk mengetahui informasi selengkapnya tentang ukuran potongan dinamis, lihat Ukuran potongan dinamis.

   6. Saat kumpulan data dengan error data ditemukan, untuk melewatinya dan terus menyisipkan kumpulan data ke dalam tabel BigQuery, klik kotak centang Skip Invalid Records Flag. Sebaiknya biarkan tidak dicentang. Untuk mengetahui informasi selengkapnya, lihat Flag SKIP.

   7. Di kolom Google Cloud Key Name, masukkan nama konfigurasi kunci klien yang sesuai.

      BigQuery Toolkit untuk SAP mengambil ID project Google Cloud dari konfigurasi kunci klien.

   8. Di kolom BigQuery Dataset, masukkan nama set data BigQuery target yang Anda buat di bagian Membuat set data BigQuery.

   9. Di kolom Is Setting Active Flag, aktifkan konfigurasi transfer massal dengan mengklik kotak centangnya.

   10. Klik Save.

       Catatan transfer massal ditambahkan ke tabel /GOOG/BQTR_MASTR dan kolom Changed By, Changed On, serta Changed At diisi secara otomatis.

   11. Klik Display Table.

       Kumpulan data atribut tabel baru akan ditampilkan, diikuti dengan panel entri pemetaan kolom.

Menentukan atribut tabel

Anda dapat menentukan atribut tabel, seperti nama tabel dan partisi tabel, serta jumlah kumpulan data yang akan disertakan dalam setiap transmisi atau bagian yang dikirim ke BigQuery.

Setelan yang Anda tentukan disimpan sebagai kumpulan data dalam tabel konfigurasi /GOOG/BQTR_TABLE.

Setelan ini bersifat opsional untuk konfigurasi transfer massal.

Untuk menentukan atribut tabel, lakukan hal berikut:

1. Klik ikon Append row.

2. Di kolom SAP Data Source Name, masukkan nama objek kamus SAP sumber seperti tabel, tampilan kamus, tampilan CDS, atau entitas CDS.

3. Di kolom External Table Name, masukkan nama tabel BigQuery target. Jika tabel target belum ada, BigQuery Toolkit untuk SAP akan membuat tabel dengan nama ini. Untuk konvensi penamaan BigQuery untuk tabel, lihat Penamaan tabel.

4. Untuk mengirim data yang tidak dikompresi untuk semua kolom dalam tabel, pilih Send Uncompressed Flag. Dengan setelan ini diaktifkan, BigQuery Toolkit untuk SAP akan mereplikasi kolom kosong dalam kumpulan data sumber dengan nilai yang diinisialisasi oleh kolom tersebut di tabel sumber. Untuk performa yang lebih baik, jangan pilih tanda ini.

   Jika Anda perlu mengirim data yang tidak dikompresi hanya untuk kolom tertentu, jangan pilih Send Uncompressed Flag di tingkat tabel. Sebagai gantinya, pilih Send Uncompressed Flag untuk kolom tertentu tersebut di tingkat kolom. Opsi ini memungkinkan Anda mempertahankan nilai awal kolom tertentu saat mereplikasi data ke BigQuery, meskipun Anda mengompresi data tabel lainnya. Untuk mengetahui informasi tentang cara mengubah kompresi kumpulan data di tingkat kolom, lihat Mengubah kompresi kumpulan data di tingkat kolom.

   Untuk mengetahui informasi selengkapnya tentang perilaku kompresi kumpulan data, lihat Kompresi kumpulan data.

5. Secara opsional, di kolom Chunk Size, tentukan jumlah maksimum kumpulan data yang akan disertakan dalam setiap potongan yang dikirim ke BigQuery. Sebaiknya gunakan ukuran potongan default dengan BigQuery Toolkit untuk SAP, yaitu 10.000 kumpulan data. Jika perlu, Anda dapat meningkatkan ukuran potongan hingga 50.000 kumpulan data, yang merupakan ukuran potongan maksimum yang diizinkan BigQuery Toolkit untuk SAP.

   Jika kumpulan data sumber memiliki banyak kolom, jumlah kolom dapat meningkatkan ukuran byte keseluruhan dari potongan, sehingga dapat menyebabkan error potongan. Jika ini terjadi, coba kurangi ukuran potongan untuk mengurangi ukuran byte. Untuk mengetahui informasi selengkapnya, lihat Ukuran potongan transfer data. Atau, untuk menyesuaikan ukuran potongan secara otomatis, aktifkan ukuran potongan dinamis. Untuk mengetahui informasi selengkapnya, lihat Ukuran potongan dinamis.

6. Secara opsional, di kolom Partition Type, tentukan penambahan waktu yang akan digunakan untuk partisi. Nilai yang valid adalah HOUR, DAY, MONTH, atau YEAR. Untuk mengetahui informasi selengkapnya, lihat Partisi tabel.

7. Secara opsional, di kolom Partition Field, tentukan nama kolom dalam tabel BigQuery target yang berisi stempel waktu yang akan digunakan untuk membuat partisi. Saat menentukan Partition Field, Anda juga harus menentukan Partition Type. Untuk mengetahui informasi selengkapnya, lihat Partisi tabel.

8. Di kolom Is Setting Active Flag, aktifkan atribut tabel dengan mengklik kotak centangnya. Jika kotak Is Setting Active Flag tidak dicentang, BigQuery Toolkit untuk SAP akan membuat tabel BigQuery dengan nama tabel sumber SAP, ukuran potongan default, dan tanpa partisi.

9. Klik Save.

   Atribut Anda disimpan sebagai kumpulan data di tabel konfigurasi /GOOG/BQTR_TABLE dan kolom Changed By, Changed On, serta Changed At diisi secara otomatis.

10. Klik Display Fields.

    Kumpulan data atribut tabel baru akan ditampilkan, diikuti dengan panel entri pemetaan kolom.

Menyesuaikan pemetaan kolom default

Jika tabel SAP sumber berisi kolom stempel waktu atau boolean, ubah pemetaan jenis data default untuk mencerminkan jenis data dengan akurat dalam tabel BigQuery target.

Anda juga dapat mengubah jenis data lainnya, serta nama yang digunakan untuk kolom target.

Anda dapat mengedit pemetaan default secara langsung di SAP GUI atau mengekspor pemetaan default ke spreadsheet atau file teks sehingga orang lain dapat mengedit nilai tanpa memerlukan akses ke server SAP Anda.

Untuk mengetahui informasi selengkapnya tentang pemetaan kolom default dan perubahan yang dapat Anda buat, lihat Pemetaan kolom.

Untuk menyesuaikan pemetaan default untuk kolom BigQuery target, lakukan hal berikut:

1. Di layar BigQuery Data Transfer Settings Maintenance - Fields, tampilkan pemetaan kolom default untuk transfer massal yang sedang Anda konfigurasi.

2. Edit jenis data target default di kolom External Data Element sesuai kebutuhan. Secara khusus, ubah jenis data target untuk jenis data berikut:

   • Stempel waktu. Ubah jenis data target default dari NUMERIC menjadi TIMESTAMP atau TIMESTAMP (LONG).
   • Booleans. Ubah jenis data target default dari STRING menjadi BOOLEAN.
   • Heksadesimal. Ubah jenis data target default dari STRING menjadi BYTES.

   Untuk mengedit pemetaan jenis data default:

   1. Di baris kolom yang perlu Anda edit, klik kolom External Data Element.
   2. Pada dialog untuk jenis data, pilih jenis data BigQuery yang Anda butuhkan.
   3. Konfirmasi perubahan, lalu klik Save.

3. Jika Anda menentukan tanda Custom Names di layar BigQuery Data Transfer Settings Maintenance, edit nama kolom target default di kolom Temporary Field Name sesuai kebutuhan.

   Nilai yang Anda tentukan akan menggantikan nama default yang ditampilkan di kolom External Field Name.

4. Edit deskripsi kolom target default di kolom Field Description sesuai kebutuhan.

5. Jika ingin, ekspor peta kolom untuk pengeditan eksternal. Untuk mengetahui petunjuknya, lihat Mengedit peta kolom BigQuery dalam file CSV.

6. Setelah semua perubahan selesai dan semua nilai yang diedit secara eksternal diupload, pastikan kotak Is Setting Active Flag dicentang. Jika kotak Is Setting Active Flag tidak dipilih, BigQuery Toolkit untuk SAP akan membuat tabel target dengan nilai default.

7. Klik Save.

   Perubahan disimpan di tabel konfigurasi /GOOG/BQTR_FIELD dan bagian Changed By, Changed On, serta Changed At diisi secara otomatis.

Mengubah kompresi kumpulan data di tingkat kolom

Untuk meningkatkan performa replikasi, BigQuery Toolkit untuk SAP mengompresi kumpulan data dengan menghapus semua kolom kosong dalam kumpulan data sumber, yang kemudian diinisialisasi dengan null di tabel target di BigQuery. Namun, jika Anda perlu mereplikasi beberapa kolom kosong dengan nilai awalnya ke BigQuery sambil tetap menggunakan kompresi kumpulan data, Anda dapat memilih Kirim Flag Tidak Terkompresi untuk kolom tertentu tersebut.

Untuk mengetahui informasi selengkapnya tentang perilaku kompresi kumpulan data, lihat Kompresi kumpulan data.

Untuk mengubah kompresi data pada tingkat kolom, lakukan hal berikut:

1. Di layar BigQuery Data Transfer Settings Maintenance - Fields, tampilkan daftar kolom untuk tabel yang transfer massalnya Anda konfigurasi.

2. Untuk mengirim data yang tidak dikompresi untuk kolom, pilih Send Uncompressed Flag yang sesuai dengan kolom.

3. Klik Save.

Mendapatkan dukungan

Google Cloud menawarkan dukungan untuk masalah dan pertanyaan terkait penginstalan, konfigurasi, pengoperasian, dan pemeliharaan BigQuery Toolkit untuk SAP. Namun, dukungan terbatas pada toolkit itu sendiri.

Google Cloud tidak mendukung komponen lingkungan lainnya seperti infrastruktur jaringan, database, sistem operasi, atau software pihak ketiga. Untuk masalah terkait komponen lingkungan selain BigQuery Toolkit for SAP, hubungi vendor atau penyedia dukungan yang sesuai.

Untuk fungsi yang disediakan oleh SAP, seperti Penyediaan Data Operasional (ODP) dan Transformasi Lanskap SAP (SLT), hubungi dukungan SAP untuk mendapatkan bantuan.

Untuk memecahkan masalah terkait BigQuery Toolkit untuk SAP, lihat Memecahkan masalah BigQuery Toolkit untuk SAP.

Jika Anda memerlukan bantuan untuk menyelesaikan masalah terkait ABAP SDK untuk Google Cloud, lakukan langkah-langkah berikut:

• Lihat panduan pemecahan masalah ABAP SDK untuk Google Cloud.

• Ajukan pertanyaan dan diskusikan ABAP SDK untuk Google Cloud dengan komunitas di Cloud Forum.

• Kumpulkan semua informasi diagnostik yang tersedia dan hubungi Cloud Customer Care. Untuk mengetahui informasi tentang cara menghubungi Layanan Pelanggan, lihat Mendapatkan dukungan untuk SAP di Google Cloud.