Referensi Mainframe Connector API

Tabel berikut berisi daftar BigQuery, Cloud Storage, dan Perintah Google Cloud yang dapat Anda gunakan dengan Mainframe Connector.

Produk Perintah Deskripsi Mendukung transcoding jarak jauh
Perintah BigQuery bq export Gunakan perintah ini untuk membuat file biner. Perintah tersebut menerima HH BUKU SALIN sebagai input.

Catatan: Perintah bq export menggagalkan permintaan untuk mengekspor tabel Bigtable berukuran besar. Untuk menghindari error, tambahkan Flag -allowLargeResults ke bq export ketika Anda ingin mengekspor tabel besar.		 Ya
bq load Gunakan perintah ini untuk memuat data ke dalam tabel. Untuk informasi selengkapnya, lihat pemuatan bq. Tidak
bq mk Gunakan perintah ini untuk membuat resource BigQuery, seperti tabel {i>built-in<i} atau tabel eksternal, yang memerlukan partisi dan pengelompokan untuk disiapkan. Untuk mengetahui informasi selengkapnya, lihat bq mk. Tidak
bq query Gunakan perintah ini untuk membuat tugas kueri yang menjalankan kueri SQL tertentu.

Gunakan tanda --follow=true untuk membuat laporan yang ditampilkan hasil dari kueri tertentu. Untuk menulis laporan ini ke file di mainframe, tentukan pernyataan DD AUDITL yang mengarah ke yang seharusnya berisi laporan log audit. Jangan gunakan --follow jika Anda menginginkan perilaku logging normal.

Beberapa hasil kueri dapat menampilkan baris dalam jumlah besar, terkadang hingga jutaan. Agar {i>output<i} tetap dapat dibaca manusia, jumlah baris yang ditampilkan adalah dibatasi. Untuk mengontrol jumlah baris yang ditampilkan, gunakan metode --report_row_limit. Misalnya, gunakan --report_row_limit 10 untuk membatasi hasil hingga 10 baris. Menurut secara default, jumlah baris yang ditampilkan dibatasi hingga 30.

Untuk mengetahui informasi selengkapnya, lihat kueri bq. 		Ya
bq rm Gunakan perintah ini untuk menghapus resource BigQuery secara permanen. Sebagai perintah ini akan menghapus resource secara permanen, sebaiknya Anda menggunakannya dengan hati-hati. Untuk mengetahui informasi selengkapnya, lihat bq rm. Tidak
Perintah Cloud Storage scp Gunakan perintah ini untuk menyalin teks atau data biner ke Cloud Storage. Anda dapat menggunakan mode {i> binary copy <i}sederhana untuk menyalin dari IBM z/OS hingga Cloud Storage yang tidak dimodifikasi sebagai bagian dari pipeline data. Secara opsional, Anda dapat konversi pengkodean karakter dari desimal berkode biner yang diperluas ubah kode (EBCDIC) ke UTF-8 ASCII, dan tambahkan jeda baris.

Anda juga dapat menggunakan perintah ini untuk menyalin kode sumber aplikasi yang ditentukan di bahasa kontrol kerja (JCL). 		Tidak
Utilitas gsutil gsutil cp Gunakan perintah ini untuk melakukan transcoding set data dan menulisnya ke Cloud Storage di kolom Optimized Row Columnar (ORC) format file. Perintah ini membaca data dari set data INFILE, dan tata letak kumpulan data dari HH BUKU SALIN. Perintah ini kemudian membuka sejumlah koneksi paralel yang dapat dikonfigurasi ke Cloud Storage API dan melakukan transcoding set data COBOL ke kolom Format file ORC yang dikompresi GZIP. Anda dapat mengharapkan rasio kompresi sekitar 35%.

Secara opsional, Anda dapat menggunakan perintah ini untuk berinteraksi dengan Layanan gRPC Mainframe Connector yang berjalan pada VM di mainframe. Untuk melakukannya, setel SRVHOST dan variabel lingkungan SRVPORT, atau berikan nama host dan nomor port tertentu menggunakan opsi command line. Saat layanan gRPC digunakan, data input akan disalin terlebih dahulu ke Cloud Storage oleh Mainframe Connector, lalu panggilan remoteproc (RPC) dilakukan untuk memerintahkan layanan gRPC agar melakukan transcoding file.

Perintah gsutil cp juga mendukung beberapa penyesuaian performa kemampuan IT. Untuk mengetahui informasi selengkapnya, lihat Peningkatan performa untuk perintah gsutil cp. 		Ya
gsutil rm Gunakan perintah ini untuk menghapus bucket atau objek dalam bucket. Untuk selengkapnya informasi, lihat rm - Remove objects. Tidak
Utilitas gszutil gszutil Utilitas gszutil berjalan menggunakan IBM JZOS Java SDK dan menyediakan emulator shell yang menerima gsutil dan command line BigQuery pemanggilan menggunakan JCL.

Utilitas gszutil memperluas fungsi utilitas gsutil dengan menerima skema dalam bentuk DD SALIN, menggunakannya untuk melakukan transcoding set data COBOL langsung ke ORC sebelum mengunggahnya ke yang sesuai di Cloud Storage. Utilitas gszutil juga memungkinkan Anda menjalankan BigQuery query dan load menggunakan JCL.

Utilitas gszutil berfungsi dengan gRPC server, yang membantu Anda mengurangi juta instruksi per detik (MIPS) pengguna. Sebaiknya gunakan utilitas gszutil di lingkungan production untuk mengonversi file biner di Cloud Storage ke dalam format ORC. 		Tidak
Perintah Lainnya gcloud pubsub topics send Gunakan perintah ini untuk mengirim pesan ke topik Pub/Sub. Anda dapat menyampaikan pesan menggunakan baris perintah, atau menggunakan {i>dataset<i}. Tidak
gcloud dataflow flex-template run Gunakan perintah ini untuk memicu eksekusi Dataflow Flex {i>template<i}. Perintah ini menjalankan tugas dari jalur template fleksibel yang ditentukan. Sebagai informasi selengkapnya, lihat gcloud dataflow flex-template run. Tidak
curl Gunakan perintah ini untuk membuat permintaan HTTP ke layanan web atau REST API. Tidak

Konfigurasi penyesuaian performa untuk perintah gsutil cp

Mainframe Connector mendukung tuning performa berikut untuk perintah gsutil cp.

  • Gunakan tanda --parallelism untuk menetapkan jumlah rangkaian pesan. Tujuan nilai defaultnya adalah 1 (thread tunggal).
  • Gunakan argumen --maxChunkSize untuk menetapkan ukuran maksimum setiap elemen potongan data. Setiap potongan akan memiliki file Optimized Row Columnar (ORC) sendiri. Tingkatkan nilai ini untuk mengurangi jumlah potongan yang dibuat dengan mengorbankan kebutuhan memori yang lebih besar selama proses transcoding. Untuk mengetahui detailnya, lihat Parse argumen maxChunkSize. Nilai defaultnya adalah 128 MiB.
  • Menggunakan argumen --preload_chunk_count untuk menetapkan jumlah data ke melakukan pramuat ke memori saat semua pekerja sedang sibuk. Argumen ini dapat memperbaiki performa tinggi, tapi juga hemat memori. Nilai defaultnya adalah 2.

Contoh eksekusi

gsutil cp \
  --replace \
  --parser_type=copybook \
  --parallelism=8 \
  --maxChunkSize=256MiB \
  gs://$BUCKET/test.orc

Dalam contoh ini, kita telah mempertimbangkan file besar sehingga telah menggunakan 8 utas di tarif baris mana yang dicapai. Jika Anda memiliki cukup memori, sebaiknya tingkatkan ukuran potongan menjadi 256 MiB atau bahkan 512 MiB karena ini mengurangi pembuatan overhead dan penyelesaian objek Cloud Storage. Untuk file kecil yang menggunakan lebih sedikit {i>thread<i} dan potongan yang lebih kecil mungkin memberikan hasil yang lebih baik.

Mengurai argumen maxChunkSize

Tanda maxChunkSize menerima nilai dalam bentuk jumlah dan yang sama, misalnya 5 MiB. Anda dapat menggunakan spasi kosong di antara dan besarannya.

Anda dapat memberikan nilai dalam format berikut:

  • Format Java: b/k/m/g/t, untuk byte, kibibyte, mebibyte, gibibyte, dan masing-masing
  • Format internasional: KiB/MiB/GiB/TiB, untuk kibibyte, mebibyte, gibibyte, dan tebibyte
  • Format metrik: b/kb/mb/gb/tb, untuk kilobyte, megabyte, gigabyte, dan masing-masing terabyte

Penguraian ukuran data tidak peka huruf besar/kecil. Perhatikan bahwa Anda tidak dapat menentukan sebagian jumlah. Misalnya, gunakan 716 KiB, bukan 0,7 MiB.