Halaman ini menjelaskan arsitektur Konektor Mainframe.
Mainframe Connector biasanya di-deploy sebagai aplikasi Java. Karena aplikasi bersifat mandiri, Anda hanya perlu menginstal IBM JRE versi 8 atau yang lebih baru untuk men-deploy Konektor Mainframe. Prosedur job control language (JCL) adalah frontend yang dapat Anda gunakan untuk memanggil Konektor Mainframe. Gambar berikut memberikan ringkasan tentang arsitektur Mainframe Connector.
Saat mengupload file data ke Cloud Storage, Konektor Mainframe berkomunikasi langsung dengan Cloud Storage API menggunakan IBM z Integrated Information Processor (zIIP) atau pemroses umum (GP). Anda juga dapat men-deploy layanan jarak jauh untuk mentransfer sebagian komputasi ke Google Cloud.
Setelah file data diupload ke Cloud Storage, Mainframe Connector mengirim panggilan prosedur jarak jauh (RPC) ke layanan gRPC yang menunjukkan lokasi file, tata letak data, dan lokasi output. Layanan gRPC membaca file dari Cloud Storage, mentranskode data, dan menulis file Optimized Row Columnar (ORC) multi-bagian ke lokasi output Cloud Storage. Mainframe Connector kemudian berkomunikasi langsung dengan BigQuery API untuk mendaftarkan file ORC sebagai tabel eksternal atau memuat file ORC ke dalam tabel.
Atau, Anda dapat men-deploy perangkat hardware di pusat data untuk mentransfer data langsung dari sistem penyimpanan mainframe ke Cloud Storage menggunakan virtual tape library (VTL). Pendekatan ini tidak menggunakan zIIP atau GP selama transfer data ke Cloud Storage karena perangkat hardware menerima data langsung dari sistem penyimpanan mainframe menggunakan VTL dan tidak menggunakan mainframe sama sekali. Hal ini akan mengosongkan mainframe untuk tugas penting bisnis.
Enkripsi data
IBM menyediakan implementasi Java Cryptography Extension (JCE) dengan JVM yang disebut Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) yang menggunakan sistem kriptografi hardware di IBM z/OS. Koneksi transport layer security (TLS) antara JVM dan endpoint Google Cloud API menggunakan JCE dan kriptografi hardware untuk mengamankan data selama operasi ekstrak, transformasi, dan pemuatan (ELT).
Prosedur JCL
Untuk menggunakan prosedur JCL, Anda harus menginstal penafsir shell BQSH
di library prosedur (PROCLIB) mainframe. Data lingkungan standar (STDENV) dalam
prosedur JCL digunakan untuk menetapkan variabel lingkungan, argumen JVM, dan classpath
Java sebelum meluncurkan aplikasi Java. Prosedur JCL
meluncurkan JVM dan class utama com.google.cloud.bqsh.Bqsh menggunakan
peluncur JVM IBM JVMLDM86.
Penafsir shell BQSH
Class utama BQSH berfungsi sebagai penafsir shell. Fungsi ini membaca input aliran data dari prosedur JCL, memisahkan baris input, dan mencoba menafsirkan setiap baris sebagai perintah.
Aplikasi Java
Mainframe Connector menggunakan Library Klien Cloud Java, Apache ORC, dan library open source lainnya. SDK ini menggunakan JZOS SDK eksklusif IBM untuk berinteraksi dengan sistem penyimpanan IBM z/OS dan berjalan di JVM di IBM z/OS dan OpenJDK di Linux.