Mainframe IBM digunakan oleh organisasi untuk melakukan tugas komputasi penting. Dalam beberapa tahun terakhir, banyak perusahaan yang mengandalkan mainframe telah berupaya melakukan migrasi ke cloud. Mainframe Connector memungkinkan Anda memindahkan data mainframe ke Google Cloud sehingga Anda dapat memindahkan workload laporan yang intensif CPU ke Google Cloud.
Manfaat utama Mainframe Connector
Berikut adalah manfaat utama menggunakan Mainframe Connector untuk memindahkan data mainframe ke Google Cloud:
- Transfer data yang disederhanakan: Menyederhanakan pemindahan data mainframe ke Google Cloud layanan penyimpanan seperti Cloud Storage dan BigQuery.
- Integrasi tugas batch: Memungkinkan Anda mengirimkan tugas BigQuery menggunakan tugas batch mainframe yang ditentukan dalam bahasa kontrol tugas (JCL). Saat kueri dibaca dari set data atau file, analis dapat menggunakan tugas terjadwal dengan pengetahuan dan pemahaman minimal tentang lingkungan mainframe.
- Pemantauan yang mudah: Personel operasi mainframe tidak perlu memantau lingkungan yang berbeda karena tugas dikirimkan dengan jadwal yang sudah dikenal menggunakan JCL.
- MIPS yang lebih rendah: Mainframe Connector menggunakan Java Virtual Machine (JVM) untuk sebagian besar pemrosesan guna meminimalkan beban kerja prosesor mainframe selama transfer data, sehingga mengurangi juta instruksi per detik (MIPS) dan menurunkan biaya. Mainframe Connector memindahkan sebagian besar pekerjaan yang intensif prosesor ke prosesor tambahan. Jika prosesor tambahan mengalami tekanan, Anda juga dapat mengonfigurasi Mainframe Connector untuk melakukan transkode dan konversi menggunakan Compute Engine. Untuk mengetahui informasi selengkapnya tentang konfigurasi Mainframe Connector, lihat Konfigurasi Mainframe Connector.
Transformasi streaming: Transkode metode akses berurutan (QSAM) yang diantrekan, set data mainframe yang terkait dengan copybook COBOL dalam kode pertukaran desimal biner yang diperluas (EBCDIC), atau file dalam ASCII UTF-8 ke format ORC yang kompatibel dengan layanan seperti BigQuery. Google Cloud Secara default, Mainframe Connector mentranskode set data dari set karakter US EBCDIC: Cp037 ke ORC. Namun, Mainframe Connector juga mendukung transcoding set data dari set karakter EBCDIC regional berikut:
- Prancis: Cp297
- Jerman: Cp1141
- Spanyol: Cp1145
Set karakter kustom dapat diimplementasikan jika set karakter yang sesuai tidak disertakan dalam IBM JVM.
Cara kerja Mainframe Connector
Mainframe Connector memungkinkan Anda memindahkan data yang ada di mainframe Anda ke dan dari Cloud Storage, serta mengirimkan tugas BigQuery dari tugas batch berbasis mainframe yang ditentukan dalam JCL. Mainframe Connector memungkinkan Anda mentranskode set data mainframe langsung ke format Optimized Row Columnar (ORC).
Transcoding adalah proses mengonversi informasi dari satu bentuk representasi yang dikodekan ke bentuk representasi yang dikodekan lainnya, dalam hal ini ke ORC. ORC adalah format data berorientasi kolom open source yang banyak digunakan di ekosistem Apache Hadoop, dan didukung oleh BigQuery.
Mainframe Connector menyediakan subset utilitas command line Google Cloud SDK yang memungkinkan Anda mentransfer data dan berinteraksi dengan layanan Google Cloud . Interpreter shell dan penerapan berbasis JVM dari gsutil dan utilitas command line bq memungkinkan Anda mengelola pipeline ekstrak, muat, transformasi (ELT) secara keseluruhan dari IBM z/OS sambil mempertahankan penjadwal tugas yang ada.
Salah satu tantangan utama dalam mentransfer data mainframe Anda ke dan dari cloud adalah bahwa prosesnya terdiri dari beberapa langkah yang biasanya mencakup pelaksanaan langkah-langkah berikut:
- Menyalin data ke server file.
- Salin data dari server file ke lokasi lain untuk diproses.
- Gunakan stack pemrosesan data untuk mengonversi data ke format modern.
- Tulis kembali data yang diproses ke lokasi lain.
- Muat data yang diproses ke database atau data warehouse tempat data dapat dikueri atau digunakan.
Gambar berikut menunjukkan proses multi-langkah yang biasanya digunakan untuk mentransfer data dari mainframe ke Google Cloud.
Mainframe Connector memungkinkan Anda melakukan semua langkah ini dengan satu perintah menggunakan Cloud Storage sebagai lokasi penyimpanan perantara. Hal ini mengurangi waktu yang diperlukan untuk memproses dan menyediakan data mainframe dalam database atau data warehouse, seperti yang ditunjukkan pada gambar berikut.
