Halaman ini memberikan ringkasan tentang Mainframe Connector, kemampuannya, dan manfaat utamanya.
Mainframe IBM digunakan oleh organisasi untuk melakukan tugas komputasi yang penting. Dalam beberapa tahun terakhir, banyak perusahaan yang mengandalkan mainframe telah berupaya untuk bermigrasi ke cloud. Mainframe Connector memungkinkan Anda memindahkan data mainframe ke Google Cloud sehingga Anda dapat memindahkan beban kerja laporan yang intensif CPU ke Google Cloud.
Manfaat utama Mainframe Connector
Berikut adalah manfaat utama menggunakan Mainframe Connector untuk memindahkan data mainframe ke Google Cloud:
- Transfer data yang disederhanakan: Menyederhanakan pemindahan data mainframe ke layanan penyimpanan Google Cloud seperti Cloud Storage dan BigQuery.
- Integrasi tugas batch: Memungkinkan Anda mengirimkan tugas BigQuery menggunakan tugas batch mainframe yang ditentukan dalam job control language (JCL). Saat kueri dibaca dari set data atau file, analis dapat menggunakan tugas terjadwal dengan pengetahuan dan pemahaman minimal tentang lingkungan mainframe.
- Pemantauan yang mudah: Personel operasi mainframe tidak perlu memantau lingkungan yang berbeda karena tugas dikirimkan dengan jadwal yang sudah dikenal menggunakan JCL.
- Pengurangan MIPS: Mainframe Connector menggunakan Java virtual machine (JVM) untuk sebagian besar pemrosesan guna meminimalkan beban kerja prosesor mainframe selama transfer data, sehingga mengurangi jutaan petunjuk per detik (MIPS) dan menurunkan biaya. Mainframe Connector memindahkan sebagian besar pekerjaan yang intensif prosesor ke prosesor tambahan. Jika prosesor tambahan mengalami tekanan, Anda juga dapat mengonfigurasi Mainframe Connector untuk melakukan transcoding dan konversi menggunakan Compute Engine. Untuk mengetahui informasi selengkapnya tentang konfigurasi Mainframe Connector, lihat Konfigurasi Mainframe Connector.
Transformasi streaming: Mentranskode set data mainframe metode akses berurutan dalam antrean (QSAM) yang dikaitkan dengan buku salinan COBOL dalam kode pertukaran desimal berenkode biner yang diperluas (EBCDIC), atau file dalam ASCII UTF-8 ke format ORC yang kompatibel dengan layanan Google Cloud seperti BigQuery. Secara default, Konektor Mainframe mentranskode set data dari set karakter US EBCDIC: Cp037 ke ORC. Namun, Mainframe Connector juga mendukung set data transcoding dari set karakter EBCDIC regional berikut:
- Prancis: Cp297
- Jerman: Cp1141
- Spanyol: Cp1145
Set karakter kustom dapat diterapkan jika set karakter yang sesuai tidak disertakan dalam IBM JVM.
Cara kerja Mainframe Connector
Mainframe Connector memungkinkan Anda memindahkan data yang berada di mainframe ke dalam dan ke luar Cloud Storage, serta mengirimkan tugas BigQuery dari tugas batch berbasis mainframe yang ditentukan di JCL. Mainframe Connector memungkinkan Anda mentranskode set data mainframe langsung ke format Optimized Row Columnar (ORC).
Transcoding adalah proses mengonversi informasi dari satu bentuk representasi terkode ke bentuk lainnya, dalam hal ini ke ORC. ORC adalah format data berorientasi kolom open source yang banyak digunakan di ekosistem Apache Hadoop, dan didukung oleh BigQuery.
Mainframe Connector menyediakan subset dari utilitas command line Google Cloud SDK yang memungkinkan Anda mentransfer data dan berinteraksi dengan layanan Google Cloud. Penafsir shell dan implementasi berbasis JVM dari gsutil dan utilitas command line bq memungkinkan Anda mengelola pipeline ekstrak, muat, transformasi (ELT) lengkap sepenuhnya dari IBM z/OS sekaligus mempertahankan penjadwal tugas yang ada.
Salah satu tantangan utama dalam mentransfer data mainframe ke dan dari cloud adalah proses multi-langkah yang biasanya mencakup eksekusi langkah-langkah berikut:
- Menyalin data ke server file.
- Menyalin data dari server file ke lokasi lain untuk diproses.
- Gunakan stack pemrosesan data untuk mengonversi data ke format modern.
- Tulis ulang data yang diproses ke lokasi lain.
- Muat data yang diproses ke database atau data warehouse tempat data dapat dibuat kueri atau digunakan.
Gambar berikut menunjukkan proses multi-langkah yang biasanya digunakan untuk mentransfer data dari mainframe ke Google Cloud.
Mainframe Connector memungkinkan Anda melakukan semua langkah ini dengan satu perintah menggunakan Cloud Storage sebagai lokasi penyimpanan perantara. Hal ini akan mengurangi waktu yang diperlukan untuk memproses data mainframe dan menyediakannya di database atau data warehouse, seperti yang ditunjukkan pada gambar berikut.
