Memindahkan data yang ditranskode secara lokal di mainframe ke Google Cloud

Halaman ini membahas cara mentranskode data mainframe secara lokal di mainframe ke format Optimized Row Columnar (ORC), lalu memindahkan konten ke BigQuery.

Transcoding adalah proses mengonversi informasi dari satu bentuk representasi terkode ke bentuk lainnya, dalam hal ini ke ORC. ORC adalah format data berorientasi kolom open source yang banyak digunakan di ekosistem Apache Hadoop, dan didukung oleh BigQuery.

Sebelum memulai

Instal Mainframe Connector ke set data yang dipartisi mainframe yang ingin Anda gunakan sebagai library prosedur (PROCLIB).

Memindahkan data yang ditranskode secara lokal di mainframe ke Google Cloud

Untuk mentranskode data secara lokal di mainframe, lalu memindahkannya ke BigQuery, Anda harus melakukan tugas berikut:

  1. Baca dan transkode set data di mainframe, lalu upload ke Cloud Storage dalam format ORC. Transcoding dilakukan selama operasi cp, dengan set data kode pertukaran desimal kode biner yang diperluas (EBCDIC) mainframe dikonversi ke format ORC dalam UTF-8 selama penyalinan ke bucket Cloud Storage.
  2. Muat set data ke tabel BigQuery.
  3. (Opsional) Jalankan kueri SQL pada tabel BigQuery.
  4. (Opsional) Mengekspor data dari BigQuery kembali ke mainframe.

Untuk melakukan tugas ini, gunakan langkah-langkah berikut:

  1. Buat tugas untuk membaca set data di mainframe dan transkode ke format ORC, seperti berikut. Baca data dari set data INFILE, dan tata letak data dari COPYBOOK DD. Set data input harus berupa file metode akses berurutan (QSAM) dalam antrean dengan panjang data tetap atau variabel.

    //STEP01 EXEC BQSH
//INFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//STDIN DD *
BUCKET=BUCKET_NAME
gsutil cp --replace gs://$BUCKET/tablename.orc
/*

    Ganti kode berikut:

    • BUCKET_NAME: nama bucket Cloud Storage tempat Anda ingin menyalin data mainframe.

    Untuk menghindari penentuan variabel seperti project ID dan nama bucket di setiap prosedur job control language (JCL), Anda dapat menambahkannya di BQSH PROCLIB dan mereferensikannya di beberapa prosedur JCL sebagai variabel lingkungan. Pendekatan ini juga membantu memberikan transisi yang lancar antara lingkungan produksi dan non-produksi, karena variabel khusus lingkungan ditetapkan di PROCLIB BQSH lingkungan. Untuk mengetahui daftar lengkap variabel lingkungan yang didukung oleh Konektor Mainframe, lihat Variabel lingkungan.

    Dalam contoh ini, input standar (STDIN) disediakan sebagai data dalam streaming ke STDIN DD. Atau, Anda dapat memberikan input ini menggunakan nama sumber data (DSN), yang memudahkan pengelolaan penggantian simbol.

    Jika ingin mencatat perintah yang dieksekusi selama proses ini, Anda dapat mengaktifkan statistik pemuatan.

  2. Buat dan kirim tugas pemuatan BigQuery yang memuat partisi file ORC dari my_table.orc ke MY_DATASET.MY_TABLE, seperti berikut.

    Example JCL
//STEP02 EXEC BQSH
//STDIN DD *
PROJECT=PROJECT_NAME
bq load --project_id=$PROJECT \
  myproject:DATASET.TABLE \
  gs://bucket/tablename.orc/*
/*

    Ganti kode berikut:

    • PROJECT_NAME: nama project tempat Anda ingin menjalankan kueri.

  3. (Opsional) Buat dan kirim tugas kueri BigQuery yang menjalankan pembacaan SQL dari file DD QUERY. Biasanya, kueri akan berupa pernyataan MERGE atau SELECT INTO DML yang menghasilkan transformasi tabel BigQuery. Perhatikan bahwa Konektor Mainframe mencatat metrik tugas, tetapi tidak menulis hasil kueri ke file.

    Anda dapat membuat kueri BigQuery dengan berbagai cara - inline, dengan set data terpisah menggunakan DD, atau dengan set data terpisah menggunakan DSN.

    Example JCL
//STEP03 EXEC BQSH
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
LOCATION=LOCATION
bq query --project_id=$PROJECT \
--location=$LOCATION/*
/*

    Ganti kode berikut:

    • PROJECT_NAME: nama project tempat Anda ingin menjalankan kueri.
    • LOCATION: Lokasi tempat kueri akan dijalankan. Sebaiknya jalankan kueri di lokasi yang dekat dengan data.

  4. (Opsional) Buat dan kirim tugas ekspor yang mengeksekusi pembacaan SQL dari file DD QUERY, dan ekspor set data yang dihasilkan ke mainframe sebagai file biner.

    Example JCL
//STEP04 EXEC BQSH
//OUTFILE DD DSN=<HLQ>.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DISP=SHR,DSN=<HLQ>.COPYBOOK.FILENAME
//QUERY DD DSN=<HLQ>.QUERY.FILENAME,DISP=SHR
//STDIN DD *
PROJECT=PROJECT_NAME
DATASET_ID=DATASET_ID
DESTINATION_TABLE=DESTINATION_TABLE
bq export --project_id=$PROJECT \
  --dataset_id=$DATASET_ID \
  --destination_table=$DESTINATION_TABLE \
  --location="US" \
  --remoteHost <mainframe-connector-url>.a.run.app \
  --remotePort 443
/*

    Ganti kode berikut:

    • PROJECT_NAME: Nama project tempat Anda ingin menjalankan kueri.
    • DATASET_ID: ID set data BigQuery yang berisi tabel yang ingin Anda ekspor.
    • DESTINATION_TABLE: Tabel BigQuery yang ingin Anda ekspor.

    Data diekspor ke set data OUTFILE DD. Tata letak data dideskripsikan oleh COPYBOOK DD.