Panoramica di Mainframe Connector

Questa pagina fornisce una panoramica di Mainframe Connector, delle sue funzionalità e dei vantaggi principali.

I mainframe IBM vengono utilizzati dalle organizzazioni per eseguire attività di calcolo critiche. Negli ultimi anni, molte aziende che si affidano ai mainframe si sono impegnate a eseguire la migrazione al cloud. Mainframe Connector ti consente di spostare i dati del mainframe in Google Cloud in modo da poter scaricare su Google Cloud i carichi di lavoro dei report che richiedono un'elevata elaborazione della CPU.

Vantaggi principali di Mainframe Connector

Di seguito sono riportati i principali vantaggi dell'utilizzo di Mainframe Connector per spostare i dati del mainframe in Google Cloud:

  • Trasferimento dei dati semplificato: semplifica lo spostamento dei dati del mainframe nei servizi di archiviazione di Google Cloud come Cloud Storage e BigQuery.
  • Integrazione dei job batch:consente di inviare job BigQuery utilizzando job batch mainframe definiti in job control language (JCL). Poiché le query vengono lette da set di dati o file, gli analisti possono utilizzare i job pianificati con conoscenze e comprensione minime degli ambienti mainframe.
  • Monitoraggio facile: il personale addetto alle operazioni del mainframe non deve monitorare un ambiente diverso poiché i job vengono inviati con pianificazioni familiari utilizzando JCL.
  • Riduzione dei MIPS: Mainframe Connector utilizza una JVM (Java Virtual Machine) per la maggior parte dell'elaborazione al fine di ridurre al minimo il carico del processore del mainframe durante il trasferimento dei dati, riducendo i milioni di istruzioni al secondo (MIPS) e quindi i costi. Mainframe Connector scarica la maggior parte del lavoro che richiede un'elevata intensità di risorse di elaborazione su processori ausiliari. Se i processori ausiliari sono sotto stress, puoi anche configurare Mainframe Connector per eseguire la transcodifica e la conversione utilizzando Compute Engine. Per ulteriori informazioni sulle configurazioni di Mainframe Connector, consulta Configurazioni di Mainframe Connector.

  • Trasformazione in streaming: transcodifica i set di dati mainframe con metodo di accesso sequenziale in coda (QSAM) associati a copybook COBOL in EBCDIC (Extended Binary Coded Decimal Interchange Code) o file in ASCII UTF-8 nel formato ORC, compatibile con i servizi Google Cloud come BigQuery. Per impostazione predefinita, il connettore mainframe transcodifica i set di dati dal set di caratteri US EBCDIC: Cp037 in ORC. Tuttavia, Mainframe Connector supporta anche la transcodifica dei set di dati dai seguenti set di caratteri EBCDIC regionali:

    • Francese: Cp297
    • Tedesco: Cp1141
    • Spagnolo: Cp1145

    È possibile implementare un set di caratteri personalizzato se non è incluso uno appropriato nella JVM IBM.

Come funziona Mainframe Connector

Mainframe Connector ti consente di spostare i dati sul mainframe all'interno e all'esterno di Cloud Storage e di inviare job BigQuery da job batch basati su mainframe definiti in JCL. Mainframe Connector ti consente di transcodificare i set di dati mainframe direttamente nel formato ORC (Optimized Row Columnar).

La transcodifica è il processo di conversione delle informazioni da una forma di rappresentazione codificata a un'altra, in questo caso in ORC. ORC è un formato di dati open source orientato alle colonne ampiamente utilizzato nell'ecosistema Apache Hadoop ed è supportato da BigQuery.

Mainframe Connector fornisce un sottoinsieme delle utility a riga di comando di Google Cloud SDK che ti consente di trasferire dati e interagire con i servizi Google Cloud. L'interprete di shell e le implementazioni basate su JVM di gsutil e delle utility a riga di comando bq ti consentono di gestire un'intera pipeline ELT (estrazione, caricamento e trasformazione) da IBM z/OS mantenendo l'organizzatore dei job esistente.

Una delle principali sfide del trasferimento dei dati mainframe da e verso il cloud è che si tratta di un processo in più passaggi che normalmente include l'esecuzione dei seguenti passaggi:

  1. Copia i dati su un file server.
  2. Copia i dati dal file server in un'altra posizione per l'elaborazione.
  3. Utilizza uno stack di elaborazione dei dati per convertire i dati in un formato moderno.
  4. Scrivere nuovamente i dati elaborati in un'altra posizione.
  5. Carica i dati elaborati in un database o in un data warehouse in cui possono essere sottoposti a query o utilizzati.

La figura seguente mostra la procedura in più passaggi normalmente utilizzata per trasferire i dati da un mainframe a Google Cloud.

Più passaggi per spostare i dati del mainframe su Google Cloud
Più passaggi per spostare i dati del mainframe in Google Cloud

Mainframe Connector ti consente di eseguire tutti questi passaggi con un singolo comando utilizzando Cloud Storage come posizione di archiviazione intermedia. In questo modo, si riduce il tempo necessario per l'elaborazione e la messa a disposizione dei dati del mainframe in un database o in un data warehouse, come mostrato nella figura seguente.

Passaggi eliminati da Mainframe Connector
Passaggi eliminati da Mainframe Connector

Passaggi successivi