Panoramica del connettore mainframe

Questa pagina offre una panoramica di Mainframe Connector, dei relativi funzionalità e vantaggi chiave.

I mainframe IBM vengono utilizzati dalle organizzazioni per eseguire attività di calcolo critiche. Negli ultimi anni, molte aziende che si affidano ai mainframe si sono impegnate a eseguire la migrazione al cloud. Il connettore mainframe ti consente di spostare i dati del mainframe in modo che tu possa trasferire a Google Cloud i carichi di lavoro dei report che richiedono un uso intensivo della CPU.

Principali vantaggi del connettore mainframe

Di seguito sono riportati i principali vantaggi dell'utilizzo di Mainframe Connector per spostare i dati del mainframe in Google Cloud:

  • Trasferimento di dati semplificato:semplifica lo spostamento dei dati del mainframe verso Servizi di archiviazione di Google Cloud come Cloud Storage e BigQuery.
  • Integrazione dei job batch: consente di inviare job BigQuery utilizzando job batch mainframe definiti in job control language (JCL). Quando le query vengono lette dai set di dati gli analisti possono utilizzare i job pianificati con una conoscenza minima degli ambienti mainframe.
  • Monitoraggio semplice: il personale addetto alle operazioni dei mainframe non deve monitorare ambiente diverso, poiché i job vengono inviati con pianificazioni familiari utilizzando JCL.
  • MIPS ridotti: il connettore mainframe utilizza una macchina virtuale Java (JVM) per la maggior parte dell'elaborazione al fine di ridurre al minimo il carico di lavoro del processore mainframe durante i dati di trasferimento, con una conseguente riduzione di milioni di istruzioni al secondo (MIPS) e conseguente costi aggiuntivi. Il connettore del mainframe riduce il carico del lavoro che richiede la maggior parte del processore processori ausiliari. Se i processori ausiliari sono sotto stress, puoi anche configurare Mainframe Connector per eseguire la transcodifica e la conversione utilizzando Compute Engine. Per ulteriori informazioni sul connettore mainframe configurazioni, consulta Configurazioni del connettore mainframe.

  • Trasformazione in streaming: transcodifica i set di dati mainframe con metodo di accesso sequenziale in coda (QSAM) associati a copybook COBOL in codice di interscambio decimale codificato binario esteso (EBCDIC) o file in ASCII UTF-8 nel formato ORC, compatibile con i servizi Google Cloud come BigQuery. Per impostazione predefinita, il connettore mainframe transcodifica i set di dati dal set di caratteri US EBCDIC: Cp037 in ORC. Tuttavia, Mainframe Connector supporta anche la transcodifica dei set di dati dai seguenti set di caratteri EBCDIC regionali:

    • Francese: Cp297
    • Tedesco: Cp1141
    • Spagnolo: Cp1145

    È possibile implementare un set di caratteri personalizzato se non è incluso uno appropriato nella JVM IBM.

Come funziona il connettore mainframe

Mainframe Connector ti consente di spostare i dati sul mainframe all'interno e all'esterno di Cloud Storage e di inviare job BigQuery da job batch basati su mainframe definiti in JCL. Mainframe Connector ti consente di transcodificare i set di dati mainframe direttamente nel formato ORC (Optimized Row Columnar).

La transcodifica è il processo di conversione delle informazioni da una forma di codice una rappresentanza a un altro, in questo caso a ORC. ORC è un framework open source un formato di dati orientato a colonne ampiamente usato nell'ecosistema Apache Hadoop, ed è supportato da BigQuery.

Mainframe Connector fornisce un sottoinsieme delle utility a riga di comando di Google Cloud SDK che ti consente di trasferire dati e interagire con i servizi Google Cloud. Conchiglia implementazioni basate su JVM e interprete di gsutil e le utilità a riga di comando bq possibile gestire una pipeline ELT (Extract, Load, Transform) completa interamente da IBM z/OS, pur mantenendo il tuo scheduler di job esistente.

Una delle sfide principali del trasferimento dei dati mainframe da e verso è che si tratta di un processo in più fasi che normalmente include l'esecuzione segui questi passaggi:

  1. Copia i dati su un file server.
  2. Copia i dati dal file server in un'altra posizione per l'elaborazione.
  3. Utilizza uno stack di elaborazione dei dati per convertire i dati in un formato moderno.
  4. Riscrivi i dati elaborati in un'altra posizione.
  5. Caricare i dati elaborati in un database o in un data warehouse dove i dati possono essere interrogato o utilizzato.

La figura seguente mostra la procedura in più fasi normalmente utilizzata per trasferire dati da un mainframe a Google Cloud.

Più passaggi per spostare i dati del mainframe su Google Cloud
Più passaggi per spostare i dati del mainframe in Google Cloud

Mainframe Connector ti consente di eseguire tutti questi passaggi con un singolo comando utilizzando Cloud Storage come posizione di archiviazione intermedia. In questo modo, si riduce il tempo necessario per l'elaborazione e la messa a disposizione dei dati del mainframe in un database o in un data warehouse, come mostrato nella figura seguente.

Passaggi eliminati da Mainframe Connector
Passaggi eliminati da Mainframe Connector

Passaggi successivi