Las organizaciones usan las computadoras centrales de IBM para realizar tareas informáticas críticas. En los últimos años, muchas empresas que dependen de los sistemas centrales han estado trabajando para migrar a la nube. Mainframe Connector te permite transferir tus datos de mainframe aGoogle Cloud para que puedas descargar las cargas de trabajo de informes con uso intensivo de CPU en Google Cloud.
Beneficios clave de Mainframe Connector
A continuación, se indican los principales beneficios de usar Mainframe Connector para transferir datos de la unidad central a Google Cloud:
- Transferencia de datos simplificada: Simplifica el movimiento de datos de la unidad central aGoogle Cloud servicios de almacenamiento como Cloud Storage y BigQuery.
- Integración de trabajos por lotes: Te permite enviar trabajos de BigQuery con trabajos por lotes de mainframe definidos en el lenguaje de control de trabajos (JCL). A medida que se leen las consultas de los conjuntos de datos o los archivos, los analistas pueden usar trabajos programados con un conocimiento y una comprensión mínimos de los entornos de mainframe.
- Supervisión sencilla: El personal de operaciones de Mainframe no tiene que supervisar un entorno diferente, ya que los trabajos se envían con programas conocidos que usan JCL.
- Reducción de MIPS: Mainframe Connector usa una máquina virtual de Java (JVM) para la mayor parte del procesamiento, lo que minimiza la carga de trabajo del procesador de la unidad central durante la transferencia de datos y, de este modo, reduce los millones de instrucciones por segundo (MIPS) y, por lo tanto, los costos. Mainframe Connector descarga la mayor parte del trabajo que requiere un uso intensivo del procesador en procesadores auxiliares. Si los procesadores auxiliares están sobrecargados, también puedes configurar Mainframe Connector para que realice la transcodificación y la conversión con Compute Engine. Para obtener más información sobre la configuración de Mainframe Connector, consulta Configuraciones de Mainframe Connector.
Transformación de transmisión: Transcodifica conjuntos de datos de mainframe del método de acceso secuencial en cola (QSAM) asociados con libros de copias de COBOL en código de intercambio decimal codificado en binario extendido (EBCDIC) o archivos en UTF-8 de ASCII al formato ORC, que es compatible con servicios como BigQuery. Google Cloud De forma predeterminada, Mainframe Connector transcodifica los conjuntos de datos del grupo de caracteres US EBCDIC: Cp037 a ORC. Sin embargo, Mainframe Connector también admite la transcodificación de conjuntos de datos de los siguientes conjuntos de caracteres EBCDIC regionales:
- Francés: Cp297
- Alemán: Cp1141
- Spanish: Cp1145
Se puede implementar un grupo de caracteres personalizado si no se incluye uno adecuado en la JVM de IBM.
Cómo funciona Mainframe Connector
Mainframe Connector te permite mover datos ubicados en tu unidad central dentro y fuera de Cloud Storage, y enviar trabajos de BigQuery desde trabajos por lotes basados en unidades centrales definidos en JCL. Mainframe Connector te permite transcodificar conjuntos de datos de mainframe directamente al formato Optimized Row Columnar (ORC).
La transcodificación es el proceso de convertir información de una forma de representación codificada a otra, en este caso, a ORC. ORC es un formato de datos de código abierto orientado a columnas que se usa mucho en el ecosistema de Apache Hadoop y que BigQuery admite.
Mainframe Connector proporciona un subconjunto de las utilidades de línea de comandos del SDK de Google Cloud que te permiten transferir datos y, también, interactuar con los servicios de Google Cloud . El intérprete de shell y las implementaciones basadas en JVM de las gsutil y bq te permiten administrar una canalización completa de extracción, carga y transformación (ELT) por completo desde IBM z/OS y, al mismo tiempo, conservar tu programador de trabajos existente.
Uno de los principales desafíos para transferir tus datos de la unidad central a la nube y viceversa es que se trata de un proceso de varios pasos que, normalmente, incluye la ejecución de los siguientes pasos:
- Copia los datos en un servidor de archivos.
- Copiar datos del servidor de archivos a otra ubicación para su procesamiento
- Usa una pila de procesamiento de datos para convertir los datos a un formato moderno.
- Escribir los datos procesados en otra ubicación
- Carga los datos procesados en una base de datos o un almacén de datos en el que se puedan consultar o usar los datos.
En la siguiente figura, se muestra el proceso de varios pasos que se usa normalmente para transferir datos de una computadora central a Google Cloud.
El conector de unidades centrales te permite realizar todos estos pasos con un solo comando usando Cloud Storage como ubicación de almacenamiento intermedia. Esto reduce el tiempo que tardan los datos del mainframe en procesarse y estar disponibles en una base de datos o un almacén de datos, como se muestra en la siguiente figura.
¿Qué sigue?
- Arquitectura de Mainframe Connector
- Configuraciones de Mainframe Connector
- Instala Mainframe Connector