En esta página, se proporciona una descripción general del conector de Mainframe, sus funciones y sus beneficios clave.
Las organizaciones usan mainframes de IBM para realizar tareas de procesamiento fundamentales. En los últimos años, muchas empresas que dependen de los mainframes han estado trabajando para migrar a la nube. Mainframe Connector te permite mover tus datos de la unidad central a Google Cloud para que puedas transferir cargas de trabajo de informes intensivos en la CPU a Google Cloud.
Beneficios clave de Mainframe Connector
Los siguientes son los beneficios clave de usar Mainframe Connector para mover datos de unidades centrales a Google Cloud:
- Transferencia de datos simplificada: Simplifica el traslado de datos de la unidad central a los servicios de almacenamiento de Google Cloud, como Cloud Storage y BigQuery.
- Integración de trabajos por lotes: Te permite enviar trabajos de BigQuery con trabajos por lotes de mainframe definidos en el lenguaje de control de trabajos (JCL). A medida que se leen las consultas de conjuntos de datos o archivos, los analistas pueden usar trabajos programados con conocimientos mínimos y comprensión de los entornos de mainframe.
- Supervisión sencilla: El personal de operaciones de Mainframe no tiene que supervisar un entorno diferente, ya que las tareas se envían con programas conocidos con JCL.
- MIPS reducidos: Mainframe Connector usa una máquina virtual de Java (JVM) para la mayor parte del procesamiento para minimizar la carga de trabajo del procesador de la unidad central durante la transferencia de datos, lo que reduce los millones de instrucciones por segundo (MIPS) y, por lo tanto, los costos. Mainframe Connector transfiere la mayor parte del trabajo intensivo del procesador a los procesadores auxiliares. Si los procesadores auxiliares están sobrecargados, también puedes configurar Mainframe Connector para realizar la transcodificación y la conversión con Compute Engine. Para obtener más información sobre las configuraciones de Mainframe Connector, consulta Configuraciones de Mainframe Connector.
Transformación de transmisión: Transcodifica los conjuntos de datos de mainframe del método de acceso secuencial en cola (QSAM) asociados con los libros de copia de COBOL en código de intercambio decimal codificado en binario extendido (EBCDIC) o archivos en ASCII UTF-8 al formato ORC, que es compatible con los servicios de Google Cloud, como BigQuery. De forma predeterminada, el conector de Mainframe transcodifica los conjuntos de datos del grupo de caracteres US EBCDIC: Cp037 a ORC. Sin embargo, Mainframe Connector también admite la transcodificación de conjuntos de datos de los siguientes conjuntos de caracteres EBCDIC regionales:
- Francés: Cp297
- Alemán: Cp1141
- Español: Cp1145
Se puede implementar un grupo de caracteres personalizado si no se incluye uno adecuado en la JVM de IBM.
Cómo funciona Mainframe Connector
El conector de unidades centrales te permite mover datos ubicados en tu unidad central dentro y fuera de Cloud Storage, y enviar trabajos de BigQuery desde trabajos por lotes basados en unidades centrales definidos en JCL. Mainframe Connector te permite transcodificar conjuntos de datos de mainframe directamente al formato Optimized Row Columnar (ORC).
La transcodificación es el proceso de convertir información de una forma de representación codificada a otra, en este caso, a ORC. ORC es un formato de datos orientado a columnas de código abierto que se usa ampliamente en el ecosistema de Apache Hadoop y es compatible con BigQuery.
Mainframe Connector proporciona un subconjunto de las utilidades de línea de comandos del SDK de Google Cloud, que te permiten transferir datos e interactuar con los servicios de Google Cloud. El intérprete de shell y las implementaciones basadas en JVM de gsutil y las utilidades de línea de comandos de bq te permiten administrar una canalización completa de extracción, carga y transformación (ELT) desde IBM z/OS y, al mismo tiempo, conservar tu programador de tareas existente.
Uno de los desafíos principales para transferir tus datos de mainframe hacia y desde la nube es que es un proceso de varios pasos que, por lo general, incluye la ejecución de los siguientes pasos:
- Copiar datos en un servidor de archivos
- Copiar datos del servidor de archivos a otra ubicación para su procesamiento
- Usa una pila de procesamiento de datos para convertir los datos a un formato moderno.
- Vuelve a escribir los datos procesados en otra ubicación.
- Carga los datos procesados en una base de datos o un almacén de datos en el que se puedan consultar o usar los datos.
En la siguiente imagen, se muestra el proceso de varios pasos que se suele usar para transferir datos de un mainframe a Google Cloud.
El conector de unidades centrales te permite realizar todos estos pasos con un solo comando usando Cloud Storage como ubicación de almacenamiento intermedia. Esto reduce el tiempo que se tarda en procesar los datos del mainframe y ponerlos a disposición en una base de datos o un almacén de datos, como se muestra en la siguiente imagen.
¿Qué sigue?
- Arquitectura de Mainframe Connector
- Parámetros de configuración de Mainframe Connector
- Instala Mainframe Connector