En esta página, se proporciona una descripción general del conector de Mainframe, sus funciones y sus beneficios clave.
Las organizaciones usan mainframes de IBM para realizar tareas de procesamiento fundamentales. En los últimos años, muchas empresas que dependen de los mainframes han estado trabajando para migrar a la nube. Mainframe Connector te permite mover tus datos de la unidad central a Google Cloud para que puedas transferir cargas de trabajo de informes intensivos en la CPU a Google Cloud.
Beneficios clave del conector de unidad central
Los siguientes son los beneficios clave de usar el conector de unidades centrales para mover datos de unidades centrales a Google Cloud:
- Transferencia de datos simplificada: Simplifica el movimiento de datos de unidades centrales a Servicios de almacenamiento de Google Cloud, como Cloud Storage y BigQuery.
- Integración de trabajos por lotes: Te permite enviar trabajos de BigQuery con trabajos por lotes de mainframe definidos en el lenguaje de control de trabajos (JCL). A medida que se leen las consultas desde los conjuntos de datos o de datos, los analistas pueden usar trabajos programados con un mínimo conocimiento y de los entornos de unidades centrales.
- Supervisión sencilla: El personal de operaciones de la unidad central no tiene que supervisar un en un entorno diferente, ya que los trabajos se envían con programas familiares a través de JCL.
- MIPS reducidos: Mainframe Connector usa una máquina virtual de Java (JVM) para la mayor parte del procesamiento para minimizar la carga de trabajo del procesador de la unidad central durante la transferencia de datos, lo que reduce los millones de instrucciones por segundo (MIPS) y, por lo tanto, los costos. El conector de unidad central transfiere la mayor parte del trabajo que requiere el uso del procesador y procesadores auxiliares. Si se sobrecargan los procesadores auxiliares, también puedes configurar el conector de unidad central para realizar la transcodificación y la conversión con Compute Engine. Para obtener más información sobre el conector de unidades centrales consulta Configuraciones del conector de unidades centrales.
Transformación de transmisión: Transcodifica el método de acceso secuencial en cola (QSAM). conjuntos de datos de unidades centrales asociadas a los libros de COBOL en formato binario extendido código de intercambio decimal (EBCDIC) o archivos en ASCII UTF-8 al formato ORC que es compatible con servicios de Google Cloud, como BigQuery. De forma predeterminada, el conector de Mainframe transcodifica los conjuntos de datos del conjunto de caracteres US EBCDIC: Cp037 a ORC. Sin embargo, El conector de unidad central también admite conjuntos de datos de transcodificación del los siguientes grupos de caracteres regionales de EBCDIC:
- Francés: Cp297
- Alemán: Cp1141
- Español: Cp1145
Se puede implementar un conjunto de caracteres personalizado si no se incluye uno adecuado en la JVM de IBM.
Cómo funciona el conector de unidad central
Mainframe Connector te permite mover datos ubicados en tu unidad central dentro y fuera de Cloud Storage, y enviar trabajos de BigQuery desde trabajos por lotes basados en unidades centrales definidos en JCL. El conector de unidad central te permite transcodificar Conjuntos de datos de unidades centrales directamente a columnas optimizadas de filas (ORC) de un conjunto de datos tengan un formato común.
La transcodificación es el proceso de convertir información a partir de una forma de código a otra, en este caso, a ORC. ORC es una herramienta de código abierto orientado a columnas que se usa mucho en el ecosistema de Apache Hadoop, y es compatible con BigQuery.
Mainframe Connector proporciona un subconjunto de las utilidades de línea de comandos del SDK de Google Cloud, que te permiten transferir datos e interactuar con los servicios de Google Cloud. El caparazón e implementaciones basadas en JVM de gsutil y las utilidades de línea de comandos de bq lo que es posible administrar una canalización completa de extracción, carga y transformación (ELT) completamente a partir de IBM z/OS, a la vez que se retienen programador de trabajos existente.
Uno de los desafíos principales para transferir tus datos de mainframe hacia y desde la nube es que es un proceso de varios pasos que, por lo general, incluye la ejecución de los siguientes pasos:
- Copiar datos en un servidor de archivos
- Copiar datos del servidor de archivos a otra ubicación para su procesamiento
- Usar una pila de procesamiento de datos para convertir los datos a un formato moderno
- Volver a escribir los datos procesados en otra ubicación
- Carga los datos procesados en una base de datos o un almacén de datos en el que se puedan consultar o usar los datos.
En la siguiente imagen, se muestra el proceso de varios pasos que se suele usar para transferir datos de un mainframe a Google Cloud.
El conector de unidad central te permite realizar todos estos pasos con un solo con Cloud Storage como una ubicación de almacenamiento intermedio. Esto reduce el tiempo que se tarda en procesar los datos del mainframe y ponerlos a disposición en una base de datos o un almacén de datos, como se muestra en la siguiente imagen.
¿Qué sigue?
- Arquitectura del conector de unidad central
- Configuraciones del conector de unidades centrales
- Instala Mainframe Connector