Esta página oferece uma vista geral do Mainframe Connector, das respetivas capacidades e das principais vantagens.
As estruturas informáticas IBM são usadas por organizações para realizar tarefas informáticas críticas. Nos últimos anos, muitas empresas que dependem de mainframes têm trabalhado para migrar para a nuvem. O conetor de mainframe permite-lhe mover os dados do mainframe para o Google Cloud , para que possa transferir cargas de trabalho de relatórios com utilização intensiva da CPU para o Google Cloud.
Principais vantagens do Mainframe Connector
Seguem-se as principais vantagens de usar o Mainframe Connector para mover dados de mainframe para o Google Cloud:
- Transferência de dados simplificada: simplifica o movimento de dados de mainframe para Google Cloud serviços de armazenamento, como o Cloud Storage e o BigQuery.
- Integração de tarefas em lote: permite enviar tarefas do BigQuery através de tarefas em lote do mainframe definidas na linguagem de controlo de tarefas (JCL). À medida que as consultas são lidas a partir de conjuntos de dados ou ficheiros, os analistas podem usar tarefas agendadas com conhecimentos e compreensão mínimos dos ambientes de mainframe.
- Monitorização fácil: o pessoal de operações do mainframe não tem de monitorizar um ambiente diferente, uma vez que os trabalhos são enviados com horários familiares através da JCL.
- MIPS reduzidos: o conetor de mainframe usa uma máquina virtual Java (JVM) para a maioria do processamento, de modo a minimizar a carga de trabalho do processador do mainframe durante a transferência de dados, reduzindo as milhões de instruções por segundo (MIPS) e, assim, diminuindo os custos. O Mainframe Connector transfere a maior parte do trabalho que exige muito processamento para processadores auxiliares. Se os processadores auxiliares estiverem sobrecarregados, também pode configurar o Mainframe Connector para realizar a transcodificação e a conversão através do Compute Engine. Para mais informações sobre as configurações do conetor de mainframe, consulte o artigo Configurações do conetor de mainframe.
Transformação de streaming: transcodifique conjuntos de dados de mainframe com método de acesso sequencial em fila (QSAM) associados a livros de cópias COBOL no código de intercâmbio decimal codificado em binário (EBCDIC) ou ficheiros em ASCII UTF-8 para o formato ORC, que é compatível com Google Cloud serviços como o BigQuery. Por predefinição, o Mainframe Connector transcodifica conjuntos de dados do conjunto de carateres US EBCDIC: Cp037 para ORC. No entanto, o conetor de mainframe também suporta a transcodificação de conjuntos de dados dos seguintes conjuntos de carateres EBCDIC regionais:
- Francês: Cp297
- Alemão: Cp1141
- Spanish: Cp1145
Pode implementar um conjunto de carateres personalizado se não estiver incluído um conjunto adequado na JVM da IBM.
Como funciona o Mainframe Connector
O Mainframe Connector permite-lhe mover dados localizados no seu mainframe para dentro e para fora do Cloud Storage, bem como enviar tarefas do BigQuery a partir de tarefas em lote baseadas no mainframe definidas em JCL. O conetor de mainframe permite-lhe transcodificar conjuntos de dados de mainframe diretamente para o formato Optimized Row Columnar (ORC).
A transcodificação é o processo de conversão de informações de uma forma de representação codificada para outra, neste caso, para ORC. O ORC é um formato de dados de código aberto orientado por colunas amplamente usado no ecossistema do Apache Hadoop e suportado pelo BigQuery.
O conetor de mainframe oferece um subconjunto das utilidades de linha de comandos do SDK Google Cloud, o que lhe permite transferir dados e interagir com os serviços do Google Cloud . O intérprete de comandos e as implementações baseadas na JVM das gsutil e bq permitem-lhe gerir um pipeline de extração, carregamento e transformação (ELT) completo inteiramente a partir do IBM z/OS, mantendo o seu programador de tarefas existente.
Um dos principais desafios na transferência dos dados do mainframe para a nuvem e vice-versa é que se trata de um processo de vários passos que normalmente inclui a execução dos seguintes passos:
- Copiar dados para um servidor de ficheiros.
- Copiar dados do servidor de ficheiros para outra localização para processamento.
- Use uma pilha de processamento de dados para converter os dados num formato moderno.
- Escrever novamente os dados processados noutra localização.
- Carregue os dados processados para uma base de dados ou um armazém de dados onde os dados podem ser consultados ou usados.
A figura seguinte mostra o processo de vários passos que é normalmente usado para transferir dados de um mainframe para o Google Cloud.
O Mainframe Connector permite-lhe executar todos estes passos com um único comando através do Cloud Storage como uma localização de armazenamento intermédia. Isto reduz o tempo necessário para o tratamento dos dados do mainframe e a disponibilização numa base de dados ou num armazém de dados, conforme mostrado na figura seguinte.
O que se segue?
- Arquitetura do conetor de mainframe
- Configurações do conetor de mainframe
- Instale o conetor de mainframe