Esta página oferece uma visão geral do Mainframe Connector, seus recursos e principais benefícios.
Os mainframes IBM são usados por organizações para realizar tarefas de computação essenciais. Nos últimos anos, muitas empresas que dependem de mainframes têm trabalhado para migrar para a nuvem. O Mainframe Connector permite mover os dados do mainframe para o Google Cloud para que você possa descarregar as cargas de trabalho de relatórios que exigem muito da CPU para o Google Cloud.
Principais benefícios do Mainframe Connector
Confira a seguir os principais benefícios do uso do Mainframe Connector para mover dados de mainframe para o Google Cloud:
- Transferência de dados simplificada:simplifica a transferência de dados do mainframe para serviços de armazenamento do Google Cloud, como o Cloud Storage e o BigQuery.
- Integração de jobs em lote:permite enviar jobs do BigQuery usando jobs em lote de mainframe definidos na linguagem de controle de jobs (JCL, na sigla em inglês). Como as consultas são lidas de conjuntos de dados ou arquivos, os analistas podem usar jobs programados com o mínimo de conhecimento e compreensão dos ambientes de mainframe.
- Monitoramento fácil:o pessoal de operações de mainframe não precisa monitorar um ambiente diferente, já que os jobs são enviados com programações conhecidas usando JCL.
- MIPS reduzidos:o Mainframe Connector usa uma máquina virtual Java (JVM) para a maioria dos processamentos, minimizando a carga de trabalho do processador do mainframe durante a transferência de dados, reduzindo milhões de instruções por segundo (MIPS), e, assim, reduzindo custos. O Mainframe Connector transfere a maior parte do trabalho que exige mais do processador para processadores auxiliares. Se os processadores auxiliares estiverem sobrecarregados, você também poderá configurar o Mainframe Connector para realizar a transcodificação e a conversão usando o Compute Engine. Para mais informações sobre as configurações do Mainframe Connector, consulte Configurações do Mainframe Connector.
Transformação em streaming:transcodificar conjuntos de dados de mainframe de método de acesso sequencial em fila (QSAM, na sigla em inglês) associados a cópias de COBOL em código binário estendido codificado decimal (EBCDIC, na sigla em inglês) ou arquivos em ASCII UTF-8 para o formato ORC, que é compatível com serviços do Google Cloud, como o BigQuery. Por padrão, o Mainframe Connector transcodifica conjuntos de dados do conjunto de caracteres US EBCDIC: Cp037 para ORC. No entanto, o Mainframe Connector também oferece suporte à transcodificação de conjuntos de dados dos seguintes conjuntos de caracteres EBCDIC regionais:
- Francês: Cp297
- Alemão: Cp1141
- Espanhol: Cp1145
Um conjunto de caracteres personalizado pode ser implementado se um conjunto adequado não for incluído na JVM da IBM.
Como o Mainframe Connector funciona
Com o conector de mainframe, é possível mover dados do mainframe para o Cloud Storage e vice-versa, além de enviar jobs do BigQuery de jobs em lote baseados em mainframe definidos em JCL. O Mainframe Connector permite transcodificar conjuntos de dados de mainframe diretamente para o formato ORC (Optimized Row Columnar).
A transcodificação é o processo de conversão de informações de uma forma de representação codificada para outra, neste caso, para ORC. O ORC é um formato de dados orientado por colunas de código aberto muito usado no ecossistema do Apache Hadoop e compatível com o BigQuery.
O conector de mainframe fornece um subconjunto dos utilitários de linha de comando do SDK Google Cloud, permitindo que você transfira dados e interaja com os serviços do Google Cloud. O intérprete de shell e as implementações baseadas em JVM do gsutil e dos utilitários de linha de comando bq permitem gerenciar um pipeline completo de extração, carga e transformação (ELT) diretamente do IBM z/OS, mantendo o programador de jobs atual.
Um dos principais desafios na transferência de dados de mainframe para a nuvem e vice-versa é que é um processo de várias etapas que normalmente inclui a execução das seguintes etapas:
- Copiar dados para um servidor de arquivos.
- Copie os dados do servidor de arquivos para outro local para processamento.
- Use uma pilha de processamento de dados para converter os dados em um formato moderno.
- Grave os dados processados em outro local.
- Carregar os dados processados em um banco de dados ou um data warehouse, onde eles podem ser consultados ou usados.
A figura a seguir mostra o processo de várias etapas que normalmente é usado para transferir dados de um mainframe para o Google Cloud.
O conector de mainframe permite realizar todas essas etapas com um único comando usando o Cloud Storage como um local de armazenamento intermediário. Isso reduz o tempo necessário para que os dados do mainframe sejam processados e disponibilizados em um banco de dados ou data warehouse, conforme mostrado na figura a seguir.
A seguir
- Arquitetura do Mainframe Connector
- Configurações do Mainframe Connector
- Instalar o Mainframe Connector