Visão geral do Mainframe Connector

Esta página oferece uma visão geral do Mainframe Connector, seus recursos e principais benefícios.

Os mainframes IBM são usados por organizações para realizar tarefas de computação essenciais. Nos últimos anos, muitas empresas que dependem de mainframes estão trabalhando para migrar para na nuvem. O conector de mainframe permite que você mova os dados do mainframe para Google Cloud para que você possa descarregar cargas de trabalho de relatórios com uso intensivo de CPU para o Google Cloud.

Principais benefícios do Mainframe Connector

Confira a seguir os principais benefícios do uso do Mainframe Connector para mover dados de mainframe para o Google Cloud:

  • Transferência de dados simplificada:simplifica a movimentação de dados do mainframe para Serviços de armazenamento do Google Cloud, como o Cloud Storage e o BigQuery.
  • Integração de jobs em lote: permite enviar jobs do BigQuery usando jobs em lote de mainframe definidos na linguagem de controle de jobs (JCL, na sigla em inglês). À medida que as consultas são lidas dos conjuntos de dados ou os analistas podem usar jobs agendados com o mínimo de conhecimento e de ambientes de mainframe.
  • Monitoramento fácil: o pessoal de operações de mainframe não precisa monitorar um ambiente diferente, já que os jobs são enviados com programações conhecidas usando JCL.
  • MIPS reduzidos: o Mainframe Connector usa uma máquina virtual Java (JVM) para a maioria dos processamentos, minimizando a carga de trabalho do processador do mainframe durante a transferência de dados, reduzindo milhões de instruções por segundo (MIPS), e, assim, reduzindo custos. O Mainframe Connector transfere a maior parte do trabalho intensivo de processador para processadores auxiliares. Se os processadores auxiliares estiverem sobrecarregados, você também poderá configurar o Mainframe Connector para realizar a transcodificação e a conversão usando o Compute Engine. Para mais informações sobre o Conector de mainframe consulte Configurações do conector de mainframe.
  • Transformação de streaming: método de acesso sequencial na fila de transcodificação (QSAM, na sigla em inglês) conjuntos de dados de mainframe associados a cópias COBOL em código binário estendido decimal interchange code (EBCDIC) ou arquivos em ASCII UTF-8 para o formato ORC que é compatível com serviços do Google Cloud, como o BigQuery. De padrão, o Conector de mainframe transcodifica conjuntos de dados a partir do US EBCDIC: Cp037 definido como ORC. No entanto, O Conector de mainframe também é compatível com a transcodificação de conjuntos de dados do seguintes conjuntos de caracteres EBCDIC regionais:

    • Francês: Cp297
    • Alemão: Cp1141
    • Espanhol: Cp1145

    Um conjunto de caracteres personalizado pode ser implementado se um conjunto adequado não for incluído na JVM da IBM.

Como o Mainframe Connector funciona

Com o conector de mainframe, é possível mover dados do mainframe para o Cloud Storage e vice-versa, além de enviar jobs do BigQuery de jobs em lote baseados em mainframe definidos em JCL. O conector de mainframe permite transcodificar conjuntos de dados de mainframe diretamente para o Optimized Row Columnar (ORC) (em inglês). .

A transcodificação é o processo de conversão de informações de uma forma de representação codificada para outra, neste caso, para ORC. O ORC é um formato de dados orientado por colunas de código aberto muito usado no ecossistema do Apache Hadoop e compatível com o BigQuery.

O conector de mainframe fornece um subconjunto dos utilitários de linha de comando do SDK do Google Cloud, permitindo que você transfira dados e interaja com os serviços do Google Cloud. O intérprete de shell e as implementações baseadas em JVM do gsutil e dos utilitários de linha de comando bq permitem gerenciar um pipeline completo de extração, carga e transformação (ELT) diretamente do IBM z/OS, mantendo o programador de jobs atual.

Um dos principais desafios na transferência de dados de mainframes nuvem é que esse é um processo de várias etapas que normalmente inclui a execução as seguintes etapas:

  1. Copiar dados para um servidor de arquivos.
  2. Copiar dados do servidor de arquivos para outro local para processamento.
  3. Usar uma pilha de processamento de dados para converter os dados em um formato moderno.
  4. Grave os dados processados em outro local.
  5. Carregar os dados processados em um banco de dados ou data warehouse em que eles podem ser consultados ou usados.

A figura a seguir mostra um processo de várias etapas que normalmente é usado para para transferir dados de um mainframe para o Google Cloud.

Várias etapas para mover dados do mainframe para o Google Cloud
Várias etapas para mover dados de mainframes para o Google Cloud

O conector de mainframe permite executar todas essas etapas com um único usando o Cloud Storage como um local de armazenamento intermediário. Isso reduz o tempo necessário para que os dados do mainframe sejam processados e disponibilizados em um banco de dados ou data warehouse, conforme mostrado na figura a seguir.

Etapas eliminadas pelo Mainframe Connector
Etapas eliminadas pelo conector de mainframe

A seguir