Cette page présente les différentes façons dont Mainframe Connector vous aide à migrer vos données, ainsi que les avantages de chaque approche.
Vous pouvez exécuter Mainframe Connector dans les configurations suivantes en fonction de vos besoins:
- Transcodez les données du mainframe localement sur le mainframe, puis migrez-les vers Google Cloud.
- Transcodez des données de mainframe sur Google Cloud à l'aide de Cloud Run.
- Transcodez les données du mainframe sur Google Cloud en mode autonome à l'aide de Cloud Run.
- Transférez les données de mainframe vers Cloud Storage à l'aide d'une bibliothèque de bandes virtuelle (VTL), puis transcodez les données sur Google Cloud.
Les sections suivantes présentent ces configurations en détail.
Transférer des données de mainframe transcodées localement vers Google Cloud
Vous pouvez transcoder localement les données du mainframe au format ORC (Optimized Row Columnar), qui est compatible avec BigQuery. Dans cette configuration, Mainframe Connector vous aide à gérer un pipeline d'extraction, de transformation et de chargement (ETL) complet entièrement à partir d'IBM z/OS, comme illustré dans la figure suivante.
Pour en savoir plus, consultez Déplacer des données transcodées localement sur le mainframe vers Google Cloud.
Transcodage à distance des données de mainframe sur Google Cloud à l'aide de Cloud Run
La transcodification de données localement sur un mainframe est un processus gourmand en processeur qui entraîne une consommation élevée de millions d'instructions par seconde (MIPS). Pour éviter cela, vous pouvez déléguer le transcodage des données de mainframe à un service Cloud Run sur Google Cloud, comme illustré dans la figure suivante. Cela libère votre mainframe pour les tâches critiques pour l'entreprise et réduit également la consommation de MIPS.
Pour en savoir plus, consultez Transcoder des données de mainframe à distance sur Google Cloud.
Exécuter Mainframe Connector en mode autonome
La version 5.13.0 et ultérieure de Mainframe Connector permet d'exécuter Mainframe Connector en tant que tâche autonome sur Google Cloud. Cette fonctionnalité vous permet d'exécuter Mainframe Connector en tant que job par lot conteneurisée, par exemple en tant que tâche Cloud Run, tâche Google Kubernetes Engine ou dans un conteneur Docker. Cette option vous évite d'installer le connecteur Mainframe localement sur votre mainframe et vous permet d'intégrer plus facilement l'analyse de fichiers QSAM (Mainframe queued sequential access method) à vos workflows d'extraction, de transformation et de chargement (ETL) existants.
Lorsque vous utilisez la version autonome du connecteur Mainframe, vous devez configurer vous-même le workflow ETL qui charge le fichier QSAM dans Google Cloud . Pour en savoir plus, consultez Exécuter le connecteur Mainframe en mode autonome.
Transcodage des données de mainframe transférées vers Google Cloud à l'aide d'une bibliothèque de bandes virtuelle
Si vous souhaitez transférer de très grands volumes de données (environ 500 Go par jour) versGoogle Cloud, et que vous ne souhaitez pas utiliser votre mainframe pour ce transfert, vous pouvez déployer un appareil matériel dans votre centre de données pour transférer les données directement du système de stockage du mainframe vers Cloud Storage à l'aide d'un VTL et d'une connexion Ethernet 10 G. Comme l'appareil matériel reçoit les données directement à partir du système de stockage du mainframe à l'aide d'un VTL, le processus de transfert de données entre le mainframe et Cloud Storage n'utilise pas du tout le mainframe, ce qui le libère pour les tâches critiques pour l'entreprise. Le transcodage de données est effectué par un service Cloud Run surGoogle Cloud, comme illustré dans la figure suivante.
Pour en savoir plus, consultez Transcoder des données de mainframe transférées vers Google Cloud à l'aide d'une bibliothèque de bandes virtuelle.