Cette page présente les différentes manières dont Mainframe Connector pour la migration de vos données, ainsi que les avantages de chaque approche.
Vous pouvez exécuter Mainframe Connector dans les configurations suivantes en fonction de vos besoins :
- Transcoder les données du mainframe localement sur le mainframe, puis les migrer vers Google Cloud.
- Transcoder des données de mainframe sur Google Cloud à l'aide de Cloud Run
- Transcoder les données de mainframe sur Google Cloud en mode autonome à l'aide de Cloud Run
- Transférer les données de mainframe vers Cloud Storage à l'aide d'une bibliothèque de bandes virtuelles (VTL), puis transcoder les données sur Google Cloud
Les sections suivantes décrivent ces configurations en détail.
Déplacer les données de mainframe locales transcodées vers Google Cloud
Vous pouvez transcoder les données du mainframe localement sur le mainframe au Le format ORC (Optimized Row Columnar), qui permet compatibles avec BigQuery. Dans cette configuration, Mainframe Connector vous aide à gérer un pipeline d'extraction, de transformation et de chargement (ETL) complet entièrement à partir d'IBM z/OS, comme illustré dans la figure suivante.
Pour en savoir plus, consultez Transférer des données transcodées localement sur le mainframe vers Google Cloud.
Transcoder des données de mainframe à distance sur Google Cloud à l'aide de Cloud Run
La transcodification de données localement sur un mainframe est un processus gourmand en processeur qui entraîne une consommation élevée de millions d'instructions par seconde (MIPS). Pour éviter cela, vous peut déléguer le transcodage des données du mainframe à un service Cloud Run. sur Google Cloud, comme illustré dans la figure suivante. Cela libère votre mainframe pour les tâches critiques pour l'entreprise et réduit également la consommation de MIPS.
Pour en savoir plus, consultez Transcoder des données de mainframe à distance sur Google Cloud.
Exécuter Mainframe Connector en mode autonome
La version 5.13.0 et ultérieure de Mainframe Connector permet d'exécuter Mainframe Connector en tant que tâche autonome sur Google Cloud. Cette fonctionnalité vous permet d'exécuter Mainframe Connector en tant que tâche de traitement par lot conteneurisée, par exemple en tant que tâche Cloud Run, tâche Google Kubernetes Engine ou dans un conteneur Docker. Cette option vous évite d'installer Mainframe Connector localement sur votre mainframe et facilite l'exécution des tâches d'intégrer votre fichier de méthode d'accès séquentiel en file d'attente (QSAM) du mainframe aux workflows d'extraction, de transformation et de chargement (ETL) existants.
Lorsque vous utilisez la version autonome de Mainframe Connector, vous devez configurer vous-même le workflow ETL qui charge le fichier QSAM dans Google Cloud. Pour en savoir plus, consultez la section Exécuter le connecteur Mainframe en mode autonome.
Transcoder des données de mainframe déplacées vers Google Cloud à l'aide d'une bibliothèque de bandes virtuelles
Si vous souhaitez transférer de très grands volumes de données (environ 500 Go par jour ou plus) vers Google Cloud, et que vous ne souhaitez pas utiliser votre mainframe pour cela, vous pouvez un dispositif matériel dans votre centre de données pour transférer les données directement de stockage mainframe à Cloud Storage en utilisant un VTL et un Ethernet 10 G. En tant que le périphérique matériel reçoit les données directement du système de stockage du mainframe à l'aide d'un VTL, le processus de transfert de données entre le mainframe et Cloud Storage n'utilise pas du tout le mainframe, ce qui le libère pour des tâches stratégiques tâches. Le transcodage des données est effectué par un service Cloud Run sur Google Cloud, comme illustré dans la figure suivante.
Pour en savoir plus, consultez Transcoder des données de mainframe migrées vers Google Cloud à l'aide d'une bibliothèque de bandes virtuelle.