Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Last reviewed 2024-11-27 UTC
Ce document explique que l'objectif du modèle analytique hybride et multicloud est de tirer parti de la répartition entre les charges de travail transactionnelles et analytiques.
Dans les systèmes d'entreprise, la plupart des charges de travail appartiennent aux catégories suivantes :
Les charges de travail transactionnelles incluent des applications interactives telles que des applications de vente, de traitement financier, de planification des ressources d'entreprise ou de communication.
Les charges de travail analytiques incluent des applications qui transforment, analysent, affinent ou visualisent des données pour faciliter les processus de prise de décision.
Les systèmes d'analyse obtiennent leurs données à partir de systèmes transactionnels en interrogeant des API ou en accédant à des bases de données. Dans la plupart des entreprises, les systèmes analytiques et transactionnels ont tendance à être séparés et faiblement couplés. L'objectif du modèle analytique hybride et multicloud est de tirer parti de cette division préexistante en exécutant des charges de travail transactionnelles et analytiques dans deux environnements informatiques différents. Les données brutes sont d'abord extraites des charges de travail exécutées dans l'environnement informatique privé, puis chargées dansGoogle Cloud, où elles sont utilisées à des fins de traitement analytique. Certains résultats peuvent ensuite être renvoyés aux systèmes transactionnels.
Le schéma suivant illustre les architectures conceptuellement possibles en affichant les pipelines de données potentiels. Chaque chemin/flèche représente une option de pipeline de transformation et de transfert de données possible pouvant être basée sur l'ETL ou l'ELT, en fonction de la qualité des données disponible et du cas d'utilisation ciblé.
Pour transférer vos données vers Google Cloud et en tirer parti, utilisez les services de transfert de données, une suite complète de services d'ingestion, d'intégration et de réplication de données.
Comme indiqué dans le diagramme précédent, la connexion Google Cloud à des environnements sur site et à d'autres environnements cloud peut permettre divers cas d'utilisation d'analyse de données, tels que le streaming de données et les sauvegardes de bases de données. Pour alimenter le transport de base d'un modèle d'analyse hybride et multicloud qui nécessite un volume élevé de transfert de données, Cloud Interconnect et Cross-Cloud Interconnect fournissent une connectivité dédiée aux fournisseurs cloud sur site et autres.
Avantages
L'exécution de charges de travail analytiques dans le cloud présente plusieurs avantages essentiels :
Le trafic entrant (transfert de données de votre environnement informatique privé ou d'autres clouds versGoogle Cloud) peut être gratuit.
Les charges de travail analytiques doivent souvent traiter des quantités importantes de données et peuvent être exécutées en rafale. Elles sont donc particulièrement bien adaptées au déploiement dans un environnement de cloud public. En procédant au scaling des ressources de calcul de manière dynamique, vous pouvez traiter rapidement des ensembles de données volumineux tout en évitant les investissements initiaux et tout surprovisionnement de matériel informatique.
Google Cloud fournit un ensemble complet de services permettant de gérer les données tout au long de leur cycle de vie, de l'acquisition initiale à la visualisation finale, en passant par le traitement et l'analyse.
Les services de transfert de données sur Google Cloud fournissent une suite complète de produits permettant de déplacer, d'intégrer et de transformer des données de manière fluide de différentes manières.
Google Cloud vous aide à moderniser et à optimiser votre plate-forme de données pour briser les silos de données. L'utilisation d'un data lakehouse permet de standardiser les différents formats de stockage. Elle peut également offrir la flexibilité, l'évolutivité et l'agilité nécessaires pour que vos données génèrent de la valeur pour votre entreprise plutôt que des sources d'inefficacité. Pour en savoir plus, consultez BigLake.
BigQuery Omni fournit une puissance de calcul qui s'exécute localement sur le stockage AWS ou Azure. Il vous aide également à interroger vos propres données stockées dans Amazon Simple Storage Service (Amazon S3) ou Azure Blob Storage. Cette fonctionnalité d'analyse multicloud permet aux équipes chargées des données de décloisonner les données. Pour en savoir plus sur l'interrogation des données stockées en dehors de BigQuery, consultez la section Présentation des sources de données externes.
Bonnes pratiques
Pour mettre en œuvre le modèle d'architecture hybride et multicloud pour l'analyse, tenez compte des bonnes pratiques générales suivantes:
Utilisez le schéma de mise en réseau de transfert pour permettre l'ingestion de données. Si les résultats analytiques doivent être renvoyés aux systèmes transactionnels, vous pouvez combiner le transfert et le modèle de sortie contrôlée.
Utilisez des files d'attente Pub/Sub ou des buckets Cloud Storage pour transférer des données à Google Cloud à partir de systèmes transactionnels exécutés dans votre environnement informatique privé. Ces files d'attente ou buckets peuvent ensuite servir de sources pour les pipelines de traitement de données et les charges de travail.
Pour déployer des pipelines de données ETL et ELT, envisagez d'utiliser Cloud Data Fusion ou Dataflow, en fonction des exigences spécifiques de votre cas d'utilisation. Il s'agit de services de traitement de données cloud first entièrement gérés permettant de créer et de gérer des pipelines de données.
Pour découvrir, classer et protéger vos éléments de données importants, envisagez d'utiliser les fonctionnalités de Google Cloud
protection des données sensibles, telles que les techniques d'anonymisation.
Ces techniques vous permettent de masquer, de chiffrer et de remplacer les données sensibles, telles que les informations permettant d'identifier personnellement l'utilisateur, à l'aide d'une clé générée de manière aléatoire ou prédéterminée, le cas échéant et conformément à la réglementation.
Lorsque vous effectuez un premier transfert de données de votre environnement informatique privé vers Google Cloud, choisissez la méthode de transfert la mieux adaptée à la taille de votre ensemble de données et à la bande passante disponible. Pour en savoir plus, consultez la page Migration vers Google Cloud: transférer vos ensembles de données volumineux.
Si le transfert ou l'échange de données entre Google Cloud et d'autres clouds est requis à long terme avec un volume de trafic élevé, vous devez évaluer l'utilisation de Google Cloud
Cross-Cloud Interconnect pour vous aider à établir une connectivité dédiée à haut débit entreGoogle Cloud et d'autres fournisseurs de services cloud (disponible dans certaines zones géographiques).
Si le chiffrement est requis au niveau de la couche de connectivité, différentes options sont disponibles en fonction de la solution de connectivité hybride sélectionnée. Ces options incluent les tunnels VPN, le VPN haute disponibilité sur Cloud Interconnect et MACsec pour Cross-Cloud Interconnect.
Utilisez des outils et des processus cohérents dans tous les environnements. Dans un scénario d'analyse hybride, cette pratique peut contribuer à accroître l'efficacité opérationnelle, bien qu'elle ne constitue pas une condition préalable.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2024/11/27 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2024/11/27 (UTC)."],[[["\u003cp\u003eThe analytics hybrid and multicloud pattern leverages the separation of transactional and analytics workloads, running them in distinct computing environments.\u003c/p\u003e\n"],["\u003cp\u003eRaw data is extracted from transactional systems in a private computing environment and loaded into Google Cloud for analytical processing, with some results potentially feeding back into transactional systems.\u003c/p\u003e\n"],["\u003cp\u003eGoogle Cloud offers numerous advantages for running analytics workloads, including cost-effective inbound data transfer, dynamic scalability for processing large datasets, and a comprehensive suite of data management services.\u003c/p\u003e\n"],["\u003cp\u003eImplementing this architecture involves best practices such as using handover networking, employing Pub/Sub or Cloud Storage for data transfer, and utilizing Cloud Data Fusion or Dataflow for building data pipelines.\u003c/p\u003e\n"],["\u003cp\u003eCross-Cloud Interconnect can be utilized to facilitate long-term, high-volume data transfer between Google Cloud and other cloud providers.\u003c/p\u003e\n"]]],[],null,["# Analytics hybrid and multicloud pattern\n\nThis document discusses that the objective of the analytics hybrid and multicloud pattern is to capitalize on the split between transactional and analytics workloads.\n\nIn enterprise systems, most workloads fall into these categories:\n\n- *Transactional* workloads include interactive applications like sales, financial processing, enterprise resource planning, or communication.\n- *Analytics* workloads include applications that transform, analyze, refine, or visualize data to aid decision-making processes.\n\nAnalytics systems obtain their data from transactional systems by either\nquerying APIs or accessing databases. In most enterprises, analytics and\ntransactional systems tend to be separate and loosely coupled. The objective of\nthe *analytics hybrid and multicloud* pattern is to capitalize on this\npre-existing split by running transactional and analytics workloads in two\ndifferent computing environments. Raw data is first extracted from workloads\nthat are running in the private computing environment and then loaded into\nGoogle Cloud, where it's used for analytical processing. Some of the results\nmight then be fed back to transactional systems.\n\nThe following diagram illustrates conceptually possible architectures by showing\npotential data pipelines. Each path/arrow represents a possible data movement\nand transformation pipeline option that can be based on\n[ETL](/learn/what-is-etl)\nor ELT, depending on the available\n[data quality](/dataplex/docs/auto-data-quality-overview)\nand targeted use case.\n\nTo move your data into Google Cloud and unlock value from it, use\n[data movement](/data-movement)\nservices, a complete suite of data ingestion, integration, and replication\nservices.\n\nAs shown in the preceding diagram, connecting Google Cloud with\non-premises environments and other cloud environments can enable various data\nanalytics use cases, such as data streaming and database backups. To power the\nfoundational transport of a hybrid and multicloud analytics pattern that\nrequires a high volume of data transfer, Cloud Interconnect and\n[Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\nprovide dedicated connectivity to on-premises and other cloud providers.\n\nAdvantages\n----------\n\nRunning analytics workloads in the cloud has several key advantages:\n\n- Inbound traffic---moving data from your private computing environment or other clouds to Google Cloud---[might be free of charge](/vpc/network-pricing#general).\n- Analytics workloads often need to process substantial amounts of data and can be bursty, so they're especially well suited to being deployed in a public cloud environment. By dynamically scaling compute resources, you can quickly process large datasets while avoiding upfront investments or having to overprovision computing equipment.\n- Google Cloud provides a rich set of services to manage data throughout its entire lifecycle, ranging from initial acquisition through processing and analyzing to final visualization.\n - Data movement services on Google Cloud provide a complete suite of products to move, integrate, and transform data seamlessly in different ways.\n - Cloud Storage is well suited for [building a data lake](https://cloud.google.com/blog/topics/developers-practitioners/architect-your-data-lake-google-cloud-data-fusion-and-composer).\n- Google Cloud helps you to modernize and optimize your data\n platform to break down data silos. Using a\n [data lakehouse](/discover/what-is-a-data-lakehouse#section-3)\n helps to standardize across different storage formats. It can also provide\n the flexibility, scalability, and agility needed to help ensure that your\n data generates value for your business, rather than inefficiencies. For\n more information, see\n [BigLake](/biglake).\n\n- [BigQuery Omni,](/bigquery/docs/omni-introduction)\n provides compute power that runs locally to the storage on AWS or Azure. It\n also helps you query your own data stored in Amazon Simple Storage Service\n (Amazon S3) or Azure Blob Storage. This multicloud analytics capability\n lets data teams break down data silos. For more information about querying\n data stored outside of BigQuery, see\n [Introduction to external data sources](/bigquery/docs/external-data-sources).\n\nBest practices\n--------------\n\nTo implement the *analytics hybrid and multicloud* architecture pattern,\nconsider the following general best practices:\n\n- Use the [handover networking pattern](/architecture/hybrid-multicloud-secure-networking-patterns/handover-pattern) to enable the ingestion of data. If analytical results need to be fed back to transactional systems, you might combine both the handover and the [*gated egress*](/architecture/hybrid-multicloud-secure-networking-patterns/gated-egress) pattern.\n- Use [Pub/Sub](/pubsub) queues or [Cloud Storage](/storage) buckets to hand over data to Google Cloud from transactional systems that are running in your private computing environment. These queues or buckets can then serve as sources for data-processing pipelines and workloads.\n- To deploy ETL and ELT data pipelines, consider using [Cloud Data Fusion](/data-fusion) or [Dataflow](/dataflow) depending on your specific use case requirements. Both are fully managed, cloud-first data processing services for building and managing data pipelines.\n- To discover, classify, and protect your valuable data assets, consider using Google Cloud [Sensitive Data Protection](/sensitive-data-protection) capabilities, like [de-identification techniques](/sensitive-data-protection/docs/deidentify-sensitive-data). These techniques let you mask, encrypt, and replace sensitive data---like personally identifiable information (PII)---using a randomly generated or pre-determined key, where applicable and compliant.\n- When you're performing an initial data transfer from your private\n computing environment to Google Cloud, choose the transfer approach\n that is best suited for your dataset size and available bandwidth. For more\n information, see\n [Migration to Google Cloud: Transferring your large datasets](/architecture/migration-to-google-cloud-transferring-your-large-datasets).\n\n- If data transfer or exchange between Google Cloud and other clouds\n is required for the long term with high traffic volume, you should evaluate\n using Google Cloud\n [Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\n to help you establish high-bandwidth dedicated connectivity between\n Google Cloud and other cloud service providers (available in certain\n [locations](/network-connectivity/docs/interconnect/concepts/cci-overview#locations)).\n\n- If encryption is required at the connectivity layer, various options are\n available based on the selected hybrid connectivity solution. These options\n include VPN tunnels, HA VPN over Cloud Interconnect, and\n [MACsec for Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview#encryption).\n\n- Use consistent tooling and processes across environments. In an\n analytics hybrid scenario, this practice can help increase operational\n efficiency, although it's not a prerequisite."]]
