Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Last reviewed 2024-11-27 UTC
Questo documento illustra che lo scopo del pattern di analisi ibrido e multicloud è sfruttare la suddivisione tra carichi di lavoro transazionali e di analisi.
Nei sistemi aziendali, la maggior parte dei carichi di lavoro rientra in queste categorie:
I workload transazionali includono applicazioni interattive come vendite, elaborazione finanziaria, pianificazione delle risorse aziendali o comunicazione.
I carichi di lavoro di analisi includono applicazioni che trasformano, analizzano, perfezionano o visualizzano i dati per supportare i processi decisionali.
I sistemi di analisi ottengono i dati dai sistemi transazionali tramite query sulle API o accedendo ai database. Nella maggior parte delle aziende, i sistemi di analisi e transazionali tendono ad essere separati e a basso accoppiamento. Lo scopo del pattern analytics ibrido e multi-cloud è sfruttare questa suddivisione preesistente eseguendo carichi di lavoro transazionali e di analisi in due ambienti di calcolo diversi. I dati non elaborati vengono prima estratti dai carichi di lavoro in esecuzione nell'ambiente di calcolo privato e poi caricati inGoogle Cloud, dove vengono utilizzati per l'elaborazione analitica. Alcuni risultati
potrebbero poi essere ritrasmessi ai sistemi transazionali.
Il seguente diagramma illustra architetture concettualmente possibili mostrando potenziali pipeline di dati. Ogni percorso/freccia rappresenta una possibile opzione di pipeline di spostamento e trasformazione dei dati che può essere basata su ETL o ELT, a seconda della qualità dei dati disponibile e del caso d'uso target.
Per trasferire i tuoi dati in Google Cloud e sbloccarne il valore, utilizza
i servizi di trasferimento dei dati, una suite completa di servizi di importazione, integrazione e replica dei dati.
Come mostrato nel diagramma precedente, la connessione Google Cloud con
ambienti on-premise e altri ambienti cloud può abilitare vari casi d'uso di
analisi dei dati, come lo streaming di dati e i backup del database. Per supportare il trasporto di base di un pattern di analisi ibrida e multicloud che richiede un volume elevato di trasferimento di dati, Cloud Interconnect e Cross-Cloud Interconnect forniscono connettività dedicata ai provider cloud on-premise e di altro tipo.
Vantaggi
L'esecuzione di carichi di lavoro di analisi nel cloud presenta diversi vantaggi chiave:
Il traffico in entrata, ovvero il trasferimento di dati dal tuo ambiente di calcolo privato o da altri cloud aGoogle Cloud, potrebbe essere gratuito.
I carichi di lavoro di analisi devono spesso elaborare quantità considerevoli di dati
e possono essere intermittenti, pertanto sono particolarmente adatti per il deployment in un
ambiente cloud pubblico. Se esegui la scalabilità dinamica delle risorse di calcolo, puoi elaborare rapidamente set di dati di grandi dimensioni evitando investimenti iniziali o dover eseguire il provisioning eccessivo delle apparecchiature di calcolo.
Google Cloud offre una vasta gamma di servizi per gestire i dati
durante l'intero ciclo di vita, dall'acquisizione iniziale all'elaborazione e all'analisi fino alla visualizzazione finale.
I servizi di spostamento dei dati su Google Cloud forniscono una suite completa di prodotti per spostare, integrare e trasformare i dati in modo semplice e in diversi modi.
Google Cloud ti aiuta a modernizzare e ottimizzare la tua piattaforma di dati per abbattere i silos di dati. L'utilizzo di una data lakehouse consente di standardizzare i diversi formati di archiviazione. Inoltre, può offrire la flessibilità, la scalabilità e l'agilità necessarie per garantire che i dati generino valore per la tua attività, anziché inefficienze. Per ulteriori informazioni, consulta BigLake.
BigQuery Omni
fornisce potenza di calcolo che viene eseguita localmente nello spazio di archiviazione su AWS o Azure. Ti aiuta inoltre a eseguire query sui tuoi dati archiviati in Amazon Simple Storage Service (Amazon S3) o Azure Blob Storage. Questa funzionalità di analisi multicloud consente ai team di dati di abbattere i silos di dati. Per ulteriori informazioni sull'esecuzione di query sui dati archiviati al di fuori di BigQuery, consulta Introduzione alle origini dati esterne.
Best practice
Per implementare il modello di architettura ibrida e multicloud per l'analisi,
considera le seguenti best practice generali:
Utilizza le code Pub/Sub o i bucket Cloud Storage per trasferire i dati da Google Cloud a sistemi transazionali Google Cloud in esecuzione nel tuo ambiente di calcolo privato. Queste code o questi bucket possono quindi fungere da origini per pipeline e workload di elaborazione dati.
Per eseguire il deployment di pipeline di dati ETL ed ELT, ti consigliamo di utilizzare
Cloud Data Fusion
o
Dataflow
a seconda dei requisiti specifici del tuo caso d'uso. Entrambi sono servizi di elaborazione dati cloud-first completamente gestiti per la creazione e la gestione di pipeline di dati.
Per scoprire, classificare e proteggere i tuoi preziosi asset di dati, ti consigliamo di utilizzare le funzionalità di Google Cloud
Protezione dei dati sensibili, come le
tecniche di anonimizzazione.
Queste tecniche ti consentono di mascherare, criptare e sostituire i dati sensibili, come le informazioni che consentono l'identificazione personale (PII), utilizzando una chiave predeterminata o generata in modo casuale, ove applicabile e conforme.
Quando esegui un trasferimento iniziale dei dati dal tuo ambiente di calcolo privato a Google Cloud, scegli l'approccio di trasferimento più adatto alle dimensioni del tuo set di dati e alla larghezza di banda disponibile. Per ulteriori informazioni, consulta Migrazione a Google Cloud: trasferimento dei tuoi set di dati di grandi dimensioni.
Se il trasferimento o lo scambio di dati tra Google Cloud e altri cloud
è necessario per il lungo termine con un volume di traffico elevato, ti consigliamo di valutare
l'utilizzo di Google Cloud
Cross-Cloud Interconnect
per aiutarti a stabilire una connettività dedicata ad alta larghezza di banda tra
Google Cloud e altri provider di servizi cloud (disponibile in determinate
località).
Se è richiesta la crittografia a livello di connettività, sono disponibili varie opzioni in base alla soluzione di connettività ibrida selezionata. Queste opzioni includono tunnel VPN, VPN ad alta disponibilità su Cloud Interconnect e MACsec per Cross-Cloud Interconnect.
Utilizza strumenti e procedure coerenti in tutti gli ambienti. In uno scenario ibrido di analisi, questa pratica può contribuire ad aumentare l'efficienza operativa, anche se non è un prerequisito.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2024-11-27 UTC."],[[["\u003cp\u003eThe analytics hybrid and multicloud pattern leverages the separation of transactional and analytics workloads, running them in distinct computing environments.\u003c/p\u003e\n"],["\u003cp\u003eRaw data is extracted from transactional systems in a private computing environment and loaded into Google Cloud for analytical processing, with some results potentially feeding back into transactional systems.\u003c/p\u003e\n"],["\u003cp\u003eGoogle Cloud offers numerous advantages for running analytics workloads, including cost-effective inbound data transfer, dynamic scalability for processing large datasets, and a comprehensive suite of data management services.\u003c/p\u003e\n"],["\u003cp\u003eImplementing this architecture involves best practices such as using handover networking, employing Pub/Sub or Cloud Storage for data transfer, and utilizing Cloud Data Fusion or Dataflow for building data pipelines.\u003c/p\u003e\n"],["\u003cp\u003eCross-Cloud Interconnect can be utilized to facilitate long-term, high-volume data transfer between Google Cloud and other cloud providers.\u003c/p\u003e\n"]]],[],null,["# Analytics hybrid and multicloud pattern\n\nThis document discusses that the objective of the analytics hybrid and multicloud pattern is to capitalize on the split between transactional and analytics workloads.\n\nIn enterprise systems, most workloads fall into these categories:\n\n- *Transactional* workloads include interactive applications like sales, financial processing, enterprise resource planning, or communication.\n- *Analytics* workloads include applications that transform, analyze, refine, or visualize data to aid decision-making processes.\n\nAnalytics systems obtain their data from transactional systems by either\nquerying APIs or accessing databases. In most enterprises, analytics and\ntransactional systems tend to be separate and loosely coupled. The objective of\nthe *analytics hybrid and multicloud* pattern is to capitalize on this\npre-existing split by running transactional and analytics workloads in two\ndifferent computing environments. Raw data is first extracted from workloads\nthat are running in the private computing environment and then loaded into\nGoogle Cloud, where it's used for analytical processing. Some of the results\nmight then be fed back to transactional systems.\n\nThe following diagram illustrates conceptually possible architectures by showing\npotential data pipelines. Each path/arrow represents a possible data movement\nand transformation pipeline option that can be based on\n[ETL](/learn/what-is-etl)\nor ELT, depending on the available\n[data quality](/dataplex/docs/auto-data-quality-overview)\nand targeted use case.\n\nTo move your data into Google Cloud and unlock value from it, use\n[data movement](/data-movement)\nservices, a complete suite of data ingestion, integration, and replication\nservices.\n\nAs shown in the preceding diagram, connecting Google Cloud with\non-premises environments and other cloud environments can enable various data\nanalytics use cases, such as data streaming and database backups. To power the\nfoundational transport of a hybrid and multicloud analytics pattern that\nrequires a high volume of data transfer, Cloud Interconnect and\n[Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\nprovide dedicated connectivity to on-premises and other cloud providers.\n\nAdvantages\n----------\n\nRunning analytics workloads in the cloud has several key advantages:\n\n- Inbound traffic---moving data from your private computing environment or other clouds to Google Cloud---[might be free of charge](/vpc/network-pricing#general).\n- Analytics workloads often need to process substantial amounts of data and can be bursty, so they're especially well suited to being deployed in a public cloud environment. By dynamically scaling compute resources, you can quickly process large datasets while avoiding upfront investments or having to overprovision computing equipment.\n- Google Cloud provides a rich set of services to manage data throughout its entire lifecycle, ranging from initial acquisition through processing and analyzing to final visualization.\n - Data movement services on Google Cloud provide a complete suite of products to move, integrate, and transform data seamlessly in different ways.\n - Cloud Storage is well suited for [building a data lake](https://cloud.google.com/blog/topics/developers-practitioners/architect-your-data-lake-google-cloud-data-fusion-and-composer).\n- Google Cloud helps you to modernize and optimize your data\n platform to break down data silos. Using a\n [data lakehouse](/discover/what-is-a-data-lakehouse#section-3)\n helps to standardize across different storage formats. It can also provide\n the flexibility, scalability, and agility needed to help ensure that your\n data generates value for your business, rather than inefficiencies. For\n more information, see\n [BigLake](/biglake).\n\n- [BigQuery Omni,](/bigquery/docs/omni-introduction)\n provides compute power that runs locally to the storage on AWS or Azure. It\n also helps you query your own data stored in Amazon Simple Storage Service\n (Amazon S3) or Azure Blob Storage. This multicloud analytics capability\n lets data teams break down data silos. For more information about querying\n data stored outside of BigQuery, see\n [Introduction to external data sources](/bigquery/docs/external-data-sources).\n\nBest practices\n--------------\n\nTo implement the *analytics hybrid and multicloud* architecture pattern,\nconsider the following general best practices:\n\n- Use the [handover networking pattern](/architecture/hybrid-multicloud-secure-networking-patterns/handover-pattern) to enable the ingestion of data. If analytical results need to be fed back to transactional systems, you might combine both the handover and the [*gated egress*](/architecture/hybrid-multicloud-secure-networking-patterns/gated-egress) pattern.\n- Use [Pub/Sub](/pubsub) queues or [Cloud Storage](/storage) buckets to hand over data to Google Cloud from transactional systems that are running in your private computing environment. These queues or buckets can then serve as sources for data-processing pipelines and workloads.\n- To deploy ETL and ELT data pipelines, consider using [Cloud Data Fusion](/data-fusion) or [Dataflow](/dataflow) depending on your specific use case requirements. Both are fully managed, cloud-first data processing services for building and managing data pipelines.\n- To discover, classify, and protect your valuable data assets, consider using Google Cloud [Sensitive Data Protection](/sensitive-data-protection) capabilities, like [de-identification techniques](/sensitive-data-protection/docs/deidentify-sensitive-data). These techniques let you mask, encrypt, and replace sensitive data---like personally identifiable information (PII)---using a randomly generated or pre-determined key, where applicable and compliant.\n- When you're performing an initial data transfer from your private\n computing environment to Google Cloud, choose the transfer approach\n that is best suited for your dataset size and available bandwidth. For more\n information, see\n [Migration to Google Cloud: Transferring your large datasets](/architecture/migration-to-google-cloud-transferring-your-large-datasets).\n\n- If data transfer or exchange between Google Cloud and other clouds\n is required for the long term with high traffic volume, you should evaluate\n using Google Cloud\n [Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview)\n to help you establish high-bandwidth dedicated connectivity between\n Google Cloud and other cloud service providers (available in certain\n [locations](/network-connectivity/docs/interconnect/concepts/cci-overview#locations)).\n\n- If encryption is required at the connectivity layer, various options are\n available based on the selected hybrid connectivity solution. These options\n include VPN tunnels, HA VPN over Cloud Interconnect, and\n [MACsec for Cross-Cloud Interconnect](/network-connectivity/docs/interconnect/concepts/cci-overview#encryption).\n\n- Use consistent tooling and processes across environments. In an\n analytics hybrid scenario, this practice can help increase operational\n efficiency, although it's not a prerequisite."]]
