A Central de arquitetura fornece recursos de conteúdo em uma ampla variedade de assuntos de Big Data e análise.
Recursos de Big Data e análise na Central de arquitetura
Para filtrar a lista a seguir de recursos de Big Data e análise, digite um nome de produto ou uma frase que esteja no título ou na descrição do recurso.
Como analisar dados de FHIR no BigQuery Explica os processos e considerações para a análise de dados dos Recursos rápidos de interoperabilidade de saúde (FHIR) no BigQuery. Produtos usados: BigQuery |
Arquitetura e funções em uma malha de dados Orientação sobre como implementar uma malha de dados no Google Cloud... |
Arquitetura: data warehouse de marketing Fornece uma arquitetura de referência que descreve como você pode criar data warehouses de marketing escalonáveis. Produtos usados: AIPlatform, Auto ML, BigQuery, Cloud Data Fusion, Dataflow, Dataprepby Trifacta, Google Analytics e Looker |
Mostra como usar o Data Catalog com um pipeline automatizado do Dataflow para identificar e aplicar tags de confidencialidade aos dados em arquivos do Cloud Storage, bancos de dados relacionais e BigQuery. Produtos usados: Cloud Build, Cloud SQL, Cloud Storage, Compute Engine, Data Catalog, Dataflow, Secret Manager e Proteção de Dados Sensíveis |
Como criar uma solução de análise de visão de ML com a API Cloud Vision e o Dataflow Como implantar um pipeline do Dataflow para processar arquivos de imagem em grande escala com o Cloud Vision. O Dataflow armazena os resultados no BigQuery para que você possa usá-los no treinamento de modelos pré-criados do BigQuery ML. Produtos usados: BigQuery, Cloud Build, Cloud Pub/Sub, Cloud Storage, Cloud Vision e Dataflow |
Exportação de métricas do Cloud Monitoring Descreve uma maneira de exportar métricas do Cloud Monitoring para análises de longo prazo. Produtos usados: App Engine, BigQuery, Cloud Monitoring, Cloud Pub/Sub, Cloud Scheduler, Datalab e Looker Studio |
Replicação contínua de dados para o BigQuery usando o Striim Demonstra como migrar um banco de dados MySQL para o BigQuery usando o Striim. O Striim é uma plataforma abrangente de extração, transformação e carregamento (ETL) de streaming. Produtos usados: BigQuery, Cloud SQL para MySQL, Compute Engine |
Replicação de dados contínua para o Spanner usando o Striim Como migrar um banco de dados MySQL para o Cloud Spanner usando o Striim. Produtos usados: Cloud SQL, Cloud SQL para MySQL, Compute Engine, Spanner |
Padrões de design para análise de dados Você encontrará links para casos de uso empresariais, exemplos de código e guias de referência técnica para casos de uso de análise de dados do setor. Use esses recursos para aprender, identificar práticas recomendadas para acelerar a implementação de suas cargas de trabalho. |
Ciência de dados com R no Google Cloud: análise de dados exploratória Mostra como começar a usar a ciência de dados em escala com o R no Google Cloud. Esse documento é destinado a quem tem alguma experiência com R e com notebooks Jupyter e a quem está familiarizado com SQL. Produtos usados: BigQuery, Cloud Storage, Notebooks |
Transformação de dados entre o MongoDB Atlas e o Google Cloud Transformação de dados entre o MongoDB Atlas como repositório de dados operacionais e o BigQuery como o data warehouse de análise. Produtos usados: BigQuery, Cloud Pub/Sub, Dataflow |
Discute como usar a Proteção de Dados Sensíveis para criar um pipeline de transformação de dados automatizado para desidentificar dados confidenciais, como informações de identificação pessoal (PII). Produtos usados: BigQuery, Cloud Pub/Sub, Cloud Storage, Dataflow, Identity and Access Management, Proteção de Dados Sensíveis |
Descreve o uso da Proteção de Dados Sensíveis para reduzir o risco de expor aos usuários os dados confidenciais armazenados nos bancos de dados do Google Cloud e ainda assim permitir que eles consultem dados significativos. Produtos usados: Registros de auditoria do Cloud, Cloud Key Management Service, Proteção de Dados Sensíveis |
Arquitetura de referência de processamento de dados genômicos Descreve as arquiteturas de referência para usar a API Cloud Life Sciences com outros produtos do Google Cloud para executar o processamento de dados genômicos usando diferentes métodos e mecanismos de fluxo de trabalho. Produtos usados: Cloud Life Sciences, Cloud Storage e Compute Engine |
Arquitetura de análise geoespacial Saiba mais sobre os recursos geoespaciais do Google Cloud e como usar esses recursos em aplicativos de análise geoespacial. Produtos usados: BigQuery, Dataflow |
Importar dados de uma rede externa para um data warehouse seguro do BigQuery Descreve uma arquitetura que pode ser usada para ajudar a proteger um armazenamento de dados em um ambiente de produção e oferece práticas recomendadas para importar dados de uma rede externa para o BigQuery, como um ambiente local. Produtos usados: BigQuery |
Importar dados do Google Cloud para um data warehouse seguro do BigQuery Descreve uma arquitetura que pode ser usada para ajudar a proteger um armazenamento de dados em um ambiente de produção e apresenta as práticas recomendadas para a governança de dados de um armazenamento em data warehouse no Google Cloud. Produtos usados: BigQuery, Cloud Key Management Service, Dataflow, Proteção de Dados Sensíveis |
Como ingerir dados clínicos e operacionais com o Cloud Data Fusion Explica para pesquisadores, cientistas de dados e equipes de TI como o Cloud Data Fusion pode desbloquear dados para ingerir, transformar e armazenar os dados no BigQuery, um data warehouse agregado no Google Cloud. Produtos usados: BigQuery, Cloud Data Fusion, Cloud Storage |
Jump Start Solution: Analytics lakehouse Unifique data lakes e data warehouses criando um lakehouse de análise que usa o BigQuery para armazenar, processar, analisar e ativar os dados. |
Solução de início rápido: data warehouse com o BigQuery Criar um data warehouse com painel e ferramenta de visualização usando o BigQuery. |
Ajuda a planejar, projetar e implementar o processo de migração das cargas de trabalho de aplicativos e infraestrutura para o Google Cloud, incluindo cargas de trabalho de computação, banco de dados e armazenamento. Produtos usados: App Engine, Cloud Build, Cloud Data Fusion, Cloud Deployment Manager, Cloud Functions, Cloud Run, Cloud Storage, Container Registry, Data Catalog, Dataflow, Peering direto, Google Kubernetes Engine (GKE), Transfer Appliance |
Como migrar a infraestrutura no local do Hadoop para o Google Cloud Orientação para migrar cargas de trabalho locais do Hadoop para o Google Cloud... Produtos usados: BigQuery, Cloud Storage, Dataproc |
Como otimizar a ingestão em larga escala de registros e eventos analíticos Descreve uma arquitetura para otimizar a ingestão de análise em grande escala no Google Cloud, em que "grande escala" significa mais de 100.000 eventos por segundo, ou um tamanho de payload de evento agregado total de mais de 100 MB por segundo. Produtos usados: BigQuery, Cloud Logging, Cloud Pub/Sub, Compute Engine, Dataflow |
Como executar ETL de um banco de dados relacional para o BigQuery usando o Dataflow Demonstra como usar o Dataflow para extrair, transformar e carregar (ETL) dados de um banco de dados relacional de processamento de transações on-line (OLTP) no BigQuery para análise. Produtos usados: BigQuery, Cloud Storage, Compute Engine, Dataflow |
Modelos de propensão para aplicativos de jogos Aprenda a usar o BigQuery ML para treinar, avaliar e receber previsões de vários tipos diferentes de modelos de propensão. Os modelos de propensão podem ajudar você a determinar a probabilidade de usuários específicos retornarem ao seu aplicativo. Assim, você pode usar isso... |
Análise de registros de segurança no Google Cloud Mostra como coletar, exportar e analisar registros do Google Cloud para auditar o uso e detectar ameaças aos dados e cargas de trabalho. Use as consultas de detecção de ameaças incluídas para BigQuery ou Chronicle ou traga seu próprio SIEM. Produtos usados: BigQuery, Cloud Logging, Compute Engine, Looker Studio |
Crie uma API que pode prever a probabilidade de um cliente fazer uma compra. Produtos usados: Apigee, App Sheet, BigQuery ML, Spanner |
Como rastrear metadados de proveniência e linhagem para dados da área da saúde Neste documento, você verá como rastrear metadados de proveniência e linhagem para dados da área da saúde no Google Cloud para pesquisadores, cientistas de dados e equipes de TI. Produtos usados: BigQuery, Cloud Data Fusion, Cloud Storage |
Como transformar e harmonizar os dados de assistência médica para o BigQuery Descreve os processos e considerações envolvidos na harmonização de dados de assistência médica no Google Cloud para pesquisadores, cientistas de dados e equipes de TI que querem criar um data lake de análise no BigQuery. Produtos usados: BigQuery, Cloud Data Fusion, Cloud Storage, Proteção de Dados Sensíveis |
Usar um pipeline de CI/CD para fluxos de trabalho de processamento de dados Descreve como configurar um pipeline de integração/implantação contínuas (CI/CD) para processar dados implementando métodos de CI/CD com produtos gerenciados no Google Cloud. Produtos usados: Cloud Build, Cloud Composer, Cloud Source Repositories, Cloud Storage, Compute Engine e Dataflow |
Usar o Apache Hive no Dataproc Mostra como usar o Apache Hive no Dataproc de maneira eficiente e flexível, armazenando dados do Hive no Cloud Storage e hospedando o metastore do Hive em um banco de dados MySQL no Cloud SQL. Produtos usados: Cloud SQL, Cloud Storage, Dataproc |