Architecture Center 提供了各种大数据和分析主题的内容资源。
Architecture Center 中的大数据和分析资源
您可以通过输入产品名称或资源标题或说明中的短语来过滤以下大数据和分析资源列表。
介绍在 BigQuery 中分析快速医疗互操作性资源 (FHIR) 数据的流程和注意事项。 使用的产品:BigQuery |
在 Google Cloud 中实现数据网格的指南... |
提供了描述如何构建可扩缩的营销数据仓库的参考架构。 使用的产品:AIPlatform、Auto ML、BigQuery、Cloud Data Fusion、Dataflow、Databy Trifacta、Google Analytics(分析)、Looker |
自动将 Data Catalog 中的敏感度标记应用于文件、数据库和 BigQuery 表 演示如何将 Data Catalog 与自动 Dataflow 流水线搭配使用,以识别数据敏感度标记并将其应用于 Cloud Storage 文件、关系型数据库和 BigQuery 中的数据。 使用的产品:Cloud Build、Cloud Data Loss Prevention、Cloud SQL、Cloud Storage、Compute Engine、Data Catalog、Dataflow、Secret Manager |
使用 Datastream、Dataflow、BigQuery ML 和 Looker 构建并直观呈现需求预测的预测结果 介绍了如何实时将 Oracle 数据库中的运营数据复制和处理到 Google Cloud。它还演示了如何预测未来需求,以及如何在您收到此预测数据时将其直观呈现出来。 使用的产品:BigQuery、Dataflow、Looker |
使用 Dataflow 和 Cloud Vision API 构建机器学习视觉分析解决方案 如何部署 Dataflow 流水线以使用 Cloud Vision 处理大规模图片文件。Dataflow 将结果存储在 BigQuery 中,以便将其用于训练 BigQuery ML 预构建模型。 使用的产品:BigQuery、Cloud Build、Cloud Pub/Sub、Cloud Storage、Cloud Vision、Dataflow |
介绍了导出 Cloud Monitoring 指标以进行长期分析的方法。 使用的产品:App Engine、BigQuery、Cloud Monitoring、Cloud Pub/Sub、Cloud Scheduler、Datalab、Looker Studio |
演示如何使用 Striim 将 MySQL 数据库迁移到 BigQuery。Striim 是一个全面的流式提取、转换和加载 (ETL) 平台。 使用的产品:BigQuery、Cloud SQL for MySQL、Compute Engine |
如何使用 Striim 将 MySQL 数据库迁移到 Cloud Spanner。 使用的产品:Cloud SQL、Cloud SQL for MySQL、Compute Engine、Spanner |
提供了指向行业数据分析用例的业务用例、示例代码和技术参考指南的链接。您可以使用这些资源了解和确定最佳实践,以加快工作负载的实现速度。 |
在 Google Cloud 上使用 R 进行数据科学研究:探索性数据分析 介绍了如何在 Google Cloud 上使用 R 大规模开始进行数据科学研究。本文档面向拥有 R 和 Jupyter 笔记本经验且熟悉 SQL 的人员。 使用的产品:BigQuery、Cloud Storage、Notebooks |
MongoDB Atlas 和 Google Cloud 之间的数据转换 用作运营数据存储区的 MongoDB Atlas 与用作分析数据仓库的 BigQuery 之间的数据转换。 使用的产品:BigQuery、Cloud Pub/Sub、Dataflow |
使用 Sensitive Data Protection 对大规模数据集中的个人身份信息进行去标识化和重标识处理 讨论了如何使用 Sensitive Data Protection 创建自动化数据转换流水线,以对个人身份信息 (PII) 等敏感数据进行去标识化处理。 使用的产品:BigQuery、Cloud Data Loss Prevention、Cloud Pub/Sub、Cloud Storage、Dataflow、Identity and Access Management |
介绍了如何使用 Sensitive Data Protection 来缓解将 Google Cloud 数据库中存储的敏感数据泄露给用户的风险,同时仍保证用户能够查询有意义的数据。 使用的产品:Cloud Audit Logs、Cloud Data Loss Prevention、Cloud Key Management Service |
介绍了将 Cloud Life Sciences API 与其他 Google Cloud 产品结合使用,以通过不同的方法和工作流引擎执行基因组数据处理的参考架构。 使用的产品:Cloud Life Sciences、Cloud Storage、Compute Engine |
了解 Google Cloud 地理空间功能以及如何在地理空间分析应用中使用这些功能。 使用的产品:BigQuery、Dataflow |
介绍可用于帮助保护生产环境中的数据仓库的架构,并介绍从外部网络(例如本地环境)将数据导入到 BigQuery 的最佳实践。 使用的产品:BigQuery |
将 Google Cloud 中的数据导入安全的 BigQuery 数据仓库 介绍可用于帮助保护生产环境中的数据仓库的架构,并介绍 Google Cloud 中数据仓库的数据治理最佳实践。 使用的产品:BigQuery、Cloud Data Loss Prevention、Cloud Key Management Service、Dataflow |
使用 Cloud Data Fusion 注入临床数据和运营数据 向研究人员、数据科学家和 IT 团队介绍 Cloud Data Fusion 如何通过注入、转换数据和将数据存储到 BigQuery(Google Cloud 上的汇总数据仓库)来解锁数据。 使用的产品:BigQuery、Cloud Data Fusion、Cloud Storage |
通过使用 BigQuery 创建分析湖仓一体来统一数据湖和数据仓库,从而存储、处理、分析和激活数据。 |
使用 BigQuery 通过信息中心和可视化工具来构建数据仓库。 |
在 Cloud Run 上部署 Go 应用,以使用内容分发网络和对象存储传送大量文件。 |
在 Cloud Run 上部署 Java 应用,以使用内容分发网络和对象存储传送大量文件。 |
帮助您规划、设计并实现将应用和基础架构工作负载迁移到 Google Cloud 的过程,包括计算、数据库和存储工作负载。 使用的产品:App Engine、Cloud Build、Cloud Data Fusion、Cloud Deployment Manager、Cloud Functions、Cloud Run、Cloud Storage、Container Registry、Data Catalog、Dataflow、直接对等互连、Google Kubernetes Engine (GKE)、Transfer Appliance |
将本地 Hadoop 基础架构迁移到 Google Cloud 将本地 Hadoop 工作负载迁移到 Google Cloud 的指南… 使用的产品:BigQuery、Cloud Storage、Dataproc |
介绍在 Google Cloud 上优化大规模分析提取的架构,其中“大规模”表示每秒超过 100,000 个事件,或者总聚合事件的负载大小超过每秒 100 MB。 使用的产品:BigQuery、Cloud Logging、Cloud Pub/Sub、Compute Engine、Dataflow |
使用 Dataflow 执行 ETL 以从关系型数据库转到 BigQuery 演示了如何使用 Dataflow 从联机事务处理 (OLTP) 关系型数据库中提取、转换和加载 (ETL) 数据到 BigQuery 以进行分析。 使用的产品:BigQuery、Cloud Storage、Compute Engine、Dataflow |
了解如何使用 BigQuery ML 从几种不同类型的偏好模型中进行训练、评估和获取预测。偏好模型可以帮助您确定特定用户返回您的应用的可能性,因此您可以在营销决策中使用... |
介绍了如何从 Google Cloud 收集、导出和分析日志,从而帮助您审核使用情况并检测数据和工作负载的威胁。使用包含的用于 BigQuery 或 Chronicle 的威胁检测查询,或自带 SIEM。 使用的产品:BigQuery、Cloud Logging、Compute Engine、Looker Studio |
使用 Apigee、BigQuery ML 和 Spanner 构建的用于预测客户购买意愿的智能 API 创建一个可以预测客户购买商品的可能性的 API。 使用的产品:Apigee、App Sheet、BigQuery ML、Spanner |
介绍如何在 Google Cloud 中为研究人员、数据科学家和 IT 团队跟踪医疗保健数据的出处和沿袭元数据。 使用的产品:BigQuery、Cloud Data Fusion、Cloud Storage |
向希望在 BigQuery 中创建分析数据湖的研究人员、数据科学家和 IT 团队介绍在 Google Cloud 上协调医疗保健数据所涉及的流程和注意事项。 使用的产品:BigQuery、Cloud Data Fusion、Cloud Data Loss Prevention、Cloud Storage |
介绍了如何通过在 Google Cloud 上使用代管式产品实现 CI/CD 方法,设置持续集成/持续部署 (CI/CD) 流水线以处理数据。 使用的产品:Cloud Build、Cloud Composer、Cloud Source Repositories、Cloud Storage、Compute Engine、Dataflow |
展示如何通过将 Hive 数据存储在 Cloud Storage 中以及将 Hive Metastore 托管在 Cloud SQL 上的 MySQL 数据库中,以在 Dataproc 上高效灵活地使用 Apache Hive。 使用的产品:Cloud SQL、Cloud Storage、Dataproc |