串流分析解決方案

在全代管的基礎架構上即時擷取、處理及分析事件串流

免費試用 與銷售人員聯絡

整合開放式串流分析

對批次處理 ETL 來說,串流分析已逐漸成為更簡單快速的替代方法,可以從使用者互動事件以及應用程式和機器記錄中取得最大價值。能以快速且有效率的方式擷取、處理及分析這些資料串流,才能妥善執行詐欺偵測、點擊流分析和線上建議等多項工作。針對這些用途,Google Cloud 提供易於採用、擴充及管理的整合開放式串流分析解決方案。

在事件發生當下即刻回應

Cloud Pub/Sub 服務由 Google 專屬的高速私人網路提供,可讓您從世界各地每秒擷取數百萬個串流事件。使用 Cloud Dataflow 處理串流,可確保完成可靠、僅處理一次且低延遲的資料轉換作業。將轉換後的資料串流至 BigQuery 這項雲端原生資料倉儲服務,即可透過 SQL 或熱門的視覺化工具進行即時分析。最後,將以 TensorFlow 為基礎的 Cloud Machine Learning 模型和 API 整合至您的串流資料管道,就能在詐欺偵測、即時個人化和其他類似用途中應用預測分析功能。

加速開發作業,且無負面影響

GCP 上的串流分析能簡化 ETL 管道,而且不會影響穩固程度、準確性或功能運作。Cloud Dataflow 透過 Apache Beam SDK 中淺顯易懂的 Java 和 Python API 支援快速管道開發,提供一套豐富的時間區間設定和工作階段分析基本功能,以及含有原始碼和接收器連接工具的生態系統。另外,Beam 獨特的統一開發模型可讓您在串流和批次管道中重複使用更多程式碼。

簡化營運和管理工作

您的串流資料處理管道部署之後,GCP 的無伺服器方法就能自動處理效能、資源調度、可用性、安全性和法規遵循相關作業,進而節省營運開銷。若與 GCP 的統合式記錄和監控解決方案 Stackdriver 整合,您將能監控管道的執行狀況並排解問題。豐富的視覺化呈現、記錄和先進的警示功能可幫您找出潛在問題並快速回應。

可繼續使用您喜愛的工具和系統

GCP 上的串流分析和許多工具皆能互容操作,在設計上相當開放。Cloud Pub/Sub 的開放式 API 和多用戶端支援多雲端與混合部署。Google 建議 Apache Kafka 使用者透過 Confluent 執行代管的 Kafka,並運用 Cloud Dataflow 連接器自行輕鬆完成 GCP 整合作業。BigQuery 可透過標準 SQL 與您熟悉且喜愛的 ETL 和 BI 工具完美搭配運作,而使用以 Beam 為架構的 Cloud Dataflow 2.x SDK 所寫成的資料處理管道,在 Cloud Dataflow、Apache Spark 和 Apache Flink 上皆為可攜式管道。此外,Cloud Dataproc 支援 Spark 架構,可用於串流及批次處理工作負載。

解決方案元件

服務 串流分析的用途
Cloud Pub/Sub 用於大規模擷取源自世界各地的串流資料 (此解決方案中的開放原始碼替代方案:Apache Kafka)。
Cloud Dataflow 可在串流和批次模式中轉換擷取的資料,讓資料多樣化並維持一貫的穩定與明確性 (此解決方案中的開放原始碼替代方案:Cloud Dataproc 上的 Spark)。
BigQuery 全代管的資料倉儲服務,每秒支援插入 100,000 個串流列,並允許使用標準 SQL 對即時資料進行隨機分析。
Apache Beam 可用於為串流和批次管道進行程式設計的統一開發架構。Google 將此架構做為 Cloud Dataflow SDK 2.x 提供。
Cloud Machine Learning 透過自訂 (Cloud Machine Learning Engine) 或預先打造的 (Cloud API) TensorFlow 機器學習模型執行事件串流,藉此提升您的管道智能。
Cloud BigTable 低延遲、寬欄的鍵/值存放區,最適合大量時間序列和容易受讀取延遲時間影響的應用程式。

其他資源

僅處理一次 (Exactly Once)

瞭解在 Cloud Dataflow 中,「僅處理一次」代表什麼意思。

查看網誌文章

Cloud Dataflow:範例管道

藉由行動裝置遊戲範例瞭解管道的運作方式。

查看說明文件

Codelab:紐約市計程車業大亨

參考逐步指南親自動手進行程式設計,學習如何利用 Dataflow 和 Pub/Sub 處理串流資料。

探索範例應用程式

金融服務解決方案

打造近乎即時的分析系統,使其配合上千個同步資料串流調整資源配置。

閱讀解決方案報告

架構圖

在 Google Cloud Platform 上查看可將分析事件大規模擷取作業最佳化的架構。

閱讀文章

《Streaming 101》(串流簡介)

閱讀 Tyler Akidau 的開創性論文,瞭解批次處理以外的串流處理世界。

閱讀論文