串流分析與即時的深入分析結果

即時擷取、處理及分析事件串流

免費試用 聯絡銷售人員

輕鬆進行即時串流分析

資料產生後,Google Cloud 的串流分析服務能夠即時加以處理,隨即轉換成可供使用者取用、井然有序的實用資料。Google 的串流解決方案採用 Cloud Pub/Sub、Cloud Dataflow 和 BigQuery 等核心元件的基礎架構,不但能夠自動調度資源、佈建需要擷取的確切資源,還能處理及分析資料量隨時在波動的即時資料,藉此降低作業的複雜性。Google Cloud 簡化了佈建作業,讓資料分析師和數據資料工程師都能透過簡易又熟悉的工具使用串流分析服務。

Google Cloud 的串流分析服務

擴充基礎架構,減少惱人問題

即便您無法掌握確切的工作需求,Google Cloud 的串流基礎架構也能依據實際情況自動調度資源。這表示您可以將不時波動的資料量、效能微調、資源佈建等難題交由 Google 代勞,專心進行即時分析和探究深入分析資訊。您無需事先規劃或超額佈建,也不必將金錢浪費在未使用的資源上。

基礎架構向上擴充

利用簡易的擷取方式處理複雜的事件

Google Cloud 的串流擷取服務 Cloud Pub/Sub 每秒能擷取和傳送數億個事件。當您採用 Cloud Pub/Sub 後,事件只要發布至主題,任意數量的資料管道就能接收事件。無論是直接從伺服器或透過 IoT Core 從連線裝置擷取資料,全域主題都能讓這類作業在您選擇的多個地理位置順暢執行。針對 SQL 式 ELT 使用案例,BigQuery 的串流 API 提供串流擷取功能,可直接將資料擷取至資料倉儲。針對 Apache Kafka 使用者,Confluent 與 Google Cloud 攜手合作,以原生服務的形式提供 Kafka。

串流擷取服務

整合串流與批次處理作業,不再受制於單一環境或架構

Cloud Dataflow 專門用於處理實際的串流作業。串流中的資料會以批次、串流或檔案串流的模式出現,您需要加以補強和轉換,以便進行後續的資料分析作業。工程師可利用 Apache Beam (Cloud Dataflow 的開放原始碼 SDK),在這些模式之間重複使用程式碼。在混合或多雲端環境中,Beam 可讓您在 Apache Flink、Samza 和其他架構之間轉移管道。此外,Beam 支援不同的程式語言,包括 Python、SQL 與 Java。Dataflow 會自動處理資源管理作業,並確保系統僅進行一次處理,讓串流管道更可靠且一致。

實際的串流與批次處理作業

在探索新一代 AI 技術的同時繼續使用現有工具

現有的內部部署及雲端串流架構經常部署 Apache Kafka 及 Apache Spark。透過 Confluent Cloud 和 Cloud Dataproc,Google Cloud 得以連接、遷移以及延伸這些解決方案。這些服務與 Cloud Data Fusion 的 GUI 結合後,資料分析師與數據資料工程師都能建構串流管道。無論您選用何種方式實作即時分析,且不論您是否具備機器學習方面的經驗,Google Cloud 都提供多種簡單易用的 AI 產品,讓您能深入分析串流並迅速採取行動。

探索新一代 AI 技術

解決方案元件

服務 串流分析的用途
Cloud Pub/Sub 用於大規模擷取源自世界各地的串流資料 (此解決方案中的開放原始碼替代方案:Apache Kafka)。
Cloud Dataflow 可在串流和批次模式中轉換擷取的資料,讓資料多樣化並維持同等的穩定與明確性 (此解決方案中的開放原始碼替代方案:Cloud Dataproc 上的 Spark)。
BigQuery 全代管的資料倉儲服務,每秒支援插入 100,000 個串流列,並允許使用標準 SQL 對即時資料進行特定主題分析。
Apache Beam 可用於為串流和批次管道進行程式設計的統一開發架構。Google 將此架構做為 Cloud Dataflow SDK 2.x 提供。
Cloud Machine Learning 透過自訂 (Cloud Machine Learning Engine) 或預先打造 (Cloud API) 的 TensorFlow 機器學習模型執行事件串流,藉此提升您的管道智能。
Cloud Bigtable 低延遲的寬欄鍵/值存放區,最適合大量時間序列和容易受讀取延遲時間影響的應用程式。

其他資源

僅需處理一次

瞭解在 Cloud Dataflow 中,「僅需處理一次」代表的含義。

查看網誌文章

Cloud Dataflow:範例管道

藉由行動裝置遊戲範例瞭解管道的運作方式。

查看說明文件

程式碼研究室:紐約市計程車業大亨

參考逐步指南親自動手進行程式設計,學習如何利用 Dataflow 和 Pub/Sub 處理串流資料。

探索範例應用程式

金融服務解決方案

建構可擴充至數千個同步資料串流的近即時分析系統。

閱讀解決方案報告

架構圖

深入瞭解適合處理大規模分析擷取作業的最佳化架構 (適用於 Google Cloud Platform)。

閱讀文章

《Streaming 101》(串流簡介)

閱讀 Tyler Akidau 的開創性論文,瞭解批次處理以外的串流處理世界。

閱讀論文