• 主題
  • 什麼是串流數據分析?

什麼是串流數據分析?

串流數據分析是指連續處理及分析資料記錄,這與分批形式不同。一般而言,如果來源產生的資料是以小單位持續傳輸 (通常是 KB),串流數據分析就能派上用場。

若想進一步瞭解 Google Cloud 的串流和批次資料處理整合服務 Dataflow,請參閱這篇文章

串流數據分析總覽

串流數據分析可包括各種資料來源,例如:來自連線裝置的遙測、客戶使用網頁應用程式產生的記錄檔案、電子商務交易或來自社群網路或地理空間服務的資訊。串流數據分析常用於即時匯總和關聯、篩選或採樣。

移動資料的傳統方式是採用批次,批次處理通常會同時處理大量資料,所以延遲時間長。例如,某個流程可能每 24 小時執行一次。雖然這也可以有效處理大量資料,但不適用於具時效性而應以串流處理的資料,因為這些資料在處理時可能已經過時。

如何最佳化串流數據分析

當公司每秒收集多達數十萬甚至數百萬個事件的資料時,資料集必然十分龐大。傳統系統可能需要幾天的時間,才能從如此大規模的資料中獲得深入分析結果。

如要即時採取行動,您將需要即時資料處理和分析。這時採用適合的資料串流平台和基礎架構,即可實現目的。例如,在 Google Cloud 產品和服務上建構的串流數據分析,就能讓公司即時擷取、處理和分析資料串流。

串流數據分析用途

公司可以使用串流數據分析,即時分析資料並提供對各種活動的深入分析結果,例如計量、伺服器活動、裝置的地理位置或網站點擊次數。可能的用途包括:

電子商務

分析使用者點擊流,提供即時定價、促銷和庫存管理,藉此最佳化購物體驗。

金融服務

分析帳戶活動,偵測資料串流中的異常行為,並針對異常行為產生安全快訊。

投資服務

追蹤市場變化,並根據已設定的限制 (例如到達某個股價時賣出),調整客戶投資組合的設定。

新聞媒體

串流來自各種新聞來源平台的使用者點擊次數記錄,並透過受眾特徵資訊充實資料,藉此提供與目標受眾更為相關的報導。

公用事業

監控整個電網的總處理量,並在到達設定的門檻值時產生快訊或啟動相關工作流程。

Google Cloud 的串流數據分析功能可在資料產生時立即加以處理,使資料變得更井然有序、更實用,且更方便存取。Google Cloud 採用 Pub/Sub DataflowBigQuery 的自動調度資源基礎架構,可為您佈建所需的資源,以便擷取、處理及分析資料量隨時在波動的即時資料,進而產生即時業務深入分析結果和處理行動。這種簡化的佈建作業流程可降低複雜度,並讓資料分析師和資料工程師可取得串流分析結果。