使用 Bigtable 和 BigQuery 建構即時分析資料庫

Bigtable 和 BigQuery 可結合成為高效能且可擴充的即時分析資料庫。透過整合式平台簡化開發程序、將即時分析應用於各種可能性,並將 AI 融入作業工作流程,以更快的速度為客戶提供資料和 AI 洞察資訊。

Bigtable 即時主頁橫幅 2

什麼是即時分析資料庫?

即時分析資料庫會在資料產生後立即處理,提供即時洞察資訊和行動方案。這類資料庫能將企業知識與作業工作流程結合,並提供即時性功能,或將 AI 技術融入日常業務營運。

即時分析技術可在應用程式中,用於個人化推薦、智慧型裝置反應、預測性維護、資料網格、程序自動化、網路安全和防範詐欺。生成式 AI 工作流程需要存取最新資訊,因此即時分析資料庫不可或缺。

過去建構這類應用程式時,需要耗費大量資源,且過程相當複雜,但 Bigtable 和 BigQuery 的最新進展簡化了這項工作。

優點

完美整合

Bigtable 和 BigQuery 可將即時深入分析結果與歷來資料結合,不必使用自行管理的 ETL 工作。兩者之間的 SQL 方言也統一,提供一致的開發體驗。

內建即時功能

專屬的即時功能經過精心設計,可相互搭配運作,共同提供完善的即時分析資料庫,即使資料量達到 TB 或 PB 級,每秒查詢次數 (QPS) 也非常高。

減少作業負擔,事半功倍

全代管的企業級即時分析解決方案,可將營運負擔降至最低,並採用業界頂尖的服務水準協議,確保可靠性和效能。

主要功能與特色

回應串流資料

Google Cloud 提供強大的串流分析生態系統,可處理來自各種來源的連續資料串流。BigQuery 是已知結構定義的理想擷取來源,其儲存空間寫入 API 和持續查詢可直接擷取資料,讓倉儲中的資料保持最新狀態,並讓您連結其他來源。另一方面,Bigtable 提供全域線性擴充性和內建資料同步功能,非常適合需要在寫入後立即讀取的彈性動態結構定義。Bigtable 也提供立即可用的時間戳記版本管理功能和自動存留時間 (TTL) 資料保留政策,是儲存和分析串流事件的理想選擇。您也要考量需要串流的資料量。在美國和歐盟多個地區,BigQuery 可以每秒 1 Gbps 的速度串流資料,在其他地區則可達到數百 MB/秒的速度。Bigtable 可讓您更靈活地擷取串流資料,並具備線性擴充能力,在 Bigtable 支援的任何區域中,每個節點每秒可寫入 14,000 筆資料。

您可以同時使用 BigQuery 和 Bigtable,不必在兩者之間取捨,而是根據用途選擇合適的擷取技術。

串流 pipeline

兼具擴充性與彈性的儲存空間,能分析數據又可快速擷取資料

在大多數資料庫中,您必須在快速擷取資料列或進行大規模數據分析處理之間做出選擇。Bigtable 和 BigQuery 各有其用,但結合起來就能提供完整的即時分析資料庫,無論查詢類型為何,都能滿足您的需求。

Bigtable 是專為快速擷取單一列或範圍資料而設計的儲存引擎,因此非常適合用於面向使用者且需要即時回應的應用程式,例如應用程式內的圖表、個人資料查詢、時間序列分析、點擊等串流資料指標,或是任何可預測且需要以低延遲提供大量資料的查詢。Bigtable 以記錄結構化引擎 (LSM 樹) 為基礎,這個引擎會結合記憶體內和分散式磁碟儲存空間,並搭配專門的用戶端程式庫,提供同步和非同步存取功能,以達到最佳效能。Bigtable 具備靈活的結構定義和自行管理功能,因此更適合用於高需求應用程式。相較之下,BigQuery 在分析工作負載方面表現出色,可提供強大的工具,用來查詢及分析大型資料集,並執行複雜的匯總、整合 Vertex AI 和轉換作業。

您可以同時使用 Bigtable 和 BigQuery,不必在查詢個別資料列和對大量資料集進行全面分析處理之間二選一。兩種儲存模型能完美整合,因此您可以輕鬆使用任一模型來強化即時應用程式。對於 BigQuery 等級的資料集,Bigtable 經常用來做為符合成本效益的快取解決方案。舉例來說,您可以使用 BigQuery 批次產生嵌入,然後在 Bigtable 中提供這些嵌入,以支援檢索增強生成 (RAG) 應用程式。

BigQuery 架構

即時提供的指標

Bigtable 提供專用資料類型,可在資料寫入時預先處理,讓您立即取得結果和洞察。您可以在寫入資料時計算總和、最小值、最大值和大概的不重複次數,內建的全域複製功能可確保整個應用程式產生一致的結果。這些資料類型也能與可從 BigQuery 載入的倉儲資料完全互通。

即時資料彙整功能可協助建立完善的機器學習功能,進而產生準確的預測結果,即時與使用者互動。

Google Automotive 資訊主頁

持續資料分析

Bigtable 已整合至 BigQuery 數據分析生態系統,您可以輕鬆存取即時資料,進行額外的串流分析。您可以使用外部資料表,在 BigQuery 中查詢,並將 Bigtable 資料與其他資料集結合。您也可以直接在 Bigtable 資料上使用開放原始碼 Spark 分析Apache Beam 管道,並寫回結果。這項數據分析存取服務還能使用 Bigtable 的 Data Boost 功能,在不影響即時應用程式效能的情況下,取得高效能數據分析結果。此外,有了變更資料擷取 (CDC) 和 Dataplex,您就能輕鬆匯出及探索 Bigtable 資料,不必執行複雜或自訂的資料同步作業。


Bigtable 數據分析

Google Cloud 即時分析產品組合

進一步瞭解 Google Cloud 的即時分析解決方案。