運用 Gemini 輔助的資料分析遷移服務,讓資料準備好擁抱 AI

Google Data Cloud 的總持有成本比業界替代方案低,且能提供高效能的 Spark 體驗,協助您以符合成本效益的方式,有效率地執行最嚴苛的機器學習和生成式 AI 工作負載。在 Google Cloud 整合資料、運算資源和基礎架構,就能打破資料孤島、最佳化成本,並大幅加快 AI 計畫從原型設計到正式推出的進度。

我們在 BigQuery 中打造的全新統合式資料平台,已成為 PayPal 下一波創新的來源,使我們能在整個生態系統中打造更直覺且個人化的體驗,並且運用生成式 AI 的強大功能。

Mani Iyer

PayPal 資深副總裁暨全球資料、AI 與機器學習技術部門主管

閱讀 PayPal 的成功案例

Google 將 AI 原生整合至整個技術堆疊,從 TPU、全球網路到模型和 Data Cloud。我們將 Gemini 模型和 AI 開發人員工具直接連結至資料基礎架構,省去額外的網路躍點,簡化成本、資源調度和安全性管理作業。

Google Data Cloud 支援開放式資料湖倉,結合開放格式 (Apache Iceberg) 與企業級引擎,例如 BigQueryGoogle Cloud Managed Service for Apache Spark。搭配 Knowledge Catalog 的全面管理及代理脈絡,讓 AI 代理可安全地存取及啟用貴組織的資料。

Google Cloud 將 AI、向量搜尋和圖形推論直接嵌入 BigQuery,讓模型在資料所在位置執行來啟用資料。這個架構支援以代理為優先的生命週期,使用自然語言工具和無伺服器運算技術,快速部署代理工作流程。Antigravity 則透過自主自動化功能進一步簡化這項程序,以最少的人為介入方式,探索、編寫及最佳化 Spark 和 SQL 工作負載。

AI 輔助遷移服務

Google Cloud 的資料分析遷移服務在遷移的每個步驟都融入 AI 技術,打造智慧夥伴,從探索到驗證,在整個遷移過程中完美協作。這種以 AI 為優先的做法可大幅減少人工作業,提供可預測的遷移計畫,並降低專案風險,進而加速遷移作業。

遷移評估服務會根據您的特定查詢模式和數據用量,模擬在 Google Cloud 上的實際營運成本。此服務會考量速度、靈活度和 AI 應用,定義財務影響,協助您為翻新作業創造強大的商業價值。

BigQuery 遷移服務提供 SQL 翻譯功能,支援從 18 種 SQL 語法遷移至 BigQuery SQL。Gemini 可翻譯標準工具無法處理的複雜程序 SQL,讓自動化程度趨近 100%。Gemini 會分析完整的結構定義和程式碼,生成不只是語法正確,功能也相同的翻譯內容。Gemini 還能自動分析及轉換 Databricks 筆記本,將 Spark SQL 和 PySpark 程式碼轉譯成完全相容於 Google Cloud 的版本。這項服務會處理程式庫依附元件和設定調整作業。

Gemini 會全面驗證結構定義、資料和語意邏輯,確保遷移作業完全準確,簡化驗證流程。這項功能會比較傳統查詢和現代化查詢的結果,著重於業務成果是否一致,而非程式碼結構,因此能有效排除誤報。這種自動化做法可大幅縮短使用者接受度測試時間,從數個月縮短至數週,加快創造價值的速度,同時讓技術專家能專心處理優先順序較高的工作。

Gemini CLI 提供方便開發人員使用的環境,讓 AI 以智慧方式整合遷移服務,並選取最適合的工具,將遷移作業轉變為代理工作流程。團隊可直接在現有程式碼集內作業,複製原先架構並開始使用,大幅提升效率,加速轉移至 Google Cloud。

遷移企業資料倉儲 (EDW)

將傳統企業資料倉儲 (EDW) 轉型為現代化統一資料湖倉架構,已不再是過去那種耗時多年、充滿風險的艱鉅任務。如今,端對端 AI 輔助遷移服務可自動執行最複雜且繁瑣的階段。

首先,請建立資料導向的業務應用情境,並擬定明確的藍圖。自動探索和評估功能可協助您分析現有的企業資料倉儲 (例如 Teradata、Snowflake 和 Redshift),瞭解資料歷程、依附關係和查詢模式。您將收到一份詳細報告,比較目前的成本與預估的 BigQuery 總持有成本,並重點說明可能節省的費用和投資報酬率。

縝密規劃是成功遷移的關鍵。找出「快速獲利」的機會、繪製依附關係地圖,並將工作負載分組為合理的遷移波次,以便快速創造價值並降低風險。

Gemini 支援程式碼翻譯、自動化資料和中繼資料轉移,以及端對端驗證,提供 AI 輔助的遷移方法,大幅縮短時間、降低成本和減少人為錯誤。

資料湖泊和 Spark 遷移

AI 需要大量的非結構化資料才能發揮效益,而傳統資料湖泊無法有效率地儲存及處理這類資料。資料倉儲、資料湖泊和雲端間的資料往往無法流通,許多機構也單純欠缺建構和提供 AI 模型所需的運算資源。Google Cloud 提供 AI 輔助服務,可加速資料湖泊遷移作業。

將 Spark 和 Hadoop 工作負載的風險和中斷降至最低,或快速從 Cloudera 遷移至全代管的企業級生態系統。如果您不想在雲端重新建構地端部署的資料湖泊,將資料 lift-and-shift 至 Google Cloud 也能節省成本及調度資源。

熟悉 Google Cloud 後,就能讓資料團隊更靈活快速地完成工作。Google Managed Service for Apache Spark 採用 Lightning Engine,執行 Spark 工作負載的速度比標準基準快 4.5 倍。

簡化管理和營運作業。遷移舊版資料湖泊後,即可開始導入雲端原生最佳化做法,例如自動儲存空間分層以降低總持有成本、簡化管理作業,以及提升速度和規模。

翻新開放式湖倉

湖倉遷移作業向來十分複雜,團隊必須整合多種運算引擎、Apache Iceberg 等開放格式,以及分散的安全性模型。Google Cloud 提供全代管的統合基礎架構,讓您不再為此煩惱。Google 將 Google 的 LakehouseManaged Service for Apache SparkKnowledge Catalog 完美整合,讓您能快速轉型為開放且可互通的湖倉,可專心啟用 AI,不必費心管理基礎架構。

Databricks 的全新遷移評估功能可分析現有的 Databricks 環境,判斷遷移作業的難易度,並預估總持有成本的節省幅度,讓您安心選擇遷移。

BigLake 可讓您維持開放資料和資料表格式的優勢,同時享有跨引擎存取權,並從整合式湖倉架構中獲益,以更實惠的價格獲得卓越效能。透過簡單的自動化路徑,將資料、中繼資料和權限從 Delta Lake 遷移至 Lakehouse for Apache Iceberg,讓您輕鬆享有統合治理、企業級規模、領先的成本效益,並能隨時使用各種 AI 模型和工具。

直接將 Cloudera 或 Hadoop 環境自動遷移至 Google Cloud,大幅節省時間和人力。藉由將資料表和中繼資料順暢移至 Cloud Storage 和代管湖倉目錄,資料一抵達就能立即用於 SQL、Spark 和 Python 工作負載。

協助您完成遷移的合作夥伴生態系統

與我們的合作夥伴攜手展開遷移,或使用 Google Cloud 專業服務。

Google Cloud 與 AccentureCapgeminiDeloitteKPMGPwCTata Consultancy Services 等全球系統整合商建立深厚的合作關係,可協助客戶擬定策略,推動端對端遷移作業。

Google Cloud 專業服務團隊可協助您規劃及執行 EDW資料湖泊 遷移作業。我們有遷移專家提供深入的技術專業知識。進一步瞭解 Google Cloud Consulting 服務。

立即展開遷移之旅

無論是 Spark 工作負載或核心企業資料,都能透過 AI 輔助遷移服務,加速遷移至 Google Cloud。

資料遷移相關問題

正在考慮遷移嗎?以下是客戶考慮改用 Google Data Cloud 時,經常提出的問題。

為什麼要將資料工作負載遷移至 Google Cloud?

將資料倉儲遷移至 BigQuery 能充分發揮多模態資料的價值。這項服務提供容易使用的介面,可支援多種資料分析和湖倉工作負載,讓資料分析師、資料工程師和數據資料學家能處理同一組受管理資料。與其他解決方案相比,BigQuery 更符合成本效益,適合想將企業資料用於 AI 的組織。

Google 提供哪些遷移協助服務?

Google Cloud 的資料遷移服務提供一流的自動化功能,可簡化遷移作業,且費用明確可預測。全自動 TCO 評估服務可協助您預測資料平台遷移後的狀態,並據此規劃遷移作業。經 Gemini 強化的批次互動式轉譯器可轉換超過 15 種來源的程式碼。智慧型資料遷移驗證機制可確保翻新後的工作負載立即可用。

如何從 Snowflake 遷移至 BigQuery?

BigQuery 提供整合式、符合成本效益的無伺服器 AI 資料平台。自動調整資源配置功能可免除基礎架構管理負擔,並降低成本。BigQuery 與 Google Cloud 的 AI 模型和開發人員工具原生整合,可簡化 AI 導入資料的流程,讓 AI 應用實例順利進入正式環境。請參閱這份完整指南,瞭解如何從 Snowflake 遷移至 BigQuery。

如何從 Databricks 遷移至 Google 的 Lakehouse?

將資料策略升級,從 Databricks 遷移至以 Apache Iceberg 為基礎的 Google Lakehouse,將 BigQuery 和 Google Cloud Service for Managed Spark 整合至單一事實來源。這項轉換可讓 PySpark 工作負載在彈性的無伺服器基礎架構上順暢執行,同時消除資料孤島。將 Spark SQL 翻新為 BigQuery 標準 SQL,可進一步發揮卓越效能和進階管理功能,打造真正可擴充的新一代生態系統。

如何從 Teradata 遷移至 BigQuery?

遷移至 BigQuery 是一項可擴充且具成本效益的新型解決方案,適用於進階分析、機器學習和即時深入分析結果。BigQuery 可自動調整資源配置,滿足您的需求,讓團隊專注於資料分析,不必費心維護系統。此外,BigQuery 的即付即用計費模式可協助您節省成本。我們製作了一份完整的指南,詳細說明從 Teradata 遷移至 BigQuery 的程序。


如何將 Spark 工作負載從 Cloudera 遷移至 Google Cloud?

將 Cloudera Spark 工作負載遷移至 Google Managed Service for Apache Spark,翻新資料基礎架構。這種做法可透過彈性的無伺服器或專用叢集,消除 Hadoop 的額外負擔,並運用 Lightning Engine 大幅超越傳統 JVM 的執行速度。Dataproc 依秒計費且可自動調整資源配置,能為企業分析作業提供穩固且符合成本效益的批次和串流管道。

如何將湖倉遷移至 Google Cloud?

Google Cloud 提供垂直整合的 AI 基礎架構和端對端架構,可建構開放的 AI 原生資料湖倉。如要將湖倉遷移至 Google Cloud,首先要將原始資料和開放資料表格式 (例如 Delta 或 Iceberg) 移至 Google Cloud Storage。Google Cloud Lakehouse 可與 BigQuery 搭配使用,提供完整的資料表管理功能,實現進階數據分析,兼顧合理價格與出色效能。您可以在 Google 的 Managed Service for Apache Spark 上,對相同的 Iceberg 資料表執行 Spark 工作負載。您可以使用 Knowledge Catalog 集中管理中繼資料,為代理建立端對端資料治理機制和脈絡。