Managed Service for Apache Spark（旧称: Dataproc）

インフラストラクチャ管理を一切行わずにコードに純粋に集中したい場合は、サーバーレスを選択します。これは、新しいパイプラインやアドホック分析に最適です。マネージド クラスタは、きめ細かな制御が必要な場合、レガシーまたはクラウドの Spark やその他の OSS ワークロードを移行する場合、多様なオープンソース ツールを備えた永続クラスタが必要な場合に選択します。

Lightning Engine は、Google Cloud のネイティブで高度に最適化された実行エンジンです。C++ ライブラリで構築されており、高スループットのストレージ コネクタからインテリジェントなキャッシュ保存まで、あらゆるレイヤを最適化します。標準の Spark より最大 4.9 倍のパフォーマンスを実現し、主要な高速 Spark の代替製品よりも 2 倍の費用対効果を発揮します。また、コードを変更することなく、サーバーレス デプロイやクラスタ デプロイにシームレスに統合できます。

いいえ。AI/ML ワークロードを実行している場合は、事前構成済みの ML ランタイムを使用できます。これらの環境には、PyTorch、XGBoost、scikit-learn などの一般的なライブラリが組み込まれており、最適化された NVIDIA GPU ドライバも付属しているため、複雑なセットアップが不要です。

はい。Google は、100% オープンソース互換の Apache Spark 環境を提供しています。既存の Spark コードを修正せずに実行できるため、ワークロードの完全なポータビリティが確保され、ベンダー ロックインを回避できます。

Gemini AI を任意の IDE に直接組み込んで、AI Co-pilot として使用できます。PySpark コードの作成とデバッグを迅速化するのに役立ちます。また、Gemini Cloud Assist は、失敗したジョブの根本原因分析とトラブルシューティングの推奨事項を自動的に提供します。

そのとおりです。Managed Service for Apache Spark は、Google Cloud のオープン レイクハウスのコア処理エンジンです。Apache Iceberg などのオープン フォーマットのデータを Cloud Storage から直接処理でき、BigQuery や Apache Iceberg 用 Knowledge Catalog とシームレスに統合できます。

現在、スタンダード ティアとプレミアム ティアはサーバーレス デプロイにのみ適用されます。スタンダードは、費用対効果の高い汎用バッチ処理と ETL に最適です。プレミアム ティアは、最も要求の厳しいワークロード向けに設計されており、Lightning Engine を使用してオープンソースの Apache Spark と比較して 4.9 倍のパフォーマンス向上を実現。GPU アクセラレーテッド AI/ML 機能へのアクセスを提供します。