Spark のエコシステムには、次の 5 つの主要コンポーネントがあり、それぞれが Google Cloud のインフラストラクチャによって強化されています。

• Spark Core: 基盤となる実行エンジンとして、分散タスクの割り当てや I/O 処理を管理します。Spark Core は、Resilient Distributed Datasets（RDD）という概念を導入しました。RDD は、耐障害性で並列処理できるオブジェクトの不変的な分散コレクションです。
• Spark SQL: DataFrames を使用して構造化データを処理するモジュールです。Google Cloud は Lightning Engine でこれらのオペレーションをさらに高速化し、手動チューニングなしで大幅な高速化を実現します。
• Spark Streaming: バッチジョブとリアルタイム ジョブの両方で、スケーラブルでフォールト トレラントなストリーミング ソリューションを実現します。
• MLlib: スケーラブルな機械学習ライブラリです。Vertex AI と組み合わせることで、MLlib ワークフローを MLOps パイプラインにシームレスに統合でき、コーディングやトラブルシューティングに Gemini を活用して開発作業を効率化できます。
• GraphX: グラフおよびグラフ並列計算用の API です。

Google Cloud は、データ プロフェッショナルの固有のニーズに対応する専用の環境を提供します。

• BigQuery Studio での統合開発: データ サイエンティストは、BigQuery Studio ノートブックで Spark コードを直接作成して実行できます。これにより、単一のクエリ可能なメタデータ サービスを使用して、Spark と BigQuery 全体でエクスペリエンスを統合できます。
• Gemini による AI を活用した生産性向上: Gemini を活用して、複雑な PySpark ジョブのライフサイクル全体（開発、デプロイ、モニタリング、トラブルシューティングなど）を支援します。
• ゼロオペレーションのサーバーレス実行: クラスタの管理に伴う運用上の負担を軽減します。サーバーレス Spark では、単一のコマンドを送信するだけで、Google Cloud が関連するタスクを処理します。ユーザーがクラスタの作成、設定、管理を行う必要はありません。
• 統合ガバナンス: Dataplex Universal Catalog を使用してデータと AI のガバナンスを管理します。エージェントにセマンティクスを提供して、データの取り込みから AI ドリブンな分析情報に至るまで、一貫したデータ ライフサイクルを確保します。