Apache Spark 向け Lightning Engine

優れたパフォーマンスと費用効率を実現し、ユーザーはより少ない費用でより多くのデータを処理できます。Lightning Engine は、オープンソースの Apache Spark と比較して 4.3 倍以上* のパフォーマンスを実現し、BigQuery や Vertex AI など、Google Cloud サービス全体において緊密なインテグレーションを提供します。マネージド最適化により、手動によるパフォーマンス調整が不要になります。

Lightning Engine は Apache Iceberg および Google Cloud BigLake と緊密に統合されており、統一されたデータ分析と AI プラットフォームを提供します。Cloud Storage と BigQuery 向けに最適化されたデータコネクタを備え、データアクセスのレイテンシとスループットを大幅に改善します。

Lightning Engine は現在プレビュー版ですが、Apache Spark 向け Google Cloud サーバーレスのプレミアム ティアと Dataproc のマネージド クラスタで利用できるようになります。どちらのサービスも、ML ワークロードの高速化のための GPU サポートと、運用効率向上のための最高水準のジョブ モニタリング ツールを備えています。サーバーレス Spark は、柔軟な Spark 構成と大規模なレコードサイズの処理を通じて、大規模で堅牢な本番環境ジョブサポートを支援するため、リソースの使用率もほぼ 100% に達します。