• インメモリ処理: Spark はデータをメモリに読み込むため、ディスクベースのシステムと比較して、反復アルゴリズムとインタラクティブなクエリが大幅に高速化されます。
• 分散実行: マシンのクラスタ上で動作します。ドライバ プログラムは、異なるデータ パーティションでタスクを並行して実行するエグゼキュータ（ワーカー プロセス）を調整します。
• RDD と DataFrame: 耐障害性分散データセット（RDD）は、基本的なフォールト トレラント データ抽象化です。RDD 上に構築された DataFrame は、構造化データ向けのより豊富なスキーマ対応 API を提供し、Catalyst オプティマイザーによる最適化を可能にします。
• 遅延評価と DAG: Spark は、有向非巡回グラフ（DAG）のオペレーションを構築します。変換は「遅延」型（すぐに計算されない）であるため、Spark は「アクション」が実行をトリガーする前にワークフロー全体を最適化できます。

Apache Spark は、Hadoop クラスタモードでもスタンドアロン モードでもデプロイできる高速な汎用クラスタ計算エンジンです。Spark を使用すると、プログラマーは Java、Scala、Python、R、SQL でアプリケーションを迅速に作成できるようになります。これにより、デベロッパー、データ サイエンティスト、統計の経験を持つ先進的なビジネスマンが、アプリケーションにアクセスできるようになります。Spark SQL を使用すれば、任意のデータソースに接続し、テーブルとして SQL クライアントに提示できます。また、インタラクティブな機械学習アルゴリズムを Spark に簡単に実装できます。

Apache Impala、Apache Hive、Apache Drill などの SQL 専用エンジンでは、ユーザーは複数のデータベースに保存されているデータをクエリするために SQL または SQL に似た言語のみを使用できます。これは、フレームワークが Spark と比較して小さいことを意味します。 しかし、Google Cloud では、厳密な選択をする必要はありません。BigQuery は強力な SQL 機能を備えており、Apache Spark 用の Google Cloud Serverless と Spark および Hadoop のマネージド サービス用の Dataproc により、Spark の多様性を活用できます。多くの場合、BigLake Metastore とオープン形式を通じて、同じデータで活用できます。

多くの企業が Spark を使用して、構造化データと非構造化データの両方を含む大量のリアルタイム データやアーカイブ データの処理や分析という、困難で計算負荷の高いタスクを簡素化しています。Spark を使用すれば、機械学習やグラフ アルゴリズムなどの関連する複雑な機能をシームレスに統合できます。 一般的なアプリケーションは次のとおりです。

• 大規模な ETL/ELT
• リアルタイム データ処理
• 機械学習
• インタラクティブなデータ探索
• グラフ分析

データ エンジニアは、拡張された言語セットでプログラミングするオプションを使用し、Spark を使用してコーディングとデータ処理ジョブの構築を行います。Google Cloud では、データ エンジニアは、ゼロオペレーションの ETL/ELT パイプラインのために Google Cloud Serverless for Apache Spark を活用したり、マネージド クラスタの制御のために Dataproc を使用したりできます。これらはすべて、ガバナンスのために BigQuery や Dataplex Universal Catalog などのサービスと統合されています。

データ サイエンティストは、GPU で Spark を使用して分析や ML のより豊かな体験を実現できます。使い慣れた言語で大量のデータをより高速に処理できるため、イノベーションの加速に貢献します。 Google Cloud は、Spark の堅牢な GPU サポートと Vertex AI とのシームレスな統合を提供し、データ サイエンティストがモデルをより迅速に構築してデプロイできるようにします。BigQuery Studio、Vertex AI Workbench などのさまざまなノートブック環境を活用したり、Jupyter や VS Code などの好みの IDE を接続したりできます。この柔軟な開発エクスペリエンスと Gemini を組み合わせることで、当初のプロトタイピングから本番環境へのデプロイまで、ワークフローを加速できます。

• Apache Spark 用 Google Cloud Serverless: クラスタを管理することなく、Spark ジョブを実行できる、真のゼロオペレーション エクスペリエンス。ほぼ瞬時の起動、自動スケーリング、Lightning Engine と Gemini のパフォーマンス向上のメリットを享受できます。ETL、データ サイエンス、インタラクティブな分析に最適で、特に BigQuery と統合すると効果的です。
• Dataproc: クラスタ環境をより細かく制御する必要がある場合や、Spark と併せて特定の Hadoop エコシステム コンポーネントが必要な場合に、Dataproc はフルマネージド サービスを提供します。Dataproc はクラスタの作成と管理を簡素化し、Spark のパフォーマンスを向上させる Lightning Engine の機能強化も利用できます。
• 統合されたオープンなエコシステム: Google Cloud で Spark を実行すると、統合分析のための BigQuery、MLOps のための Vertex AI、オープンなメタデータ共有のための BigLake Metastore、包括的なデータ ガバナンスのための Dataplex Universal Catalog などのサービスとシームレスに統合できます。これらはすべて、オープンなレイクハウス アーキテクチャをサポートしています。