Lightning Engine
Apache Spark のパフォーマンスを加速
Google のベクトル化エンジンは、4.3 倍以上高速な Spark パフォーマンス*を実現するスマートなエンジンで Spark をより簡単に最適化して、コンピューティング費用を削減します。
機能
ジョブのランタイムを短縮し、費用を削減
Spark の実行を高速化。大規模な ETL、データ サイエンス、SQL ワークロードの実行を、オープンソースの Apache Spark と比較して 4.3 倍以上高速化します。ジョブの実行時間が大幅に短縮されることで、コンピューティング時間が短縮され、Spark ワークロードの総所有コストが削減されます。
Spark のパフォーマンスを加速
パフォーマンスを簡単に向上させる方法をご紹介します。Spark の最適化に貴重なエンジニアリング サイクルを費やすのを減らします。
インテリジェントなデータアクセスとキャッシュ保存
よりスマートなアーキテクチャを活用しましょう。Lightning Engine は、ホットデータを自動的にメモリにキャッシュし、Cloud Storage と BigQuery 向けに最適化された高スループットのコネクタを利用することで、大規模な Spark データ処理の I/O レイテンシとスループットを大幅に改善します。
コアテクノロジー: ベクトル化された実行
Lightning Engine は、ネイティブの C++ ベクトル化実行エンジンを活用してデータをバッチで処理し、従来の行ごとの処理よりも CPU 効率を大幅に向上させます。これは、Spark の画期的なパフォーマンスのコア コンポーネントです。
対象
| 対象 | Lightning Engine は、最も要求の厳しい Spark ワークロード向けです。Dataproc と Serverless Apache Spark のプレミアム ティアでご利用いただけます。 | |
|---|---|---|
| プロダクト | 可用性 | アクセス |
Apache Spark 向け Google Cloud Serverless - プレミアム ティア | 一般提供 | |
Google Compute Engine 上の Dataproc | プレビュー版 | 近日提供予定 |
対象
Lightning Engine は、最も要求の厳しい Spark ワークロード向けです。Dataproc と Serverless Apache Spark のプレミアム ティアでご利用いただけます。
一般的な使用例
最も要求の厳しいジョブに最適
大規模 ETL
最も複雑な Spark データ処理および変換パイプラインのランタイムを大幅に短縮します。つまり、より厳格なデータの更新速度 SLA を満たし、夜間のバッチ処理時間を短縮し、最もリソースを必要とするデータ パイプラインの TCO を大幅に削減できます。
学習用リソース
大規模 ETL
最も複雑な Spark データ処理および変換パイプラインのランタイムを大幅に短縮します。つまり、より厳格なデータの更新速度 SLA を満たし、夜間のバッチ処理時間を短縮し、最もリソースを必要とするデータ パイプラインの TCO を大幅に削減できます。
AI/ML データの準備
ML ライフサイクルに不可欠な特徴量エンジニアリングとデータ準備のステップを加速します。ML ワークフローで最も時間のかかる部分を高速化することで、データ サイエンティストはより多くのテストを実行し、モデルのイテレーションを迅速に行い、価値の高い AI アプリケーションをより早く本番環境に導入できます。
学習用リソース
AI/ML データの準備
ML ライフサイクルに不可欠な特徴量エンジニアリングとデータ準備のステップを加速します。ML ワークフローで最も時間のかかる部分を高速化することで、データ サイエンティストはより多くのテストを実行し、モデルのイテレーションを迅速に行い、価値の高い AI アプリケーションをより早く本番環境に導入できます。
インタラクティブな分析
データレイクで高速なインタラクティブ SQL クエリを直接実行して、アドホック分析とビジネス インテリジェンスを実現します。データ アナリストは、クエリの応答時間が短縮されることで思考の流れを維持しやすくなり、結果としてデータ探索が迅速化され、より効果的な分析情報が得られます。
学習用リソース
インタラクティブな分析
データレイクで高速なインタラクティブ SQL クエリを直接実行して、アドホック分析とビジネス インテリジェンスを実現します。データ アナリストは、クエリの応答時間が短縮されることで思考の流れを維持しやすくなり、結果としてデータ探索が迅速化され、より効果的な分析情報が得られます。
料金
| Spark の高速化を、思いどおりに | Lightning Engine は、Dataproc と Apache Spark 向け Google Cloud Serverless のプレミアム ティアの機能です。 |
|---|---|
| プロダクト | 料金 |
プレビュー版近日提供開始予定。 |
Spark の高速化を、思いどおりに
Lightning Engine は、Dataproc と Apache Spark 向け Google Cloud Serverless のプレミアム ティアの機能です。
