Next 2021 の Spark on Google Cloud セッションは、こちらからご覧ください。

ジャンプ先

Google Cloud での Spark

業界初の自動スケーリング可能なサーバーレス Spark を厳選された Google ネイティブのオープンソース ツールと統合します。Spark は、ETL、データ サイエンス、データ探索など、あらゆるユースケースにわたり必要な場所で開発、実行できます。

利点

デベロッパーの生産性を高め、より高速なデータ分析情報を実現

サーバーレスの Spark によって運用がシンプルに

インフラストラクチャの手動プロビジョニングや調整なしで自動スケーリングできる Spark アプリケーションとパイプラインを作成できます。

すべてのデータ ユーザー向けのシームレスな Spark

Spark は BigQueryVertex AIDataplex と統合されているため、ETL、データ探索、分析、ML の場合、これらのインターフェースから 2 クリックのみで書き込みと実行が可能で、カスタム統合は不要です。

用途に柔軟に対応

画一的なアプローチは通用しません。Spark アプリケーションでは、サーバーレス、Kubernetes クラスタとコンピューティング クラスタの中から選択できます。

主な機能

選択したインターフェースから自動スケーリングする Spark ジョブを 2 クリックで実行

サーバーレス Spark(一般提供は近日開始予定)

デベロッパーは、コードとロジックにすべての時間を費やすことができ、選択したインターフェースを使用して、自動プロビジョニングと自動スケーリングを行う Spark ジョブを送信できます。

BigQuery による Spark(非公開プレビュー)

SQL と Spark の統合されたエクスペリエンス: データ ウェアハウジング ユーザーは、BigQuery データをエクスポートすることなく、簡単に Spark に書き込んで実行することができます。インフラストラクチャ管理は必要ありません。

Vertex AI での Spark(非公開プレビュー)

Spark でのデータ サイエンスをワンクリックで実現: データ サイエンティストは、組み込みセキュリティを使用して、Vertex AI Workbench からシームレスに開発に Spark を使用できます。Spark は、Vertex AI の MLOps 機能と統合されています。ユーザーは、Vertex AI Pipelines と統合されたノートブック エグゼキュータを使用して Spark のコードを実行できます。

Dataplex による Spark(非公開プレビュー)

Spark SQL、Notebooks、または PySpark にワンクリックでアクセスできる単一のインターフェースから、Google Cloud 全体のデータに対して Spark の自動スケーリングを実行できます。また、ノートブックとスクリプトをデータとともに保存、共有、検索できる機能を備えた使いやすいコラボレーション ツールに加え、データレイク全体のガバナンスも備えています。

柔軟な消費オプション

NoOps デプロイ用のサーバーレス Spark に加え、インフラストラクチャ管理のために Kubernetes を標準化しているお客様は、Google Kubernetes Engine(非公開プレビュー)上で Spark を実行して、リソース使用状況を改善し、インフラストラクチャ管理を簡素化できます。Hadoop スタイルのインフラストラクチャ管理を必要とするお客様は、Compute Engine(一般提供)上で Spark を実行できます。


ご関心をお持ちの場合は、お問い合わせください

関連サービス

最新情報

Google Cloud のニュース、ブログ、イベントで Spark の最新情報を取得

Google Cloud 上の Spark の新しいソリューションへの早期アクセスをリクエストするには、こちらから関心事項をご登録ください。