Google Cloud での Spark

SQL と Spark が統合されたエクスペリエンス: BigQuery から直接 Python で記述された Apache Spark コードを作成して実行できます。 その後、SQL ストアド プロシージャの実行と同様に、Google 標準 SQL クエリを使用して BigQuery でこれらのストアド プロシージャを実行してスケジュールできます。

デベロッパーは、コードとロジックにすべての時間を費やすことができ、選択したインターフェースを使用して、自動プロビジョニングと自動スケーリングを行う Spark ジョブを送信できます。サーバーレス Spark のドキュメントをご覧ください。

Spark でのデータ サイエンスをワンクリックで実現: データ サイエンティストは、組み込みセキュリティを使用して、Vertex AI Workbench からシームレスに開発に Spark を使用できます。Spark は、Vertex AI の MLOps 機能と統合されています。ユーザーは、Vertex AI Pipelines と統合されたノートブック エグゼキュータを使用して Spark のコードを実行できます。

Spark SQL、Notebooks、または PySpark にワンクリックでアクセスできる単一のインターフェースから、Google Cloud 全体のデータに対して Spark の自動スケーリングを実行できます。また、ノートブックとスクリプトをデータとともに保存、共有、検索できる機能を備えた使いやすいコラボレーション ツールに加え、データレイク全体のガバナンスも備えています。

NoOps デプロイ用のサーバーレス Spark に加え、インフラストラクチャ管理のために Kubernetes を標準化しているお客様は、Google Kubernetes Engine（一般提供）上で Spark を実行して、リソース使用状況を改善し、インフラストラクチャ管理を簡素化できます。Hadoop スタイルのインフラストラクチャ管理を必要とするお客様は、Compute Engine（一般提供）上で Spark を実行できます。