Google Cloud での Spark

Google Cloud のサーバーレス Spark は、インフラストラクチャを自動化することでデータ サイエンスを加速します。クラスタ管理ではなくコードに集中でき、自動スケーリングと BigQuery および Vertex AI とのシームレスな統合によりワークフローが効率化され、反復処理とモデル開発を迅速に行えます。サーバーレス Spark の最新のライブラリをチェックし、ユーザーによる構成が少ないユースケースをさらに増やしましょう。Apache Spark、XGBoost、Hugging Face Transformers ライブラリを使用した顧客離れを予測するためのパイプラインの構築など、データ サイエンティスト向けの最新のコードサンプルをご覧ください。

Spark でのデータ サイエンスをワンクリックで実現: データ サイエンティストは、組み込みセキュリティを使用して、Vertex AI Workbench からシームレスに開発に Spark を使用できます。Spark は、Vertex AI の MLOps 機能と統合されています。ユーザーは、Vertex AI Pipelines と統合されたノートブック エグゼキュータを使用して Spark のコードを実行できます。

SQL と Spark が統合されたエクスペリエンス: BigQuery から直接 Python で記述された Apache Spark コードを作成して実行できます。 その後、SQL ストアド プロシージャの実行と同様に、Google 標準 SQL クエリを使用して BigQuery でこれらのストアド プロシージャを実行してスケジュールできます。

デベロッパーは、コードとロジックにすべての時間を費やすことができ、選択したインターフェースを使用して、自動プロビジョニングと自動スケーリングを行う Spark ジョブを送信できます。サーバーレス Spark のドキュメントをご覧ください。

Spark SQL、Notebooks、または PySpark にワンクリックでアクセスできる単一のインターフェースから、Google Cloud 全体のデータに対して Spark の自動スケーリングを実行できます。また、ノートブックとスクリプトをデータとともに保存、共有、検索できる機能を備えた使いやすいコラボレーション ツールに加え、データレイク全体のガバナンスも備えています。