Cloud Storage FUSE と Google Cloud プロダクトの統合

このページでは、Cloud Storage FUSE と統合された Google Cloud プロダクトについて説明します。

Cloud Storage と統合されている Google Cloud プロダクトの一覧については、Google Cloud サービスとツールのインテグレーションをご覧ください。

プロダクト Cloud Storage FUSE との統合方法
Google Kubernetes Engine(GKE)

Cloud Storage FUSE CSI ドライバは、Cloud Storage FUSE と Kubernetes API の統合を管理し、Cloud Storage バケットをボリュームとして使用します。Cloud Storage FUSE CSI ドライバを使用すると、バケットをファイル システムとして Google Kubernetes Engine ノードにマウントできます。

Vertex AI Training

Vertex AI でカスタム トレーニングを行うときは、マウントされたファイル システムとして Cloud Storage バケットからデータにアクセスできます。詳細については、トレーニング コードを準備するをご覧ください。

Vertex AI Workbench

Vertex AI Workbench インスタンスには Cloud Storage とのインテグレーションが含まれています。JupyterLab インターフェースから Cloud Storage 内のバケットを参照し、互換性のあるファイルを操作できます。Cloud Storage とのインテグレーションにより、Vertex AI Workbench インスタンスと同じプロジェクト内でインスタンスがアクセスできるすべての Cloud Storage バケットとファイルにアクセスできます。インテグレーションを設定するには、JupyterLab で Cloud Storage バケットとファイルにアクセスする方法に関する Vertex AI Workbench の手順をご覧ください。

Deep Learning VM Image

Cloud Storage FUSE には、Deep Learning VM Image がプリインストールされています。

Deep Learning Containers

Deep Learning Containers の Cloud Storage バケットをマウントするには、Cloud Storage FUSE CSI ドライバ(推奨)を使用するか、Cloud Storage FUSE をインストールします。

Batch

Cloud Storage FUSE を使用すると、バッチジョブを作成して実行するときに、Cloud Storage バケットをストレージ ボリュームとしてマウントできます。ジョブの定義でバケットを指定すると、ジョブの実行時にそのバケットがジョブの VM に自動的にマウントされます。

Cloud Run

Cloud Run を使用すると、Cloud Storage バケットをボリュームとしてマウントし、バケットの内容をコンテナ ファイル システム内のファイルとして表示できます。ボリューム マウントを設定するには、Cloud Storage ボリュームをマウントするをご覧ください。

Cloud Composer

環境を作成するときに、Cloud Composer は、Cloud Storage バケット内の特定のフォルダにワークフローとその依存関係のソースコードを保存します。Cloud Composer は Cloud Storage FUSE を使用して、バケット内のフォルダを Cloud Composer 環境の Airflow コンポーネントにマッピングします。

ML に適した Cloud Storage FUSE

Cloud Storage FUSE は、機械学習(ML)トレーニングとモデルデータを Cloud Storage のオブジェクトとして保存してアクセスすることを検討しているデベロッパーにとって一般的な選択肢です。Cloud Storage FUSE には、ML プロジェクトの開発に次のようなメリットがあります。

  • Cloud Storage FUSE では、Cloud Storage バケットをローカル ファイル システムとしてマウントできます。これにより、標準のファイル システム セマンティクスを使用して、アプリケーションでトレーニング データやモデルデータにアクセスできます。つまり、Cloud Storage を使用して ML データを保存するときに、アプリケーションのコードの書き換えやリファクタリングを行う必要がありません。

  • トレーニングから推論まで、Cloud Storage FUSE は Cloud Storage の優れたスケーラビリティ、パフォーマンス、費用対効果を活用して、ML ワークロードを大規模に実行できます。

  • Cloud Storage FUSE では、Cloud Storage のデータに直接アクセスできるコンピューティング リソースが提供されるため、トレーニング ジョブをすぐに開始できます。コンピューティング リソースにトレーニング データをダウンロードする必要はありません。

詳細については、Cloud Storage FUSE でサポートされている ML フレームワークをご覧ください。