GKE で NVIDIA GPU Operator を使用して GPU スタックを管理する

NVIDIA GPU Operator を使用するタイミングと、GKE で NVIDIA GPU Operator を有効にする方法について説明します。

TPU 上の LLM ワークロードの自動スケーリングを構成する

GKE HorizontalPodAutoscaler（HPA）を使用して、単一ホストの JetStream によって Gemma LLM をデプロイし、自動スケーリング インフラストラクチャを設定する方法について学習します。

GKE で複数の GPU を使用して Gemma オープンモデルをファインチューニングする

Hugging Face Transformers ライブラリを使用して、GKE の GPU で Gemma LLM をファインチューニングする方法について説明します。

GKE 上で TPU を使用して、Stable Diffusion モデルを使用する Ray Serve アプリケーションをデプロイする

TPU、Ray Serve、Ray Operator アドオンを使用して、GKE に Stable Diffusion モデルをデプロイして提供する方法について説明します。

GKE で GPU を使用して LLM ワークロードの自動スケーリングを構成する

GKE HorizontalPodAutoscaler（HPA）を使用して、Hugging Face Text Generation Interface（TGI）サービング フレームワークで Gemma LLM をデプロイし、自動スケーリング インフラストラクチャを設定する方法を説明します。

A3 Mega 仮想マシンで Megatron-LM を使用して Llama2 をトレーニングする

A3 Mega でコンテナベースの Megatron-LM PyTorch ワークロードを実行する方法について説明します。

Autopilot に GPU ワークロードをデプロイする

GKE Autopilot ワークロードでハードウェア アクセラレータ（GPU）をリクエストする方法について学習します。

GKE で複数の GPU を使用して LLM を提供する

GKE で複数の NVIDIA L4 GPU を使用して Llama 2 70B または Falcon 40B を提供する方法について説明します。

GKE で Saxml を実行してマルチホスト TPU を使用して LLM を提供する

GKE で Ray フレームワークを使用して Falcon 7b、Llama2 7b、Falcon 40b、Llama2 70b を提供する方法について説明します。

Ray on GKE を使ってみる

Ray クラスタでワークロードを実行して、Ray on GKE を簡単に使用する方法について説明します。

Ray を使用して L4 GPU で LLM を提供する

GKE で Ray フレームワークを使用して Falcon 7b、Llama2 7b、Falcon 40b、Llama2 70b を提供する方法について説明します。

JobSet と Kueue を使用して TPU マルチスライス ワークロードをオーケストレートする

JobSet と Kueue を使用して、GKE 上の複数の TPU スライスで Jax ワークロードをオーケストレートする方法について説明します。

NVIDIA Data Center GPU Manager（DCGM）を使用した GKE 上の GPU ワークロードのモニタリング

NVIDIA Data Center GPU Manager（DCGM）を使用して GKE 上の GPU ワークロードをモニタリングする方法について説明します。

クイックスタート: GKE Standard クラスタで GPU を使用してモデルをトレーニングする

このクイックスタートでは、GKE で GPU を使用するトレーニング モデルをデプロイし、予測を Cloud Storage に保存する方法について説明します。

GKE での大規模な ML の実行

この動画では、大規模な AI モデルのトレーニングに関する一般的な課題を GKE で解決する方法と、GKE で大規模な ML モデルをトレーニングして提供するためのベスト プラクティスについて説明します。

GPU アクセラレーションを備えた GKE Autopilot で TensorFlow を実行する

このブログ投稿では、Tensorflow 対応の Jupiter ノートブックを作成、実行、破棄するための手順ガイドを紹介します。

GKE の Namespace 間で割り当てを共有するジョブ キューイング システムを実装する

このチュートリアルでは Kueue を使用して、ジョブ キューイング システムを実装し、GKE 上の異なる Namespace 間でワークロード リソースと割り当て共有を構成する方法を説明します。

GKE を使用した RAG 対応生成 AI アプリケーション用のインフラストラクチャ

GKE、Cloud SQL、Ray、Hugging Face、LangChain を使用して、検索拡張生成（RAG）対応の生成 AI アプリケーションを実行するためのリファレンス アーキテクチャ。

特許検索の革新: IPRally が GKE と Ray を使用して AI を活用

IPRally が GKE と Ray を使用して、スケーラブルで効率的な ML プラットフォームを構築し、特許検索の高速化と精度の向上を実現した方法を紹介します。

Google Cloud での Gemma のパフォーマンスに関する詳細

Cloud GPU と Cloud TPU 上で Gemma を活用し、推論と GKE でのトレーニングの効率を高めます。

GKE で Gemma を使用するための詳細: 生成 AI オープンモデルのサービングを実現する新たなイノベーション

最高水準の Gemma オープンモデルを使用して、移植およびカスタマイズ可能な AI アプリケーションを構築し、GKE にデプロイします。

Ray と Kueue を使用した AI / ML の高度なスケジューリング

KubeRay と Kueue を使用して GKE で Ray アプリケーションをオーケストレーションします。

Google Kubernetes Engine 上で Ray のセキュリティを確保する方法

GKE で Ray を使用して AI / ML ワークロードをトレーニングする際に、セキュリティに関する知見とセキュリティ強化手法を適用します。

Google Cloud で AI / ML ワークロードのストレージを設計する

Google Cloud の AI / ML ワークロードに最適なストレージ オプションの組み合わせを選択します。

ドライバの自動インストールにより、GKE での NVIDIA GPU の使用が容易に

GKE に Nvidia GPU ドライバを自動的にインストールします。

GKE の NVIDIA NeMo フレームワークで、生成 AI への取り組みを加速

GKE と NVIDIA NeMo フレームワークを使用して、生成 AI モデルをトレーニングします。

Ray AI ワークロードに GKE を使用する理由

Ray ワークロードに GKE を使用して、スケーラビリティ、費用対効果、フォールト トレランス、分離、移植性を向上させます。

フルマネージド GKE で AI を実行: 新たなコンピューティング オプション、料金、リソース予約

GKE Autopilot を使用すると、AI / ML ワークロードの GPU サポートとパフォーマンスを向上させ、費用を抑えることができます。

SEEN が GKE を使用して出力を 89 倍に拡大し GPU の費用を 66% 削減した方法

GKE を使用してパーソナライズされた動画出力をスケーリングしたスタートアップ企業を紹介します。

Let’s Enhance が NVIDIA AI と GKE を使用して AI ベースの写真編集を強化した仕組み

NVIDIA GPU と GKE を使用して画像を美しくするための革新的な AI。

GKE の GPU 共有によって、科学者がどのようにニュートリノを探索するか

GKE GPU 共有は、科学者がニュートリノを探索するのに役立ちます。

GKE の時間共有 GPU

複数のコンテナで単一の物理 GPU を共有し、使用率を向上させることができる GKE の GPU 時間共有機能について説明します。

GKE のマルチインスタンス GPU

GKE のマルチインスタンス GPU を使用して、GPU への投資効率を高める方法について説明します。

Etsy が GKE を使用して ML プラットフォームを再設計する方法

Etsy は、機械学習（ML）を活用して、世界中の何百万人もの購入者にパーソナライズされたエクスペリエンスを提供しています。

Spotify が Ray と GKE で ML イノベーションを実現している方法

Ray が Spotify で ML 開発を変革している方法。

Ordaōs Bio 社の GKE で生成 AI を活用する方法

Ordaōs Bio 社は、生物医学の研究と発見を目的とした主要な AI アクセラレータの一つであり、腫瘍学および慢性炎症性疾患における新しい免疫学的療法の解決策の発見を目指しています。

ML を活用した成長中のスタートアップ企業の GKE

シリコンバレーのスタートアップ企業である Moloco 社が、GKE と Tensor Flow Enterprise を活用して機械学習（ML）インフラストラクチャを強化した方法。

Ray on GKE

この Terraform テンプレートでは、Ray on GKE を実行します。

TPU を使用して Ray on GKE を設定する

この Terraform サンプルでは、2x2x1 トポロジで GKE クラスタに Ray をデプロイします。

JobSet API を使用した GKE での ML トレーニング ワークロード

JobSet API を使用して、GKE で分散 ML トレーニング ワークロードを実行します。

GKE での JAX「Hello World」

GKE クラスタで NVIDIA GPU A100～80 GB を使用して、シンプルな JAX プログラムを実行します。