コンテンツに移動
Public Sector

Google Cloud での HPC がスタンフォード大学とカリフォルニア大学リバーサイド校の研究用コンピューティングをサポート

2023年12月19日
Google Cloud Japan Team

※この投稿は米国時間 2023 年 12 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。

私たちは、分野や業界を超えた研究とイノベーションの新時代の真っ只中にいます。研究者は発見を促進するため、計算手法にますます依存するようになっており、AI を取り入れたツールの導入により強力な計算リソースへのニーズが高まっています。発見のスピードも加速していますが、それと同時に、発見に使用されるワークフローも急速に進歩しています。こうした需要の増大と変化は、研究グループに必要なハイ パフォーマンス コンピューティング(HPC)リソースを提供する責任者に多大なプレッシャーを与えています。Google Cloud は、科学者に研究用コンピューティング リソースを提供するこのようなチームを支援します。

クラウドは、変化する計算要件に容易に対応できるように作られています。Google Cloud は、こうした研究のための HPC 需要にも応えられる柔軟性を備えています。Google Cloud HPC Toolkit は、クラウドでの HPC 環境のプロビジョニング、変更、廃止をより利用しやすくするために開発された、Google Cloud で HPC 環境を定義するためのオープンソース ソフトウェア プロダクトです。

Google Cloud HPC Toolkit は、HPC のベスト プラクティスをすべて採用しており、関連する設定パラメータを小さな Infrastructure as Code 構成ファイルに効率的に公開します。同時に、ユーザーはインフラストラクチャの作成に使用される構成ファイル内のコマンドの完全なセットを検査でき、それによって必要に応じてプロセスを制御し、コンポーネントをカスタマイズできます。このアプローチは、研究グループや研究用コンピューティング施設の IT スタッフの要求にも応え、ダイナミックなコンピュータ サイエンスや AI / ML のニーズを満たす HPC 環境の構築を支援します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/Screenshot_2023-12-12_9.19.08_AM.max-1200x1200.png

Google Cloud HPC Toolkit により HPC のデプロイを大幅に簡素化、HPC ブループリントで 100 行未満の YAML を使用して、40,000 行以上のコードを必要とする HPC 環境を作成

スタンフォード大学サステナビリティ学部

スタンフォード大学は、Google Cloud HPC Toolkit の先行ユーザーの一つで、このツールキットが利用可能になったとき、Google Cloud とオンプレミスのリソースを接続するためにすぐに利用を開始しました。

同校ではクラウド コンピューティングを導入するにあたり、研究者がオンプレミスと同じエクスペリエンスを維持できるようにしたいと考えていました。そのため、カスタムの起動スクリプトと Chrome リモート デスクトップを組み合わせることで、研究者が使い慣れているインターフェースを使用できるようにし、どこで研究を行う場合でもプロセスを効率化できるようにしました。研究者が、Chrome リモート デスクトップでインタラクティブ ノードにログインすると、オンプレミスのクラスタにアクセスしたときと同様のエクスペリエンスが得られます。同校での Google Cloud HPC Toolkit の利用は増え続けており、コード開発のために Vertex AI インスタンスを迅速かつ安全に利用できるようにする独自のモジュールを開発することで、増え続けるユーザー ベースに対応しています。

「スタンフォード ドーア サステナビリティ学部は、Google Cloud を通じて研究者用のコンピューティング能力を拡張しています。Google Cloud HPC Toolkit を使用することで、大規模な実験を行う HPC システムを迅速かつ安全に、一貫した方法でデプロイできます。さまざまなパラメータでデプロイおよび再デプロイが可能なブループリントを備えているため、急増する科学者のニーズに対応するために必要なアジリティが得られます。Google Cloud HPC Toolkit を使えば、ユーザーのニーズに応じて異なるパーティションでクラスタを立ち上げることができるので、必要に応じて NVIDIA GPU のような最新のハードウェアを活用し、Google Cloud のワークロードに最適化された VM を活用して優れた費用対効果を実現できます。動的なクラスタ サイズ、必要に応じてクラスタ パーティションで Spot VM を使用する機能、研究者が使い慣れた環境で迅速に稼働できる機能は、すべて Google Cloud HPC Toolkit によって強化されました。」- スタンフォード ドーア サステナビリティ学部、シニア リサーチ エンジニア Robert Clapp 氏

カリフォルニア大学リバーサイド校

カリフォルニア大学リバーサイド校(UCR)は、インフラストラクチャのニーズに合わせて Google Cloud の導入に取り組んできました。研究者がハイ パフォーマンス コンピューティングへのアクセスを維持できることが、この移行における重要な検討事項でした。

UCR の HPC 管理チームは、さまざまな研究グループと連携しており、各グループは、クラスタでサポートする必要があるものについて独自の仕様を持っていました。これらのグループをサポートするために、HPC チームは迅速にカスタマイズできる共通のパラメータ セットを必要としていました。また、これらのクラスタのセキュリティと信頼性を確保する必要もありました。そのため、特定の標準セットを維持しながら、ユーザーが特定のコンポーネントをカスタマイズできる Google Cloud HPC Toolkit ブループリントのセットを作成しました。この標準化により、他の研究者とブループリントを共有し、他のラボがより簡単に研究を再現し、発見を検証できるようになりました。さらに、研究者がストレージやコンピューティング容量によって制限されないように、自動スケーリング対策を採用しました。

「Google Cloud と Google Cloud HPC Toolkit のスケールと革新性を通じて、私たちは UCR の研究に革命をもたらしました。かつては研究者が不可能だと考えていた目標を、並外れた期間で達成できました。Google Cloud HPC Toolkit は、HPC クラスタの設計と管理を簡素化し、クラスタの標準化と拡張を可能にします。これにより、UCR は特定の研究やワークフローのニーズに合わせたラボベースの HPC クラスタを提供できます。AI / ML HPC GPU クラスタ、大規模分散クラスタ、ハイメモリ HPC クラスタ、HPC 可視化クラスタのいずれであっても、Google Cloud HPC Toolkit によってプロセスが効率化され、YAML ファイルを構成するのと同じくらい簡単になります。」- UCR、リサーチ コンピューティング担当ディレクター Chuck Forsyth 氏

次はあなたの番です

スタンフォード大学と UCR は、Google Cloud での HPC のパワーを活用してイノベーションを推進している組織の一握りにすぎません。独自のコンピューティング リソースを扱う研究グループにも、大学の研究用コンピューティング施設で働くプロフェッショナルにも、Google Cloud HPC Toolkit は、クラウドのインフラストラクチャを管理するための強力なアプローチを提供します。Google Cloud HPC Toolkit はオープンソースであり、ユーザーと Google Cloud パートナーのコミュニティでは、使い始めるのに役立つすぐに使えるブループリントが共有されています。Google Cloud HPC Toolkit のガイドGoogle Cloud HPC のサイトで詳細を確認し、今すぐ Google Cloud で HPC を始めましょう。

公的機関と連携しているお客様の場合は、公共部門向けサブスクリプション契約(PSSA)を通じて費用を予測可能にすることができます。定義された環境の月額固定価格を維持できる契約なので、不測の出費のリスクを軽減でき、月ごとの消費量の急増による変動がありません。PSSA を利用することで、あらかじめ決められている予算や助成金の額を超えることができない研究者のニーズに応えることができます。

公共部門向けサブスクリプション契約(PSSA)、業種別 HPC ソリューション、管理業務向け HPC ツールの詳細については、Google Cloud チームにお問い合わせください。研究者へのサポートを提供し、HPC ワークロードを Google Cloud で導入して運用するお手伝いをいたします。

-Google Cloud、HPC ソフトウェア エンジニア Carlos Boneti

-Google Cloud、HPC 担当グループ プロダクト マネージャー Annie Ma-Weaver

投稿先