デベロッパー

NVIDIA Clara Parabricks と Batch を組み合わせて実行する

2023年2月16日

Google Cloud Japan Team

※この投稿は米国時間 2023 年 2 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

大量のゲノミクスパイプラインの実行は簡単ではありません。ソリューションに GPU を追加することはさらに困難です。今回のブログでは、GPU と Batch を使用して複数のジョブを実行するソリューションの全貌をご紹介します。NVIDIA Clara Parabricks は Google Cloud Platform Marketplace で利用可能で、Parabricks のツールで 1 つの VM を容易にスピンアップしてゲノミクスパイプラインワークロードを促進できます。Parabricks VM では、個々のワークフローを手動で実行できます。ラボや医療研究所レベルの環境では、解析を並行して実行するために、デプロイの自動化機能を備えたスケールアウトソリューションが必要です。複数の Parabricks VM を作成するだけでは、Marketplace から作成された VM に対する一元的なジョブ管理機能がないため、解決策にはなりません。この問題を解決するソリューションが Batch です。多くのゲノミクスパイプラインは、Parabricks のような HPC ソリューションとツールに依存しています。以下に、Batch で NVIDIA Clara Prarbricks を大規模に実行する方法とその理由を説明します。

プロダクトの概要:

Batch

Google のインフラストラクチャでバッチジョブをスケジュールし、キューに入れて、実行するフルマネージドバッチサービスです。ユーザーのプロビジョニングと自動スケーリング機能を備えており、サードパーティソリューションを管理する必要がありません。Google Cloud とネイティブに統合されており、ワークロードを実行、スケーリング、モニタリングします。

NVIDIA Clara Parabricks パイプライン

Parabricks は、次世代シーケンシング（NGS）DNA および RNA データの二次解析実行のためのソフトウェアスイートです。Parabricks の大きなメリットは、非常に高速かつ低費用で結果を導き出せることです。30x 全エクソームシーケンス（WES）データの場合は約 30 時間であるのに対し、Parabricks はヒトゲノム全解析を約 45 分で完了できます。最大のメリットは、出力結果が一般的に使用されているソフトウェアに完全に対応する点です。したがって、出力の精度の検証がかなり簡単になります。

処理フロー:

https://storage.googleapis.com/gweb-cloudblog-publish/images/Parabrick_flow_diagram.max-900x900.jpg

Google Cloud Storage バケットでデータが利用可能な状態である場合、ジョブを Batch API に送信できます。

注意する必要があるのは次の 2 つのファイルだけです。

Batch json ファイル - このファイルでは、マシンタイプ、GPU の数、コンテナイメージ、永続ディスク、GCS バケット（データ）の場所、実行スクリプトの場所とコマンドなど、インフラストラクチャに関するあらゆる情報が定義されています。
Docker コンテナ内で実行される Bash スクリプト - 実行するすべてのステップが記述されているファイルです。

Batch API が有効であり、ジョブを送信するための IAM ロールと権限があることを確認してください。

次の例では、NVIDIA Clara Parabricks ウェブサイトのチュートリアルのステップを見てみましょう。

https://docs.nvidia.com/clara/parabricks/3.8.0/Tutorials.html

アーキテクチャとインフラストラクチャに関する決定:

https://storage.googleapis.com/gweb-cloudblog-publish/images/Parabrick_architecture.max-600x600.jpg

Compute Engine 永続ディスクの使用 - ユーザーはサイズとパフォーマンスを定義できます。サイズはディスクあたり最大 63 TB です。パフォーマンス階層は pd-standard、pd-balanced、pd-ssd のいずれかです。

Google Cloud Storage（GCS）の使用

スクリプトは Batch VM と Docker コンテナにマウントできます。
入力と出力は費用対効果の高い方法で GCS バケットに保存できます。

大規模なデータセットの場合、GSUTIL などの転送オペレーションの方がパフォーマンスが高い可能性があります。

NVIDIA Clara Parabricks イメージ - 新たなイメージを構築せずに、Parabricks イメージをネイティブに利用します。カスタムイメージを維持する必要はありません。

サンプルコード:

共有 VPC ネットワークのユースケースを含むサンプル GCP 環境の概要を次に示します。

GCP サービスプロジェクト: service-hpc-project2
GCP 共有 VPC ホストプロジェクト: host-hpc-project1
GCP ネットワーク: test-network
GCP サブネットワーク: tier-1
GCS バケット: thomashk-test2

バッチ送信 JSON の例（cb-parabricks.json）

読み込んでいます...

{
   "taskGroups": [
   {
      "taskSpec": {
          "runnables": [
          {
         "script": {
             "text": "distribution=$(. /etc/os-release;echo $ID$VERSION_ID); curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -; curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list; sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit; sudo systemctl restart docker"
            }
         },
         {
         "container": {
            "imageUri": "nvcr.io/nvidia/clara/clara-parabricks:4.0.0-1",
            "options": "--gpus all",
            "volumes": [
               "/mnt/data:/mnt/data",
               "/mnt/gcs/share:/mnt/gcs/share"
               ],
            "entrypoint": "/bin/sh",
               "commands": [
                  "-c",
               "/mnt/gcs/share/parabricks/parabricks-run.sh"
               ]
               }
         }
          ],
          "volumes": [
            {
	"deviceName": "new-pd",
             "mount_path": "/mnt/data",
	"mountOptions": "rw,async"
             },
           {
            "gcs": {
               "remotePath": "thomashk-test2"
               },
               "mountPath": "/mnt/gcs/share"
           }
          ],
         "maxRetryCount": 8,
          "maxRunDuration": "86400s"
      },
      "taskCount": 1
   }
   ],
   "allocationPolicy": {
      "instances": [
          {
         "install_gpu_drivers": true,
           "policy": {
	"machine_type": "n1-standard-16",
            "disks": [
                 {
                 "newDisk": {
                  "sizeGb":250,
               "type": "pd-standard"
                 },
                 "deviceName": "new-pd"
                 }
             ],
             "accelerators": [
                {
                "type": "nvidia-tesla-t4",
                 "count": 2
                 }
                 ]
            }
         }
      ],
   "network": {
       "networkInterfaces": [
          {
            "network": "projects/host-hpc-project1/global/networks/shared-net",
         "subnetwork": "projects/host-hpc-project1/regions/us-central1/subnetworks/tier-1",
	"noExternalIpAddress": true
           }
       ]
   }
  },
  "labels": {
      "env": "experimental",
      "user": "thomashk"
   },
   "logsPolicy": {
      "destination": "CLOUD_LOGGING"
  }
}

バッチファイルを使用する実行ステップを含むスクリプトを次に示します（parabricks-run.sh）

読み込んでいます...

#!/bin/sh
# Copyright 2022 Google. 本ソフトウェアは「現状有姿」で提供されており、いかなる使用および目的に対しても保証および表明をいたしません。本ソフトウェアのご利用については、Google との契約が適用されます。
# 作成者: Thomas Leung thomashk@google.com
# これは NVIDIA 提供のサンプル実行に基づく parabricks 実行です
# https://docs.nvidia.com/clara/parabricks/v3.6/text/getting_started.html#example-run
# このスクリプトは、Batch parabricks 実行サンプルの一部です。
# クラウド オペレーションのために Google SDK をインストールします
apt-get update
apt-get install curl
curl https://dl.google.com/dl/cloudsdk/release/google-cloud-sdk.tar.gz > /tmp/google-cloud-sdk.tar.gz
mkdir -p /usr/local/gcloud
tar -C /usr/local/gcloud -xvf /tmp/google-cloud-sdk.tar.gz
/usr/local/gcloud/google-cloud-sdk/install.sh
bash
# wget ソリューションをインストールします
apt-get install wget
cd /mnt/data
# データセットをダウンロードします
wget -O parabricks_sample.tar.gz \
"https://s3.amazonaws.com/parabricks.sample/parabricks_sample.tar.gz"
tar xvf parabricks_sample.tar.gz
# pbrun で bam を取得します - FQ2BAM
pbrun fq2bam \
        --ref parabricks_sample/Ref/Homo_sapiens_assembly38.fasta \
        --in-fq parabricks_sample/Data/sample_1.fq.gz parabricks_sample/Data/sample_2.fq.gz \
        --out-bam output.bam
# pbrun で vcf を取得します - HaplotypeCaller
pbrun haplotypecaller \
   --ref parabricks_sample/Ref/Homo_sapiens_assembly38.fasta \
   --in-bam output.bam \
   --out-variants variants.vcf
# pbrun で VCF QC by Bam を実行します
mkdir -p vcfqcbybam_output_dir
pbrun vcfqcbybam \
   --ref parabricks_sample/Ref/Homo_sapiens_assembly38.fasta \
   --in-vcf variants.vcf \
   --in-bam output.bam \
   --out-file vcfqcbybam_pileup.txt \
   --output-dir vcfqcbybam_output_dir
# 出力を GCSfuse 経由で output ディレクトリにコピーします。データをコピーするには、gcsfuse の代わりに gsutil を使用することをおすすめします。
cp output* /mnt/gcs/share/parabricks/output/.
cp *.vcf /mnt/gcs/share/parabricks/output/.
cp -r vcfqcbybam_output_dir /mnt/gcs/share/parabricks/output/.

スクリプトを GCS バケット（gs://thomashk-test2）に保存します

$ gsutil ls gs://thomashk-test2/parabricks
gs://thomashk-test2/parabricks/
gs://thomashk-test2/parabricks/parabricks-run.sh
gs://thomashk-test2/parabricks/input/
gs://thomashk-test2/parabricks/output/

ユーザーは次のコマンドでこのジョブを送信できます。

ジョブ送信コマンド:

読み込んでいます...

ジョブステータスの確認コマンド:

読み込んでいます...

Batch と Parabricks を併用することで、GPU でゲノム解析実行を高速化でき、大規模な運用が可能になります。ストレージのデータが利用可能であり、割り込みなしでジョブを Batch に自動的に送信する cron ジョブがあるため、ゲノム解析実行スクリプトの生成を検討できます。Batch では、API、gcloud コマンド、webGUI でジョブのステータスを表示できます。

このコンピューティング機能をぜひご活用ください。

- Google Cloud、Professional Service Organization、HPC 技術ソリューションコンサルタント Thomas Leung

投稿先