ストレージとデータ転送

gcloud storage のお知らせ: Cloud Storage のデータ転送が最大 94% スピードアップ

2022年11月11日

Google Cloud Japan Team

※この投稿は米国時間 2022 年 10 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

Cloud Storage のお客様から、バケットからのデータの取り込みや取り出しの最も速い方法についてよく尋ねられます。最良のパフォーマンスを得るためには、ユーザーは、データ転送の速度を最適化するための正しいフラグとパラメータを理解する必要があります。多くの場合、お客様は Cloud Storage を他の Google Cloud サービスと併用しており、すべての Google Cloud アセットを管理するのに使用できる 1 つのツールを探しています。

gcloud storage のお知らせ - Google Cloud CLI に追加された最新機能

Google Cloud CLI（別名 gcloud CLI）を使用することで、Google Cloud リソースやサービスを、コマンドラインで直接、もしくはスクリプト経由で作成、管理できます。gcloud storage はこのセットに追加された最新のツールで、Cloud Storage の CLI エクスペリエンスをモダナイズします。

データ転送のパフォーマンス

お客様にとって、データ転送速度はビジネスに有益な情報を得るためのデータ使用頻度を判断するのに重要です。新しい gcloud storage CLI では、CLI 経由で Cloud Storage にアクセス可能な Python アプリケーションである既存の gsutil オプションよりも、パフォーマンスが大幅に改善されました。

https://storage.googleapis.com/gweb-cloudblog-publish/images/gcloud_storage.max-900x900.jpg

gsutil と gcloud storage のパフォーマンスの差異についてデモンストレーションを行うために、単一ファイルのシナリオと複数ファイルのシナリオでのテストを行いました。サイズが 100 MB のファイルを 100 個転送した場合、gcloud storage は gsutil よりもダウンロードで 79%、アップロードで 33% 高速でした。このテストは並列複合アップロード戦略で行いました。図 1 を参照してください。10 GB のファイルでは、gcloud storage は gsutil よりもダウンロードで 94%、アップロードで 57% 高速です。図 2 を参照してください。これらのテストは、Google Cloud Platform 上で行われ、n2d-standard-16（vCPU 8 個、メモリ 32 GB）と、RAID0 に設定した 375GB の NVMe 1 つを us-east4 リージョンで使用しました。

転送速度の高速化は gcloud storage の 2 つの主要なイノベーションの結果です。まず、gcloud storage は CRC32C データの整合性を確認するために、gsutil では必要となる複雑な設定をスキップする高速なハッシュツールを使用します。次に、タスク管理をグラフ問題として扱う、新しい並行戦略の採用です。これにより、より多くの作業をはるかに少ないオーバーヘッドで並列処理することが可能になりました。

ユーザビリティの改善

パフォーマンス向上に加え、gcloud CLI は、Cloud Storage バケット、Compute Engine VM、Google Kubernetes Engine クラスタのような Google Cloud リソースをすべて一元管理する方法も提供します。

gcloud storage は最適な設定を自動的に検出し、ユーザーからのフラグなしでデータ転送をスピードアップします。gcloud storage では、すべての操作は並行して行われます。たとえば、並列複合アップロードは、バケット構成に基づき、自動的に有効になります。これは、アップロードとダウンロードのパフォーマンスを向上させるのに -m（並列操作）フラグを必要とする gsutil と比べて、大幅な改善です。

gcloud storage は、ユーザーが Cloud Storage リソースを管理するためのトップレベルコマンドの数を大幅に減少させます。すべてのバケット操作は gcloud storage buckets <command>、すべてのオブジェクト操作は gcloud storage objects <command> という共通のヘッダーでコマンドがグループ化され、実行されます。

既存の gsutil スクリプトを gcloud storage として実行できる shim を導入しているため、gcloud storage CLI への移行は簡単です。これにより、既存の gsutil スクリプトを Cloud Storage 用に書き換えることなく、新しい CLI のすべてのパフォーマンスのメリットを享受することができます。