デベロッパー

Google Cloud にデータを転送する方法

2021年5月14日

https://storage.googleapis.com/gweb-cloudblog-publish/images/move_data.max-1100x1100.png

Google Cloud Japan Team

※この投稿は米国時間 2021 年 4 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

ビジネスのクラウド移行を決定してから、まず考慮するべき問題とは

クラウドへの移行に際して、問題となるのがデータ転送です。今回は、データを Google Cloud に転送する際に知っておくべきことと、利用できるツールをご紹介します。

データセンターの移行、機械学習、コンテンツの保存と配信、バックアップとアーカイブの要件など、さまざまな要因により、データを Google Cloud に移行する必要性に迫られることがあります。ロケーション間でデータを移動するときは、信頼性、予測可能性、スケーラビリティ、セキュリティ、管理性を考慮することが重要です。Google Cloud には、さまざまなユースケースにおけるこうした要件を満たす主要な転送ソリューションが 4 つ用意されています。

https://storage.googleapis.com/gweb-cloudblog-publish/images/move_data.max-800x800.png

（クリックして拡大）

Google Cloud のデータ転送オプション

次の 4 つの主要なアプローチのいずれかを使用して、データを Google Cloud に転送できます。

Cloud Storage 転送ツール - これらのツールは、パソコンから Google Cloud Storage にデータを直接アップロードする際に便利です。このオプションは通常、数 TB までの小規模な転送に使用します。たとえば、Google Cloud Console UI、JSON API、GSUTIL コマンドラインインターフェースなどを利用します。GSUTIL はオープンソースのコマンドラインユーティリティで、シェルからスクリプト転送できます。また、GCS バケットを管理することもできます。マルチスレッド、マルチ処理の大規模なデータ移動の場合は、差分コピーには rsync モードで、スクリプト出力の push にはストリーミングモードで動作します。マルチスレッドではない UNIX の cp（コピー）コマンドの代わりにご利用ください。
Storage Transfer Service - このサービスを使用すると、他のクラウドやオンプレミスソースから、または Google Cloud 内のバケット間でオンラインデータを Cloud Storage にすばやくインポートできます。定期的な転送ジョブを設定して時間とリソースを節約でき、数十 Gbps までスケール可能です。お好みの言語で Storage Transfer API やクライアントライブラリを使用して、転送ジョブの作成と管理を自動化できます。GSUTIL と比較すると、Storage Transfer Service は再試行を処理し、詳細な転送ロギングを提供するマネージドソリューションになります。データが広帯域幅ネットワークパイプを通じて送信されるため、データ転送は高速です。オンプレミス転送サービスは利用可能な最大帯域幅を利用し、パフォーマンスの最適化を適用することにより、転送時間を最小限に抑えます。
Transfer Appliance - このオプションは、大規模なデータセットを移行する必要があり、帯域幅に十分な余裕がない場合に最適です。Transfer Appliance は、Google Cloud へのシームレスで安全かつ高速なデータ転送を可能にします。たとえば、Transfer Appliance を使用すれば、1 PB のデータ転送がわずか 40 日間で済みます。通常のネットワーク（100 Mbps）ではオンラインデータ転送に 3 年もかかってしまいます。Transfer Appliance は、TA40（40 TB）と TA300（300 TB）の 2 つのフォームファクタで提供される筐体です。ご利用方法は簡単です。まず、Cloud Console から Transfer Appliance を注文します。注文したアプライアンスが届いたら、データをコピーし（NFS を介したファイルコピーを使用）、データを暗号化して保護します。最後に、アプライアンスを Google に返送すると、GCS バケットにデータが転送され、データがアプライアンスから消去されます。Transfer Appliance は SSD（ソリッドステートドライブ）のみを利用し、ソフトウェアを最小限に抑え、複数のネットワーク接続オプションを使用するため、パフォーマンスが著しく向上します。
BigQuery Data Transfer Service - このオプションを使用すると、分析チームはコードを 1 行も書かずに、BigQuery データウェアハウスの基盤を構築できます。あらかじめ設定されたスケジュールに基づき、BigQuery へのデータ移動を自動化します。Google SaaS アプリや、外部クラウドストレージプロバイダ、Teradata や Amazon Redshift といったデータウェアハウスからの転送に加えて、複数のサードパーティのソースに対応しています。データが移動されると、分析や機械学習、または単にウェアハウジングのために BigQuery 内で使用できます。