デベロッパー

Google Cloud にデータを転送する方法

Move Data

※この投稿は米国時間 2021 年 4 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

ビジネスのクラウド移行を決定してから、まず考慮するべき問題とは

クラウドへの移行に際して、問題となるのがデータ転送です。今回は、データを Google Cloud に転送する際に知っておくべきことと、利用できるツールをご紹介します。

データセンターの移行、機械学習、コンテンツの保存と配信、バックアップとアーカイブの要件など、さまざまな要因により、データを Google Cloud に移行する必要性に迫られることがあります。ロケーション間でデータを移動するときは、信頼性、予測可能性、スケーラビリティ、セキュリティ、管理性を考慮することが重要です。Google Cloud には、さまざまなユースケースにおけるこうした要件を満たす主要な転送ソリューションが 4 つ用意されています。

Google Cloud のデータ転送オプション

次の 4 つの主要なアプローチのいずれかを使用して、データを Google Cloud に転送できます。

  1. Cloud Storage 転送ツール - これらのツールは、パソコンから Google Cloud Storage にデータを直接アップロードする際に便利です。このオプションは通常、数 TB までの小規模な転送に使用します。たとえば、Google Cloud Console UIJSON APIGSUTIL コマンドライン インターフェースなどを利用します。GSUTIL はオープンソースのコマンドライン ユーティリティで、シェルからスクリプト転送できます。また、GCS バケットを管理することもできます。マルチスレッド、マルチ処理の大規模なデータ移動の場合は、差分コピーには rsync モードで、スクリプト出力の push にはストリーミング モードで動作します。マルチスレッドではない UNIX の cp(コピー)コマンドの代わりにご利用ください。

  2. Storage Transfer Service - このサービスを使用すると、他のクラウドやオンプレミス ソースから、または Google Cloud 内のバケット間でオンライン データを Cloud Storage にすばやくインポートできます。定期的な転送ジョブを設定して時間とリソースを節約でき、数十 Gbps までスケール可能です。お好みの言語で Storage Transfer API やクライアント ライブラリを使用して、転送ジョブの作成と管理を自動化できます。GSUTIL と比較すると、Storage Transfer Service は再試行を処理し、詳細な転送ロギングを提供するマネージド ソリューションになります。データが広帯域幅ネットワーク パイプを通じて送信されるため、データ転送は高速です。オンプレミス転送サービスは利用可能な最大帯域幅を利用し、パフォーマンスの最適化を適用することにより、転送時間を最小限に抑えます。

  3. Transfer Appliance - このオプションは、大規模なデータセットを移行する必要があり、帯域幅に十分な余裕がない場合に最適です。Transfer Appliance は、Google Cloud へのシームレスで安全かつ高速なデータ転送を可能にします。たとえば、Transfer Appliance を使用すれば、1 PB のデータ転送がわずか 40 日間で済みます。通常のネットワーク(100 Mbps)ではオンライン データ転送に 3 年もかかってしまいます。Transfer Appliance は、TA40(40 TB)と TA300(300 TB)の 2 つのフォーム ファクタで提供される筐体です。ご利用方法は簡単です。まず、Cloud Console から Transfer Appliance を注文します。注文したアプライアンスが届いたら、データをコピーし(NFS を介したファイルコピーを使用)、データを暗号化して保護します。最後に、アプライアンスを Google に返送すると、GCS バケットにデータが転送され、データがアプライアンスから消去されます。Transfer Appliance は SSD(ソリッド ステート ドライブ)のみを利用し、ソフトウェアを最小限に抑え、複数のネットワーク接続オプションを使用するため、パフォーマンスが著しく向上します。

  4. BigQuery Data Transfer Service - このオプションを使用すると、分析チームはコードを 1 行も書かずに、BigQuery データ ウェアハウスの基盤を構築できます。あらかじめ設定されたスケジュールに基づき、BigQuery へのデータ移動を自動化します。Google SaaS アプリや、外部クラウド ストレージ プロバイダ、Teradata や Amazon Redshift といったデータ ウェアハウスからの転送に加えて、複数のサードパーティのソースに対応しています。データが移動されると、分析や機械学習、または単にウェアハウジングのために BigQuery 内で使用できます。

まとめ

データ転送の利用目的が何であれ、信頼でき迅速かつ安全で一貫した方法で行うことが重要です。そして、移動する必要があるデータの量、データの場所、帯域幅を問わず、お客様に最適なオプションは存在します。詳細については、ドキュメントをご確認ください。

#GCPSketchnote の詳細については、GitHub リポジトリをフォローしてください。同様のクラウド コンテンツについては、Twitter で @pvergadia をフォローしてください。thecloudgirl.dev もぜひご覧ください。

-Google デベロッパー アドボケイト Priyanka Vergadia