Cloud Storage ではストリーミング転送がサポートされるため、データを最初にファイルに保存することなく、Cloud Storage アカウントと相互にデータのストリーミングを行うことができます。ストリーミング転送は、プロセスから生成されたデータを Cloud Storage に直接アップロードする場合や、Cloud Storage からプロセスにデータをダウンロードする場合に便利です。
gsutil コマンドライン ツールを使用してストリーミング転送を実行できます。サードパーティの Cloud Storage 向け Boto クライアント ライブラリ プラグインもストリーミング転送をサポートしています。
gsutil を使用したアップロードまたはダウンロード
gsutil を使用してプロセスから Cloud Storage オブジェクトへのストリーミング アップロードを行うには、データを gsutil cp コマンドに連結し、ソース URL に対してダッシュを使用します。
次の例では、collect_measurements プロセスによって生成されたデータを data_measurements Cloud Storage オブジェクトにストリーミングします。
collect_measurements | gsutil cp - gs://my_app_bucket/data_measurements
gsutil を使用して Cloud Storage オブジェクトからプロセスへのストリーミング ダウンロードを行うには、gsutil cp コマンドを実行し、ターゲット URL に対してダッシュを使用し、データをプロセスに連結します。
次の例では、data_measurements Cloud Storage オブジェクトから analyze_data プロセスにデータをストリーミングします。
gsutil cp gs://my_app_bucket/data_measurements - | analyze_data
Cloud Storage オブジェクトのデータを、sort などの Linux の標準コマンドにストリーミングすることもできます。
gsutil cp gs://my_app_bucket/data_measurements - | sort