O Cloud Storage é compatível com transferências por streaming, que permitem transmitir dados de e para sua conta do Cloud Storage sem que os dados precisem ser salvos em um arquivo. Transferências por streaming são úteis para fazer o upload de dados a partir de um processo diretamente no Cloud Storage ou para fazer o download de dados do Cloud Storage para um processo.
Execute transferências por streaming usando a ferramenta de linha de comando gsutil. O plug-in da biblioteca de cliente boto para Cloud Storage também aceita transferências por streaming.
Como realizar uploads e downloads por streaming com o gsutil
Para usar o gsutil para realizar um upload por streaming a partir de um processo para um objeto do Cloud Storage, direcione os dados para o comando gsutil cp
e use um traço para indicar o URL de origem.
Veja um exemplo de transferência por streaming dos dados produzidos pelo processo collect_measurements
para o objeto data_measurements
do Cloud Storage:
collect_measurements | gsutil cp - gs://my_app_bucket/data_measurements
Para usar o gsutil para executar um download por streaming de um objeto do Cloud Storage para um processo, execute o comando gsutil cp
e use um traço para indicar o URL de destino. Em seguida, direcione os dados para o processo.
Veja um exemplo de transferência por streaming dos dados do objeto data_measurements
do Cloud Storage para o processo analyze_data
:
gsutil cp gs://my_app_bucket/data_measurements - | analyze_data
Também é possível realizar a transferência por streaming dos dados de um objeto do Cloud Storage para um comando padrão do Linux, como sort:
gsutil cp gs://my_app_bucket/data_measurements - | sort