스트리밍 전송

Cloud Storage는 스트리밍 전송을 지원하므로 데이터를 먼저 파일에 저장할 필요 없이 Cloud Storage 계정에서 데이터를 스트리밍할 수 있습니다.

스트리밍 업로드는 프로세스에서 업로드 데이터를 생성할 때 또는 객체를 즉시 압축할 때와 같이 업로드 시작 시에 최종 크기를 알 수 없는 데이터를 업로드하는 경우에 유용합니다.

스트리밍 다운로드는 Cloud Storage에서 프로세스로 데이터를 다운로드할 때 유용합니다.

스트리밍 업로드

다음 예시에서는 프로세스에서 Cloud Storage 객체로 스트리밍 업로드를 수행하는 방법을 보여줍니다.

gsutil

  1. 데이터를 gsutil cp 명령어로 파이핑하고 소스 URL에 대시를 사용합니다.

    PROCESS_NAME | gsutil cp - gs://BUCKET_NAME/OBJECT_NAME

    각 항목의 의미는 다음과 같습니다.

    • PROCESS_NAME은 데이터를 수집하는 프로세스의 이름입니다. 예를 들면 collect_measurements입니다.
    • BUCKET_NAME은 객체가 포함된 버킷의 이름입니다. 예를 들면 my_app_bucket입니다.
    • OBJECT_NAME은 데이터에서 생성된 객체의 이름입니다. 예를 들면 data_measurements입니다.

코드 샘플

C++

자세한 내용은 Cloud Storage C++ API 참조 문서를 확인하세요.

namespace gcs = ::google::cloud::storage;
using ::google::cloud::StatusOr;
[](gcs::Client client, std::string const& bucket_name,
   std::string const& object_name, int desired_line_count) {
  std::string const text = "Lorem ipsum dolor sit amet";
  gcs::ObjectWriteStream stream =
      client.WriteObject(bucket_name, object_name);

  for (int lineno = 0; lineno != desired_line_count; ++lineno) {
    // Add 1 to the counter, because it is conventional to number lines
    // starting at 1.
    stream << (lineno + 1) << ": " << text << "\n";
  }

  stream.Close();

  StatusOr<gcs::ObjectMetadata> metadata = std::move(stream).metadata();
  if (!metadata) throw std::runtime_error(metadata.status().message());
  std::cout << "Successfully wrote to object " << metadata->name()
            << " its size is: " << metadata->size()
            << "\nFull metadata: " << *metadata << "\n";
}

C#

자세한 내용은 Cloud Storage C# API 참조 문서를 확인하세요.

C#을 사용하여 객체 업로드를 스트리밍하려면 SimpleUpload 참조 문서를 확인하세요.

Go

자세한 내용은 Cloud Storage Go API 참조 문서를 확인하세요.

Go를 사용하여 객체 업로드를 스트리밍하려면 NewWriter 참조 문서를 확인하세요.

Go는 업로드 및 다운로드하는 데 표준 io.Writerio.Reader 인터페이스를 각각 사용하며 두 인터페이스 모두 스트리밍할 수 있습니다.

자바

자세한 내용은 Cloud Storage 자바 API 참조 문서를 확인하세요.

자바를 사용하여 객체 업로드를 스트리밍하려면 writer 참조 문서를 확인하세요.

Node.js

자세한 내용은 Cloud Storage Node.js API 참조 문서를 확인하세요.

/**
 * TODO(developer): Uncomment the following lines before running the sample
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The new ID for your GCS file
// const destFileName = 'your-new-file-name';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Import Node.js stream
const stream = require('stream');

// Creates a client
const storage = new Storage();

// Get a reference to the bucket
const myBucket = storage.bucket(bucketName);

// Create a reference to a file object
const file = myBucket.file(destFileName);

// Create a pass through stream from a string
const passthroughStream = new stream.PassThrough();
passthroughStream.write('input text');
passthroughStream.end();

async function streamFileUpload() {
  passthroughStream.pipe(file.createWriteStream()).on('finish', () => {
    // The file upload is complete
  });

  console.log(`${destFileName} uploaded to ${bucketName}`);
}

streamFileUpload().catch(console.error);

PHP

자세한 내용은 Cloud Storage PHP API 참조 문서를 확인하세요.

PHP를 사용하여 객체 업로드를 스트리밍하려면 upload 참조 문서를 확인하세요.

Python

자세한 내용은 Cloud Storage Python API 참조 문서를 확인하세요.

Python을 사용하여 객체 업로드를 스트리밍하려면 ResumableUploads 참조 문서를 확인하세요.

Ruby

자세한 내용은 Cloud Storage Ruby API 참조 문서를 확인하세요.

현재 Ruby 클라이언트 라이브러리를 사용하여 스트리밍 업로드를 수행할 수 없습니다.

REST API

JSON API

스트리밍 업로드를 수행하려면 다음 사항을 고려하여 재개 가능한 업로드 수행의 안내를 따르세요.

  • 파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.

  • 마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의 Content-Range 헤더에는 전체 파일 크기에 *를 사용합니다.

    예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의 Content-Range 헤더는 bytes 0-524287/*입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이 bytes 524288-588287/588288Content-Range 헤더가 있는 최종 청크를 전송합니다.

XML API

스트리밍 업로드를 수행하려면 다음 방법 중 하나를 사용하세요.

  • XML API 멀티파트 업로드

  • 다음 사항을 조정하여 재개 가능한 업로드를 수행합니다.

    • 파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.

    • 마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의 Content-Range 헤더에는 전체 파일 크기에 *를 사용합니다.

      예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의 Content-Range 헤더는 bytes 0-524287/*입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이 bytes 524288-588287/588288Content-Range 헤더가 있는 최종 청크를 전송합니다.

스트리밍 다운로드

다음 예시에서는 Cloud Storage 객체에서 프로세스로 다운로드를 수행하는 방법을 보여줍니다.

gsutil

  1. 대상 URL에 대시를 사용하여 gsutil cp 명령어를 실행한 후 데이터를 프로세스로 파이핑합니다.

    gsutil cp gs://BUCKET_NAME/OBJECT_NAME - | PROCESS_NAME

    각 항목의 의미는 다음과 같습니다.

    • BUCKET_NAME은 객체가 포함된 버킷의 이름입니다. 예를 들면 my_app_bucket입니다.
    • OBJECT_NAME은 프로세스에 스트리밍하는 객체의 이름입니다. 예를 들면 data_measurements입니다.
    • PROCESS_NAME은 데이터를 제공하는 프로세스의 이름입니다. 예를 들면 analyze_data입니다.

Cloud Storage 객체의 데이터를 sort와 같은 표준 Linux 명령어로 스트리밍할 수도 있습니다.

gsutil cp gs://my_app_bucket/data_measurements - | sort

코드 샘플

C++

자세한 내용은 Cloud Storage C++ API 참조 문서를 확인하세요.

C++를 사용하여 객체 다운로드를 스트리밍하려면 ReadObject 참조 문서를 확인하세요.

C#

자세한 내용은 Cloud Storage C# API 참조 문서를 확인하세요.

C#을 사용하여 객체 다운로드를 스트리밍하려면 SimpleDownload 참조 문서를 확인하세요.

Go

자세한 내용은 Cloud Storage Go API 참조 문서를 확인하세요.

Go를 사용하여 객체 다운로드를 스트리밍하려면 NewReader 참조 문서를 확인하세요.

Go는 업로드 및 다운로드하는 데 표준 io.Writerio.Reader 인터페이스를 각각 사용하며 두 인터페이스 모두 스트리밍할 수 있습니다.

자바

자세한 내용은 Cloud Storage 자바 API 참조 문서를 확인하세요.

자바를 사용하여 객체 다운로드를 스트리밍하려면 reader 참조 문서를 확인하세요.

Node.js

자세한 내용은 Cloud Storage Node.js API 참조 문서를 확인하세요.

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The ID of your GCS file
// const fileName = 'your-file-name';

// The filename and file path where you want to download the file
// const destFileName = '/local/path/to/file.txt';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Creates a client
const storage = new Storage();

async function streamFileDownload() {
  // The example below demonstrates how we can reference a remote file, then
  // pipe its contents to a local file.
  // Once the stream is created, the data can be piped anywhere (process, sdout, etc)
  await storage
    .bucket(bucketName)
    .file(fileName)
    .createReadStream() //stream is created
    .pipe(fs.createWriteStream(destFileName))
    .on('finish', () => {
      // The file download is complete
    });

  console.log(
    `gs://${bucketName}/${fileName} downloaded to ${destFileName}.`
  );
}

streamFileDownload().catch(console.error);

PHP

자세한 내용은 Cloud Storage PHP API 참조 문서를 확인하세요.

PHP를 사용하여 객체 다운로드를 스트리밍하려면 downloadAsStreams 참조 문서를 확인하세요.

Python

자세한 내용은 Cloud Storage Python API 참조 문서를 확인하세요.

Python을 사용하여 객체 다운로드를 스트리밍하려면 ChunkedDownload 참조 문서를 확인하세요.

Ruby

자세한 내용은 Cloud Storage Ruby API 참조 문서를 확인하세요.

현재 Ruby 클라이언트 라이브러리를 사용하여 스트리밍 다운로드를 수행할 수 없습니다.

다음 단계