스트리밍 업로드

Cloud Storage는 데이터를 먼저 파일에 저장할 필요 없이 버킷에 데이터를 스트리밍할 수 있습니다. 데이터를 업로드하려고 하지만 프로세스에서 업로드 데이터를 생성할 때 또는 즉시 객체를 압축할 때와 같이 업로드 시작 시점에 최종 크기를 알 수 없는 경우에 유용합니다.

스트리밍 시 체크섬 검증 사용

업로드 초기 요청에서만 체크섬을 제공할 수 있으므로 스트리밍 시 Cloud Storage의 체크섬 검증을 사용할 수 없는 경우가 많습니다. 체크섬 검증을 항상 사용하는 것이 좋으며 스트리밍 업로드가 완료된 후 수동으로 검증할 수 있습니다. 그러나 이전이 완료된 후에 검증하는 경우 손상을 확인하고 제거하는 동안에는 손상된 데이터에 액세스할 수 있습니다.

업로드가 완료되고 데이터에 액세스할 수 있게 되기 전에 체크섬 검증이 필요한 경우 스트리밍 업로드를 사용하면 안 됩니다. 객체를 완료하기 전에 체크섬 검증을 수행하는 다른 업로드 옵션을 사용해야 합니다.

기본 요건

기본 요건은 사용되는 도구에 따라 다를 수 있습니다.

콘솔

Google Cloud 콘솔을 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 Google Cloud 콘솔에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

명령줄

명령줄 유틸리티를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 gcloud storage 명령어에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

클라이언트 라이브러리

Cloud Storage 클라이언트 라이브러리를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

달리 명시되지 않는 한 클라이언트 라이브러리 요청은 JSON API를 통해 수행되며 JSON 메서드에 대한 IAM 권한에 나열된 권한이 필요합니다. 클라이언트 라이브러리를 사용하여 요청할 때 호출되는 JSON API 메서드를 확인하려면 원시 요청을 로깅하세요.

관련 IAM 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

REST API

JSON API

JSON API를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 JSON 메서드에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

업로드 스트리밍

다음 예시에서는 프로세스에서 Cloud Storage 객체로 스트리밍 업로드를 수행하는 방법을 보여줍니다.

콘솔

Google Cloud 콘솔은 스트리밍 업로드를 지원하지 않습니다. 대신 gcloud CLI를 사용하세요.

명령줄

1. 데이터를 gcloud storage cp 명령어로 파이핑하고 소스 URL에 대시를 사용합니다.

   PROCESS_NAME | gcloud storage cp - gs://BUCKET_NAME/OBJECT_NAME

   각 항목의 의미는 다음과 같습니다.

   • PROCESS_NAME은 데이터를 수집하는 프로세스의 이름입니다. 예: collect_measurements
   • BUCKET_NAME은 객체가 포함된 버킷의 이름입니다. 예를 들면 my_app_bucket입니다.
   • OBJECT_NAME은 데이터에서 생성된 객체의 이름입니다. 예를 들면 data_measurements입니다.

클라이언트 라이브러리

C++

자세한 내용은 Cloud Storage C++ API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

namespace gcs = ::google::cloud::storage;
using ::google::cloud::StatusOr;
[](gcs::Client client, std::string const& bucket_name,
   std::string const& object_name, int desired_line_count) {
  std::string const text = "Lorem ipsum dolor sit amet";
  gcs::ObjectWriteStream stream =
      client.WriteObject(bucket_name, object_name);

  for (int lineno = 0; lineno != desired_line_count; ++lineno) {
    // Add 1 to the counter, because it is conventional to number lines
    // starting at 1.
    stream << (lineno + 1) << ": " << text << "\n";
  }

  stream.Close();

  StatusOr<gcs::ObjectMetadata> metadata = std::move(stream).metadata();
  if (!metadata) throw std::move(metadata).status();
  std::cout << "Successfully wrote to object " << metadata->name()
            << " its size is: " << metadata->size()
            << "\nFull metadata: " << *metadata << "\n";
}

C#

자세한 내용은 Cloud Storage C# API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Cloud.Storage.V1;
using System;
using System.IO;

public class UploadFileSample
{
    public void UploadFile(
        string bucketName = "your-unique-bucket-name",
        string localPath = "my-local-path/my-file-name",
        string objectName = "my-file-name")
    {
        var storage = StorageClient.Create();
        using var fileStream = File.OpenRead(localPath);
        storage.UploadObject(bucketName, objectName, null, fileStream);
        Console.WriteLine($"Uploaded {objectName}.");
    }
}

Go

자세한 내용은 Cloud Storage Go API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import (
	"bytes"
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/storage"
)

// streamFileUpload uploads an object via a stream.
func streamFileUpload(w io.Writer, bucket, object string) error {
	// bucket := "bucket-name"
	// object := "object-name"
	ctx := context.Background()
	client, err := storage.NewClient(ctx)
	if err != nil {
		return fmt.Errorf("storage.NewClient: %w", err)
	}
	defer client.Close()

	b := []byte("Hello world.")
	buf := bytes.NewBuffer(b)

	ctx, cancel := context.WithTimeout(ctx, time.Second*50)
	defer cancel()

	// Upload an object with storage.Writer.
	wc := client.Bucket(bucket).Object(object).NewWriter(ctx)
	wc.ChunkSize = 0 // note retries are not supported for chunk size 0.

	if _, err = io.Copy(wc, buf); err != nil {
		return fmt.Errorf("io.Copy: %w", err)
	}
	// Data can continue to be added to the file until the writer is closed.
	if err := wc.Close(); err != nil {
		return fmt.Errorf("Writer.Close: %w", err)
	}
	fmt.Fprintf(w, "%v uploaded to %v.\n", object, bucket)

	return nil
}

Java

자세한 내용은 Cloud Storage Java API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.WriteChannel;
import com.google.cloud.storage.BlobId;
import com.google.cloud.storage.BlobInfo;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.charset.StandardCharsets;

public class StreamObjectUpload {

  public static void streamObjectUpload(
      String projectId, String bucketName, String objectName, String contents) throws IOException {
    // The ID of your GCP project
    // String projectId = "your-project-id";

    // The ID of your GCS bucket
    // String bucketName = "your-unique-bucket-name";

    // The ID of your GCS object
    // String objectName = "your-object-name";

    // The string of contents you wish to upload
    // String contents = "Hello world!";

    Storage storage = StorageOptions.newBuilder().setProjectId(projectId).build().getService();
    BlobId blobId = BlobId.of(bucketName, objectName);
    BlobInfo blobInfo = BlobInfo.newBuilder(blobId).build();
    byte[] content = contents.getBytes(StandardCharsets.UTF_8);
    try (WriteChannel writer = storage.writer(blobInfo)) {
      writer.write(ByteBuffer.wrap(content));
      System.out.println(
          "Wrote to " + objectName + " in bucket " + bucketName + " using a WriteChannel.");
    }
  }
}

Node.js

자세한 내용은 Cloud Storage Node.js API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

/**
 * TODO(developer): Uncomment the following lines before running the sample
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The new ID for your GCS file
// const destFileName = 'your-new-file-name';

// The content to be uploaded in the GCS file
// const contents = 'your file content';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Import Node.js stream
const stream = require('stream');

// Creates a client
const storage = new Storage();

// Get a reference to the bucket
const myBucket = storage.bucket(bucketName);

// Create a reference to a file object
const file = myBucket.file(destFileName);

// Create a pass through stream from a string
const passthroughStream = new stream.PassThrough();
passthroughStream.write(contents);
passthroughStream.end();

async function streamFileUpload() {
  passthroughStream.pipe(file.createWriteStream()).on('finish', () => {
    // The file upload is complete
  });

  console.log(`${destFileName} uploaded to ${bucketName}`);
}

streamFileUpload().catch(console.error);

PHP

자세한 내용은 Cloud Storage PHP API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

use Google\Cloud\Storage\StorageClient;
use Google\Cloud\Storage\WriteStream;

/**
 * Upload a chunked file stream.
 *
 * @param string $bucketName The name of your Cloud Storage bucket.
 *        (e.g. 'my-bucket')
 * @param string $objectName The name of your Cloud Storage object.
 *        (e.g. 'my-object')
 * @param string $contents The contents to upload via stream chunks.
 *        (e.g. 'these are my contents')
 */
function upload_object_stream(string $bucketName, string $objectName, string $contents): void
{
    $storage = new StorageClient();
    $bucket = $storage->bucket($bucketName);
    $writeStream = new WriteStream(null, [
        'chunkSize' => 1024 * 256, // 256KB
    ]);
    $uploader = $bucket->getStreamableUploader($writeStream, [
        'name' => $objectName,
    ]);
    $writeStream->setUploader($uploader);
    $stream = fopen('data://text/plain,' . $contents, 'r');
    while (($line = stream_get_line($stream, 1024 * 256)) !== false) {
        $writeStream->write($line);
    }
    $writeStream->close();

    printf('Uploaded %s to gs://%s/%s' . PHP_EOL, $contents, $bucketName, $objectName);
}

Python

자세한 내용은 Cloud Storage Python API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

from google.cloud import storage


def upload_blob_from_stream(bucket_name, file_obj, destination_blob_name):
    """Uploads bytes from a stream or other file-like object to a blob."""
    # The ID of your GCS bucket
    # bucket_name = "your-bucket-name"

    # The stream or file (file-like object) from which to read
    # import io
    # file_obj = io.BytesIO()
    # file_obj.write(b"This is test data.")

    # The desired name of the uploaded GCS object (blob)
    # destination_blob_name = "storage-object-name"

    # Construct a client-side representation of the blob.
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)

    # Rewind the stream to the beginning. This step can be omitted if the input
    # stream will always be at a correct position.
    file_obj.seek(0)

    # Upload data from the stream to your bucket.
    blob.upload_from_file(file_obj)

    print(
        f"Stream data uploaded to {destination_blob_name} in bucket {bucket_name}."
    )

Ruby

자세한 내용은 Cloud Storage Ruby API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# The ID of your GCS bucket
# bucket_name = "your-unique-bucket-name"

# The stream or file (file-like object) from which to read
# local_file_obj = StringIO.new "This is test data."

# Name of a file in the Storage bucket
# file_name   = "some_file.txt"

require "google/cloud/storage"

storage = Google::Cloud::Storage.new
bucket  = storage.bucket bucket_name

local_file_obj.rewind
bucket.create_file local_file_obj, file_name

puts "Stream data uploaded to #{file_name} in bucket #{bucket_name}"

REST API

JSON API

스트리밍 업로드를 수행하려면 다음 사항을 고려하여 재개 가능한 업로드 수행의 안내를 따르세요.

• 파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.

• 마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의 Content-Range 헤더에는 전체 파일 크기에 *를 사용합니다.

  예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의 Content-Range 헤더는 bytes 0-524287/*입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이 bytes 524288-588287/588288인 Content-Range 헤더가 있는 최종 청크를 전송합니다.

XML API

스트리밍 업로드를 수행하려면 다음 방법 중 하나를 사용하세요.

• XML API 멀티파트 업로드

• 다음 사항을 조정하여 재개 가능한 업로드를 수행합니다.

  • 파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.

  • 마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의 Content-Range 헤더에는 전체 파일 크기에 *를 사용합니다.

    예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의 Content-Range 헤더는 bytes 0-524287/*입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이 bytes 524288-588287/588288인 Content-Range 헤더가 있는 최종 청크를 전송합니다.

다음 단계

• 다운로드 스트리밍
• 압축 해제 트랜스코딩 자세히 알아보기
• 업로드 및 다운로드 자세히 알아보기