스트리밍 다운로드

Cloud Storage는 데이터를 먼저 파일에 저장할 필요 없이 버킷에서 프로세스로 데이터를 스트리밍할 수 있습니다.

스트리밍 시 체크섬 검증 사용

데이터에 액세스하기 전에 체크섬 검증이 필요한 경우 스트리밍 다운로드를 사용하면 안 됩니다. 스트리밍 다운로드는 Range 헤더를 사용하고 Cloud Storage는 이러한 요청에 대해 체크섬 검증을 수행하지 않기 때문입니다.

체크섬 검증을 항상 사용하는 것이 좋으며 스트리밍 다운로드가 완료된 후 수동으로 검증할 수 있습니다. 그러나 다운로드가 완료된 후에 검증하는 경우 손상을 확인하고 제거하는 동안에는 손상된 데이터에 액세스할 수 있습니다.

기본 요건

기본 요건은 사용되는 도구에 따라 다를 수 있습니다.

콘솔

Google Cloud 콘솔을 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 Google Cloud 콘솔에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

명령줄

명령줄 유틸리티를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 gcloud storage 명령어에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

클라이언트 라이브러리

Cloud Storage 클라이언트 라이브러리를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

달리 명시되지 않는 한 클라이언트 라이브러리 요청은 JSON API를 통해 수행되며 JSON 메서드에 대한 IAM 권한에 나열된 권한이 필요합니다. 클라이언트 라이브러리를 사용하여 요청할 때 호출되는 JSON API 메서드를 확인하려면 원시 요청을 로깅하세요.

관련 IAM 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

REST API

JSON API

JSON API를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.

특정 작업에 필요한 권한 목록은 JSON 메서드에 대한 IAM 권한을 참조하세요.

관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.

다운로드 스트리밍

다음 예시에서는 Cloud Storage 객체에서 프로세스로 다운로드를 수행하는 방법을 보여줍니다.

콘솔

Google Cloud 콘솔은 스트리밍 다운로드를 지원하지 않습니다. 대신 gcloud CLI를 사용하세요.

명령줄

1. 대상 URL에 대시를 사용하여 gcloud storage cp 명령어를 실행한 후 데이터를 프로세스로 파이핑합니다.

   gcloud storage cp gs://BUCKET_NAME/OBJECT_NAME - | PROCESS_NAME

   각 항목의 의미는 다음과 같습니다.

   • BUCKET_NAME은 객체가 포함된 버킷의 이름입니다. 예를 들면 my_app_bucket입니다.
   • OBJECT_NAME은 프로세스에 스트리밍하는 객체의 이름입니다. 예: data_measurements
   • PROCESS_NAME은 데이터를 제공하는 프로세스의 이름입니다. 예를 들면 analyze_data입니다.

Cloud Storage 객체의 데이터를 sort와 같은 표준 Linux 명령어로 스트리밍할 수도 있습니다.

gcloud storage cp gs://my_app_bucket/data_measurements - | sort

클라이언트 라이브러리

C++

자세한 내용은 Cloud Storage C++ API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

namespace gcs = ::google::cloud::storage;
[](gcs::Client client, std::string const& bucket_name,
   std::string const& object_name) {
  gcs::ObjectReadStream stream = client.ReadObject(bucket_name, object_name);

  int count = 0;
  std::string line;
  while (std::getline(stream, line, '\n')) {
    ++count;
  }
  if (stream.bad()) throw google::cloud::Status(stream.status());

  std::cout << "The object has " << count << " lines\n";
}

C#

자세한 내용은 Cloud Storage C# API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Cloud.Storage.V1;
using System;
using System.IO;

public class DownloadFileSample
{
    public void DownloadFile(
        string bucketName = "your-unique-bucket-name",
        string objectName = "my-file-name",
        string localPath = "my-local-path/my-file-name")
    {
        var storage = StorageClient.Create();
        using var outputFile = File.OpenWrite(localPath);
        storage.DownloadObject(bucketName, objectName, outputFile);
        Console.WriteLine($"Downloaded {objectName} to {localPath}.");
    }
}

Go

자세한 내용은 Cloud Storage Go API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import (
	"context"
	"fmt"
	"io"
	"io/ioutil"
	"time"

	"cloud.google.com/go/storage"
)

// downloadFileIntoMemory downloads an object.
func downloadFileIntoMemory(w io.Writer, bucket, object string) ([]byte, error) {
	// bucket := "bucket-name"
	// object := "object-name"
	ctx := context.Background()
	client, err := storage.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storage.NewClient: %w", err)
	}
	defer client.Close()

	ctx, cancel := context.WithTimeout(ctx, time.Second*50)
	defer cancel()

	rc, err := client.Bucket(bucket).Object(object).NewReader(ctx)
	if err != nil {
		return nil, fmt.Errorf("Object(%q).NewReader: %w", object, err)
	}
	defer rc.Close()

	data, err := ioutil.ReadAll(rc)
	if err != nil {
		return nil, fmt.Errorf("ioutil.ReadAll: %w", err)
	}
	fmt.Fprintf(w, "Blob %v downloaded.\n", object)
	return data, nil
}

Java

자세한 내용은 Cloud Storage Java API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.ReadChannel;
import com.google.cloud.storage.BlobId;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import com.google.common.io.ByteStreams;
import java.io.IOException;
import java.nio.channels.FileChannel;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;

public class StreamObjectDownload {

  public static void streamObjectDownload(
      String projectId, String bucketName, String objectName, String targetFile)
      throws IOException {
    // The ID of your GCP project
    // String projectId = "your-project-id";

    // The ID of your GCS bucket
    // String bucketName = "your-unique-bucket-name";

    // The ID of your GCS object
    // String objectName = "your-object-name";

    // The path to the file to download the object to
    // String targetFile = "path/to/your/file";
    Path targetFilePath = Paths.get(targetFile);

    Storage storage = StorageOptions.newBuilder().setProjectId(projectId).build().getService();
    try (ReadChannel reader = storage.reader(BlobId.of(bucketName, objectName));
        FileChannel targetFileChannel =
            FileChannel.open(targetFilePath, StandardOpenOption.WRITE)) {

      ByteStreams.copy(reader, targetFileChannel);

      System.out.println(
          "Downloaded object "
              + objectName
              + " from bucket "
              + bucketName
              + " to "
              + targetFile
              + " using a ReadChannel.");
    }
  }
}

Node.js

자세한 내용은 Cloud Storage Node.js API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The ID of your GCS file
// const fileName = 'your-file-name';

// The filename and file path where you want to download the file
// const destFileName = '/local/path/to/file.txt';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Creates a client
const storage = new Storage();

async function streamFileDownload() {
  // The example below demonstrates how we can reference a remote file, then
  // pipe its contents to a local file.
  // Once the stream is created, the data can be piped anywhere (process, sdout, etc)
  await storage
    .bucket(bucketName)
    .file(fileName)
    .createReadStream() //stream is created
    .pipe(fs.createWriteStream(destFileName))
    .on('finish', () => {
      // The file download is complete
    });

  console.log(
    `gs://${bucketName}/${fileName} downloaded to ${destFileName}.`
  );
}

streamFileDownload().catch(console.error);

PHP

자세한 내용은 Cloud Storage PHP API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

use Google\Cloud\Storage\StorageClient;

/**
 * Download an object from Cloud Storage and save it as a local file.
 *
 * @param string $bucketName The name of your Cloud Storage bucket.
 *        (e.g. 'my-bucket')
 * @param string $objectName The name of your Cloud Storage object.
 *        (e.g. 'my-object')
 * @param string $destination The local destination to save the object.
 *        (e.g. '/path/to/your/file')
 */
function download_object(string $bucketName, string $objectName, string $destination): void
{
    $storage = new StorageClient();
    $bucket = $storage->bucket($bucketName);
    $object = $bucket->object($objectName);
    $object->downloadToFile($destination);
    printf(
        'Downloaded gs://%s/%s to %s' . PHP_EOL,
        $bucketName,
        $objectName,
        basename($destination)
    );
}

Python

자세한 내용은 Cloud Storage Python API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

from google.cloud import storage


def download_blob_to_stream(bucket_name, source_blob_name, file_obj):
    """Downloads a blob to a stream or other file-like object."""

    # The ID of your GCS bucket
    # bucket_name = "your-bucket-name"

    # The ID of your GCS object (blob)
    # source_blob_name = "storage-object-name"

    # The stream or file (file-like object) to which the blob will be written
    # import io
    # file_obj = io.BytesIO()

    storage_client = storage.Client()

    bucket = storage_client.bucket(bucket_name)

    # Construct a client-side representation of a blob.
    # Note `Bucket.blob` differs from `Bucket.get_blob` in that it doesn't
    # retrieve metadata from Google Cloud Storage. As we don't use metadata in
    # this example, using `Bucket.blob` is preferred here.
    blob = bucket.blob(source_blob_name)
    blob.download_to_file(file_obj)

    print(f"Downloaded blob {source_blob_name} to file-like object.")

    return file_obj
    # Before reading from file_obj, remember to rewind with file_obj.seek(0).

Ruby

자세한 내용은 Cloud Storage Ruby API 참고 문서를 확인하세요.

Cloud Storage에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# Downloads a blob to a stream or other file-like object.

# The ID of your GCS bucket
# bucket_name = "your-unique-bucket-name"

# Name of a file in the Storage bucket
# file_name   = "some_file.txt"

# The stream or file (file-like object) to which the contents will be written
# local_file_obj = StringIO.new

require "google/cloud/storage"

storage = Google::Cloud::Storage.new
bucket  = storage.bucket bucket_name
file    = bucket.file file_name

file.download local_file_obj, verify: :none

# rewind the object before starting to read the downloaded contents
local_file_obj.rewind
puts "The full downloaded file contents are: #{local_file_obj.read.inspect}"

REST API

JSON API

스트리밍 다운로드를 수행하려면 다음 사항을 고려하여 객체 다운로드의 안내를 따르세요.

• 다운로드를 시작하기 전에 객체의 메타데이터를 검색하고 객체의 세대 번호를 저장합니다. 원본이 덮어써질 때 서로 다른 두 세대에서 데이터를 다운로드하지 않도록 각 요청에 이 세대 번호를 포함합니다.

• 요청의 Range 헤더를 사용하여 원하는 로컬 프로세스로 보낼 수 있는 전체 객체의 일부를 검색합니다.

• 전체 객체가 검색될 때까지 객체의 연속된 부분을 계속 요청합니다.

XML API

스트리밍 다운로드를 수행하려면 다음 사항을 고려하여 객체 다운로드의 안내를 따르세요.

• 다운로드를 시작하기 전에 객체의 메타데이터를 검색하고 객체의 세대 번호를 저장합니다. 원본이 덮어써질 때 서로 다른 두 세대에서 데이터를 다운로드하지 않도록 각 요청에 이 세대 번호를 포함합니다.

• 요청의 Range 헤더를 사용하여 원하는 로컬 프로세스로 보낼 수 있는 전체 객체의 일부를 검색합니다.

• 전체 객체가 검색될 때까지 객체의 연속된 부분을 계속 요청합니다.

다음 단계

• 업로드 스트리밍
• 압축 해제 트랜스코딩 자세히 알아보기
• 업로드 및 다운로드 자세히 알아보기