Cloud Storage는 스트리밍 전송을 지원하므로 데이터를 먼저 파일에 저장할 필요 없이 Cloud Storage 계정에서 데이터를 스트리밍할 수 있습니다. 스트리밍은 다음과 같은 경우에 유용합니다.
데이터를 업로드하려고 하지만 프로세스에서 업로드 데이터를 생성할 때 또는 즉시 객체를 압축할 때와 같이 업로드 시작 시점에 최종 크기를 알 수 없는 경우에 유용합니다.
Cloud Storage에서 프로세스로 데이터를 다운로드하려는 경우에 유용합니다.
스트리밍 시 체크섬 검증 사용
업로드 초기 요청에서만 체크섬을 제공할 수 있으므로 스트리밍 시 Cloud Storage의 체크섬 검증을 활용할 수 없는 경우가 많습니다. 체크섬 검증을 항상 사용하는 것이 좋으며 스트리밍 업로드가 완료된 후 수동으로 검증할 수 있습니다. 그러나 이전이 완료된 후에 검증하는 경우 손상을 확인하고 제거하는 동안에는 손상된 데이터에 액세스할 수 있습니다.
업로드가 완료되고 데이터에 액세스할 수 있게 되기 전에 체크섬 검증이 필요한 경우 스트리밍 업로드를 사용하면 안 됩니다. 객체를 완료하기 전에 체크섬 검증을 수행하는 다른 업로드 옵션을 사용해야 합니다.
마찬가지로 다운로드가 완료되고 데이터에 액세스할 수 있게 되기 전에 체크섬 검증이 필요한 경우 스트리밍 다운로드를 사용하면 안 됩니다.
스트리밍 다운로드는 Range
헤더를 사용하고 Cloud Storage는 이러한 요청에 대해 체크섬 검증을 수행하지 않기 때문입니다.
기본 요건
기본 요건은 사용되는 도구에 따라 다를 수 있습니다.
콘솔
Google Cloud 콘솔을 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.
특정 작업에 필요한 권한 목록은 Google Cloud 콘솔에 대한 IAM 권한을 참조하세요.
관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.
명령줄
명령줄 유틸리티를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.
특정 작업에 필요한 권한 목록은 gsutil 명령어에 대한 IAM 권한을 참조하세요.
관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.
코드 샘플
Cloud Storage 클라이언트 라이브러리를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다. 달리 명시되지 않는 한 클라이언트 라이브러리 요청은 JSON API를 통해 수행됩니다.
특정 작업에 필요한 권한 목록은 JSON 메서드에 대한 IAM 권한을 참조하세요.
관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.
REST API
JSON API
JSON API를 사용하여 이 가이드를 완료하려면 적절한 IAM 권한이 있어야 합니다. 스트리밍을 위해 액세스하려는 버킷이 자신이 만들지 않은 프로젝트에 존재하는 경우 프로젝트 소유자가 필요한 권한이 포함된 역할을 부여해야 할 수 있습니다.
특정 작업에 필요한 권한 목록은 JSON 메서드에 대한 IAM 권한을 참조하세요.
관련 역할 목록은 Cloud Storage 역할을 참조하세요. 또는 특별히 제한된 권한이 있는 커스텀 역할을 만들 수 있습니다.
업로드 스트리밍
다음 예시에서는 프로세스에서 Cloud Storage 객체로 스트리밍 업로드를 수행하는 방법을 보여줍니다.
콘솔
Google Cloud 콘솔은 스트리밍 업로드를 지원하지 않습니다. 대신 gcloud CLI를 사용하세요.
명령줄
gcloud
데이터를
gcloud storage cp
명령어로 파이핑하고 소스 URL에 대시를 사용합니다.PROCESS_NAME | gcloud storage cp - gs://BUCKET_NAME/OBJECT_NAME
각 항목의 의미는 다음과 같습니다.
PROCESS_NAME
은 데이터를 수집하는 프로세스의 이름입니다. 예:collect_measurements
BUCKET_NAME
은 객체가 포함된 버킷의 이름입니다. 예를 들면my_app_bucket
입니다.OBJECT_NAME
은 데이터에서 생성된 객체의 이름입니다. 예를 들면data_measurements
입니다.
gsutil
데이터를
gsutil cp
명령어로 파이핑하고 소스 URL에 대시를 사용합니다.PROCESS_NAME | gsutil cp - gs://BUCKET_NAME/OBJECT_NAME
각 항목의 의미는 다음과 같습니다.
PROCESS_NAME
은 데이터를 수집하는 프로세스의 이름입니다. 예:collect_measurements
BUCKET_NAME
은 객체가 포함된 버킷의 이름입니다. 예를 들면my_app_bucket
입니다.OBJECT_NAME
은 데이터에서 생성된 객체의 이름입니다. 예를 들면data_measurements
입니다.
코드 샘플
C++
자세한 내용은 Cloud Storage C++ API 참조 문서를 확인하세요.
C#
자세한 내용은 Cloud Storage C# API 참조 문서를 확인하세요.
Go
자세한 내용은 Cloud Storage Go API 참조 문서를 확인하세요.
Java
자세한 내용은 Cloud Storage Java API 참조 문서를 확인하세요.
Node.js
자세한 내용은 Cloud Storage Node.js API 참조 문서를 확인하세요.
PHP
자세한 내용은 Cloud Storage PHP API 참조 문서를 확인하세요.
Python
자세한 내용은 Cloud Storage Python API 참조 문서를 확인하세요.
Ruby
자세한 내용은 Cloud Storage Ruby API 참조 문서를 확인하세요.
REST API
JSON API
스트리밍 업로드를 수행하려면 다음 사항을 고려하여 재개 가능한 업로드 수행의 안내를 따르세요.
파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.
마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의
Content-Range
헤더에는 전체 파일 크기에*
를 사용합니다.예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의
Content-Range
헤더는bytes 0-524287/*
입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이bytes 524288-588287/588288
인Content-Range
헤더가 있는 최종 청크를 전송합니다.
XML API
스트리밍 업로드를 수행하려면 다음 방법 중 하나를 사용하세요.
다음 사항을 조정하여 재개 가능한 업로드를 수행합니다.
파일 데이터 자체를 업로드하는 경우 여러 청크 업로드를 사용합니다.
마지막 청크에 도달할 때까지 총 파일 크기를 알 수 없으므로 중간 청크의
Content-Range
헤더에는 전체 파일 크기에*
를 사용합니다.예를 들어 업로드하는 첫 번째 청크 크기가 512KiB인 경우 청크의
Content-Range
헤더는bytes 0-524287/*
입니다. 첫 번째 청크 이후에 업로드에 64,000바이트가 남아 있으면 나머지 바이트가 포함되어 있고 값이bytes 524288-588287/588288
인Content-Range
헤더가 있는 최종 청크를 전송합니다.
다운로드 스트리밍
다음 예시에서는 Cloud Storage 객체에서 프로세스로 다운로드를 수행하는 방법을 보여줍니다.
콘솔
Google Cloud 콘솔은 스트리밍 다운로드를 지원하지 않습니다. 대신 gcloud CLI를 사용하세요.
명령줄
gcloud
대상 URL에 대시를 사용하여
gcloud storage cp
명령어를 실행한 후 데이터를 프로세스로 파이핑합니다.gcloud storage cp gs://BUCKET_NAME/OBJECT_NAME - | PROCESS_NAME
각 항목의 의미는 다음과 같습니다.
BUCKET_NAME
은 객체가 포함된 버킷의 이름입니다. 예를 들면my_app_bucket
입니다.OBJECT_NAME
은 프로세스에 스트리밍하는 객체의 이름입니다. 예:data_measurements
PROCESS_NAME
은 데이터를 제공하는 프로세스의 이름입니다. 예를 들면analyze_data
입니다.
Cloud Storage 객체의 데이터를 sort와 같은 표준 Linux 명령어로 스트리밍할 수도 있습니다.
gcloud storage cp gs://my_app_bucket/data_measurements - | sort
gsutil
대상 URL에 대시를 사용하여
gsutil cp
명령어를 실행한 후 데이터를 프로세스로 파이핑합니다.gsutil cp gs://BUCKET_NAME/OBJECT_NAME - | PROCESS_NAME
각 항목의 의미는 다음과 같습니다.
BUCKET_NAME
은 객체가 포함된 버킷의 이름입니다. 예를 들면my_app_bucket
입니다.OBJECT_NAME
은 프로세스에 스트리밍하는 객체의 이름입니다. 예:data_measurements
PROCESS_NAME
은 데이터를 제공하는 프로세스의 이름입니다. 예를 들면analyze_data
입니다.
Cloud Storage 객체의 데이터를 sort와 같은 표준 Linux 명령어로 스트리밍할 수도 있습니다.
gsutil cp gs://my_app_bucket/data_measurements - | sort
코드 샘플
C++
자세한 내용은 Cloud Storage C++ API 참조 문서를 확인하세요.
C#
자세한 내용은 Cloud Storage C# API 참조 문서를 확인하세요.
Go
자세한 내용은 Cloud Storage Go API 참조 문서를 확인하세요.
Java
자세한 내용은 Cloud Storage Java API 참조 문서를 확인하세요.
Node.js
자세한 내용은 Cloud Storage Node.js API 참조 문서를 확인하세요.
PHP
자세한 내용은 Cloud Storage PHP API 참조 문서를 확인하세요.
Python
자세한 내용은 Cloud Storage Python API 참조 문서를 확인하세요.
Ruby
자세한 내용은 Cloud Storage Ruby API 참조 문서를 확인하세요.
REST API
JSON API
스트리밍 다운로드를 수행하려면 다음 사항을 고려하여 객체 다운로드의 안내를 따르세요.
다운로드를 시작하기 전에 객체의 메타데이터를 검색하고 객체의 세대 번호를 저장합니다. 원본이 덮어써질 때 서로 다른 두 세대에서 데이터를 다운로드하지 않도록 각 요청에 이 세대 번호를 포함합니다.
요청의
Range
헤더를 사용하여 원하는 로컬 프로세스로 보낼 수 있는 전체 객체의 일부를 검색합니다.전체 객체가 검색될 때까지 객체의 연속된 부분을 계속 요청합니다.
XML API
스트리밍 다운로드를 수행하려면 다음 사항을 고려하여 객체 다운로드의 안내를 따르세요.
다운로드를 시작하기 전에 객체의 메타데이터를 검색하고 객체의 세대 번호를 저장합니다. 원본이 덮어써질 때 서로 다른 두 세대에서 데이터를 다운로드하지 않도록 각 요청에 이 세대 번호를 포함합니다.
요청의
Range
헤더를 사용하여 원하는 로컬 프로세스로 보낼 수 있는 전체 객체의 일부를 검색합니다.전체 객체가 검색될 때까지 객체의 연속된 부분을 계속 요청합니다.
다음 단계
- 압축 해제 트랜스코딩 자세히 알아보기
- 업로드 및 다운로드 자세히 알아보기