개요

이 페이지에서는 Storage Transfer Service에 대해 설명합니다.

기타 Google Cloud 전송 옵션은 다음과 같습니다.

Storage Transfer Service란 무엇인가요?

Storage Transfer Service는 다음과 같은 기능을 제공합니다.

  • 다른 클라우드 스토리지 공급업체 또는 온프레미스 스토리지에서 Cloud Storage 버킷으로 데이터를 이동하거나 백업합니다.

  • 데이터를 여러 사용자 그룹 또는 애플리케이션에서 사용할 수 있도록 Cloud Storage 버킷 하나에서 다른 버킷으로 이동합니다.

  • 데이터 처리 파이프라인 또는 분석 워크플로의 일환으로 데이터를 정기적으로 이동합니다.

Storage Transfer Service는 더욱 간편하게 데이터 전송 및 동기화를 할 수 있게 해주는 옵션을 제공합니다. 관련 예시는 아래와 같습니다.

  • 일회성 전송 작업이나 반복적인 전송 작업 일정을 예약합니다.

  • 소스에 해당 객체가 없으면 대상 버킷의 기존 객체를 삭제합니다.

  • 데이터 소스 객체를 전송한 후 삭제합니다.

  • 파일 생성 날짜, 파일 이름, 데이터 가져오기 작업에 선호하는 요일을 기준으로 고급 필터를 사용하여 데이터 소스와 데이터 싱크 간에 주기적인 동기화 일정을 예약합니다.

Storage Transfer Service는 기본적으로 다음을 수행합니다.

  • 파일이 데이터 싱크에 없거나 소스와 싱크의 버전이 틀리면 Storage Transfer Service는 데이터 소스에서 파일을 복사합니다.

  • 전송 작업 후 소스에 파일을 보관합니다.

  • HTTP 연결에 TLS 암호화를 사용합니다. URL 목록 전송에 HTTP URL을 지정하는 경우만 예외입니다.

Storage Transfer Service의 권한 및 역할 요구사항

Storage Transfer Service는 ID 및 액세스 관리를 사용하여 액세스를 제어하고 관리합니다. IAM에 대한 자세한 내용은 IAM 개요를 참조하세요.

Storage Transfer Service를 사용하려면 수행 중인 작업 유형에 따라 다음 IAM 역할 중 하나 이상을 부여받아야 합니다.

액세스 유형 IAM 역할
전체 액세스 저장소 전송 관리자
전송 제출 저장소 전송 사용자
전송 작업(Job) 및 작업(Operation) 보기 또는 나열 저장소 전송 뷰어

전송 작업을 만드는 데 사용하는 프로젝트는 데이터 소스 또는 데이터 싱크 역할을 하는 버킷과 연결될 필요는 없지만 데이터 소스와 데이터 싱크를 구성하고 사용하려면 추가 권한이 필요합니다.

Storage Transfer Service 역할과 권한에 대한 자세한 내용은 데이터 소스 및 싱크에 대한 액세스 구성을 참조하세요.

사용 가능한 인터페이스

Storage Transfer Service를 사용하는 방법에는 여러 가지가 있습니다.

  • Google Cloud Console을 사용하여 전송 작업을 만들고 관리하세요. Storage Transfer Service를 사용하는 가장 쉽고 빠른 방법입니다. 자세한 내용은 Console로 전송 만들기 및 관리를 참조하세요.

  • REST API를 사용하여 Storage Transfer Service API에서 직접 작업합니다. API를 사용 설정하고 요청을 사용할 인증 토큰을 가져오는 방법에 대한 자세한 내용은 Storage Transfer Service 클라이언트 만들기를 참조하세요.

데이터 무결성

Storage Transfer Service는 체크섬 및 파일 크기와 같은 소스 스토리지 시스템에서 사용할 수 있는 메타데이터를 사용하여 Cloud Storage에 쓰인 데이터가 소스에서 읽은 데이터와 동일한 지 확인합니다.

체크섬 메타데이터를 사용할 수 있는 경우

소스 스토리지 시스템의 체크섬 메타데이터에 수신된 데이터 전송 서비스가 소스 데이터와 일치하지 않는다고 표시되면 Storage Transfer Service는 전송 작업의 실패를 기록합니다. 체크섬 메타데이터가 포함된 스토리지 시스템의 예로는 대부분의 Amazon Simple Storage Service(Amazon S3) 및 Microsoft Azure Blob Storage 객체(일부 예외 있음)와 HTTP 전송(체크섬 메타데이터는 사용자 제공)이 있습니다.

체크섬 메타데이터를 사용할 수 없지만 소스 근처에서 에이전트를 실행할 수 있는 경우

체크섬 메타데이터를 기본 소스 스토리지 시스템에서 사용할 수 없지만 소스 스토리지 시스템 근처에서 로컬로 에이전트를 실행할 수 있는 경우 Storage Transfer Service는 소스 데이터 읽기를 시도하고 체크섬을 계산한 후 Cloud Storage로 전송합니다. 이는 파일 시스템에서 Cloud Storage로 데이터를 이동할 때 Transfer Service for On Premises Data에서 발생합니다.

체크섬 메타데이터를 사용할 수 없고 소스 근처에서 에이전트를 실행할 수 없는 경우

기본 소스 스토리지 시스템에서 체크섬 메타데이터를 사용할 수 없고 소스 스토리지 시스템 근처의 에이전트를 로컬에서 실행할 수 없는 경우 Storage Transfer Service은 데이터가 Cloud Storage에 도착할 때까지 체크섬을 계산할 수 없습니다. 이 시나리오에서 Storage Transfer Service는 데이터를 복사하지만 엔드 투 엔드 데이터 무결성 검사를 수행하여 수신된 데이터가 소스 데이터와 동일한지 확인할 수 없습니다. 대신 Storage Transfer Service는 파일 크기와 같은 사용 가능한 메타데이터를 사용하여 Cloud Storage에 복사된 파일이 소스 파일과 일치하는지 검증하는 '최선의 방식'을 시도합니다.

예를 들어 Storage Transfer Service는 파일 크기를 사용하여 다음에 대한 데이터를 확인합니다.

전송 확인 후

전송이 완료되면 다음을 검증하기 위해 추가 데이터 무결성 검사를 수행하는 것이 좋습니다.

  • 소스에서 변경되는 파일의 경우 올바른 버전의 파일이 복사됩니다.
  • 전송 작업을 올바르게 설정했는지 확인하기 위해 올바른 세트 및 파일 수가 복사됩니다.
  • 파일 체크섬, 파일 크기 등의 파일 메타데이터를 확인하여 파일을 올바르게 복사했습니다.

gsutil 또는 Storage Transfer Service 중에서 무엇을 사용하나요?

gsutil 명령줄 도구를 사용하면 Cloud Storage와 다른 위치 간에 데이터를 전송할 수 있습니다. gsutil을 사용하여 다른 클라우드 저장소 제공업체에서 Cloud Storage로 전송할 수 있지만 이 사용 사례에는 Storage Transfer Service를 사용하는 것이 좋습니다.

gsutil 또는 Storage Transfer Service 중에서 무엇을 사용할지 결정하려면 다음 원칙을 따르세요.

전달 시나리오 추천
다른 클라우드 스토리지 공급업체에서 전송 Storage Transfer Service 사용
온프레미스에서 1TB 미만 전송 gsutil 사용
온프레미스에서 1TB 이상 전송 Transfer Service for On Premises Data 사용

이 안내를 출발점으로 사용하세요. 어떤 도구가 더 적합한지 결정하는 데는 전송 시나리오의 구체적인 세부사항도 도움이 됩니다.

서비스수준계약

Storage Transfer Service는 현재 SLA를 제공하지 않고 있으며 일부 성능이 변동될 수 있습니다. 예를 들어 전송 성능이나 지연 시간에 대한 SLA는 제공되지 않습니다.