Console로 데이터 전송 만들기 및 관리

이 페이지에서는 Google Cloud Console을 사용하여 전송 작업을 설정 및 관리하는 방법을 설명합니다. Storage Transfer Service를 프로그래매틱 방식으로 사용하려면 Storage Transfer Service 클라이언트 만들기프로그래매틱 방식으로 전송 만들기 및 관리를 참조하세요.

시작하기 전에

Storage Transfer Service에서 전송 작업을 설정하려면 먼저 필요한 액세스 권한이 있어야 합니다.

  • Storage Transfer Service 액세스: 다음 역할 중 하나를 할당받아야 합니다.

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • 최소한의 roles/storagetransfer.user 권한을 포함하는 커스텀 역할입니다.

      프로젝트 수준 권한 추가 및 보기에 대한 자세한 내용은 프로젝트에 IAM 권한 사용을 참조하세요.

    Storage Transfer Service의 IAM 역할과 권한에 대한 자세한 내용은 IAM 역할 및 권한을 사용한 액세스 제어를 참조하세요.

  • 소스 및 싱크 액세스: Storage Transfer Service는 서비스 계정을 사용하여 전송을 수행합니다. 데이터 소스와 데이터 싱크에 액세스하려면 이 서비스 계정에 소스 권한싱크 권한이 있어야 합니다.

전송 작업 설정

  1. Google Cloud Console에서 전송 페이지를 엽니다.

    전송 페이지 열기

  2. 전송 작업 만들기를 클릭합니다.

    설정 안내를 보려면 아래의 탭을 선택하세요. 단계는 소스가 Cloud Storage 버킷, Amazon S3 버킷, Microsoft Azure Storage blob 또는 URL 목록인지에 따라 다릅니다.

Cloud Storage

  1. 소스 선택에서 Google Cloud Storage 버킷을 선택합니다.

  2. Cloud Storage 버킷 텍스트 상자에 소스 버킷 이름을 입력하거나(프리픽스 gs:// 없이) 버킷을 찾아서 선택합니다.

    다른 프로젝트에서 Cloud Storage 버킷을 지정하려면 Cloud Storage 버킷 텍스트 상자에 이름을 정확하게 입력합니다.

  3. 소스의 파일 중 일부를 지정하려면 버킷 필드 아래에서 파일 필터 지정을 클릭합니다. 파일 이름 프리픽스와 파일 생성 날짜를 기준으로 파일을 포함하거나 제외할 수 있습니다. 자세한 내용은 전송할 소스 객체 선택을 참조하세요.

  4. 대상 선택에서 싱크 버킷을 선택하거나 새로운 싱크 버킷을 만듭니다.

    기존 버킷을 선택하려면 버킷의 이름을 입력하거나(프리픽스 gs:// 없이) 찾아보기를 클릭하여 버킷을 찾아 이동합니다.

    파일을 새 버킷으로 전송하려면 찾아보기를 클릭한 후 새 버킷 아이콘을 클릭합니다.

  5. 필요하면 덮어쓰기/삭제 옵션을 사용 설정합니다.

    기본적으로 Storage Transfer Service는 소스 버전이 싱크 버전과 다른 경우에만 객체를 덮어씁니다. 그 밖의 객체는 덮어쓰거나 삭제하지 않습니다. 전송 옵션에서 추가 덮어쓰기/삭제 옵션을 사용 설정하세요. 옵션에 대한 자세한 내용은 API 참조 문서의 TransferOptions를 참조하세요.

  6. 전송 구성에서 전송 작업을 지금 실행(한 번)하거나 현지 시간대의 일정 시간에 매일 실행하도록 예약합니다.

  7. 선택사항: 설명에서 전송 작업 이름을 편집합니다. 나중에 전송 작업을 식별하기 쉽게 고유하고 설명적인 이름을 사용합니다.

  8. 만들기를 클릭합니다.

Amazon S3

  1. 소스 선택에서 Amazon S3 버킷을 선택합니다.

  2. Amazon S3 버킷 텍스트 상자에서 소스 Amazon S3 버킷 이름을 지정합니다.

    버킷 이름은 AWS 관리 콘솔에 나타나는 이름입니다.

  3. 각 텍스트 상자에 Amazon S3 버킷과 연결된 액세스 키 ID비밀 키를 입력합니다.

  4. 소스의 파일 중 일부를 지정하려면 버킷 필드 아래에서 파일 필터 지정을 클릭합니다. 파일 이름 프리픽스와 파일 생성 날짜를 기준으로 파일을 포함하거나 제외할 수 있습니다. 자세한 내용은 전송할 소스 객체 선택을 참조하세요.

  5. 대상 선택에서 싱크 버킷을 선택하거나 새로운 싱크 버킷을 만듭니다.

    기존 버킷을 선택하려면 버킷의 이름을 입력하거나(프리픽스 gs:// 없이) 찾아보기를 클릭하여 버킷을 찾아 이동합니다.

    파일을 새 버킷으로 전송하려면 찾아보기를 클릭한 후 새 버킷 아이콘을 클릭합니다.

  6. 필요하면 덮어쓰기/삭제 옵션을 사용 설정합니다.

    기본적으로 전송 작업은 소스 버전이 싱크 버전과 다른 경우에만 객체를 덮어씁니다. 그 밖의 객체는 덮어쓰거나 삭제하지 않습니다. 전송 옵션에서 추가 덮어쓰기/삭제 옵션을 사용 설정하세요. 옵션에 대한 자세한 내용은 API 참조 문서의 TransferOptions를 참조하세요.

  7. 전송 구성에서 전송 작업을 지금 실행(한 번)하거나 지정한 현지 시간에 매일 실행하도록 예약합니다.

  8. 선택사항: 설명에서 전송 작업 이름을 편집합니다. 나중에 전송 작업을 식별하기 쉽게 고유하고 설명적인 이름을 사용합니다.

  9. 만들기를 클릭합니다.

Microsoft Azure Blob Storage

  1. 소스 선택에서 Microsoft Azure Storage 컨테이너를 선택합니다.

  2. 다음 사항을 지정합니다.

    1. 스토리지 계정 이름 — 소스 Microsoft Azure Storage 계정 이름입니다.

      스토리지 계정 이름은 모든 서비스 > 스토리지 > 스토리지 계정의 Microsoft Azure Storage 포털에 표시됩니다.

    2. 컨테이너 이름 — Microsoft Azure Storage 컨테이너 이름입니다.

      컨테이너 이름은 스토리지 탐색기 > Blob 컨테이너의 Microsoft Azure Storage 포털에 표시됩니다.

    3. 공유 액세스 서명(SAS) — 저장된 액세스 정책에서 만든 Microsoft Azure Storage SAS 토큰입니다. 자세한 내용은 공유 액세스 서명(SAS)을 사용하여 Azure Storage 리소스에 대한 제한된 액세스 권한 부여를 참조하세요.

      SAS 토큰의 기본 만료 시간은 8시간입니다. SAS 토큰을 만들 때 전송을 성공적으로 완료할 수 있도록 적절한 만료 시간을 설정해야 합니다.
  3. 선택사항: 파일 필터 지정을 클릭하여 전송할 파일 필터를 지정합니다.

URL 목록

  1. 소스 선택에서 객체 URL 목록을 선택합니다.

  2. TSV 파일의 URL에 탭으로 구분된 값(TSV) 파일의 URL을 입력한 다음 계속을 클릭합니다. TSV 파일을 만드는 방법에 대한 자세한 내용은 URL 목록 만들기를 참조하세요.

  3. 대상 선택에서 싱크 버킷을 선택하거나 새로운 싱크 버킷을 만듭니다.

    기존 버킷을 선택하려면 버킷의 이름을 입력하거나(프리픽스 gs:// 없이) 찾아보기를 클릭하여 버킷을 찾아 이동합니다.

    파일을 새 버킷으로 전송하려면 찾아보기를 클릭한 후 새 버킷 아이콘을 클릭합니다.

  4. 필요하면 덮어쓰기/삭제 옵션을 사용 설정합니다.

    기본적으로 전송 작업은 소스 버전이 싱크 버전과 다른 경우에만 객체를 덮어씁니다. 그 밖의 객체는 덮어쓰거나 삭제하지 않습니다. 전송 옵션에서 추가 덮어쓰기/삭제 옵션을 사용 설정하세요. 옵션에 대한 자세한 내용은 API 참조 문서의 TransferOptions를 참조하세요.

  5. 전송 구성에서 전송 작업을 지금 실행(한 번)하거나 지정한 현지 시간에 매일 실행하도록 예약합니다.

  6. 선택사항: 설명에서 전송 작업 이름을 편집합니다. 나중에 전송 작업을 식별하기 쉽게 고유하고 설명적인 이름을 사용합니다.

  7. 만들기를 클릭합니다.

로컬 데이터

Storage Transfer Service를 사용하면 온라인 데이터를 Cloud Storage로 전송할 수 있습니다. Cloud Storage 버킷을 로컬 데이터에 동기화하려면 gsutil rsync를 사용합니다.

전송 작업 편집

전송 작업이 다음에 해당하는 경우에만 전송 작업의 구성을 편집할 수 있습니다.

  • 중지되지 않은 반복적인 전송 작업
  • 아직 실행이 시작되지 않은 일회성 전송 작업

이러한 조건이 하나라도 참이면 다음과 같이 구성을 편집하세요.

  1. Google Cloud Console에서 전송 페이지를 엽니다.

    전송 페이지 열기

  2. 자세한 내용을 보려면 전송 작업 이름을 클릭합니다.

  3. 구성 편집을 선택하고 전송 설정에 설명된 안내를 따릅니다.

    현재 실행 중인 반복적인 전송 작업에 대한 변경 사항은 다음에 전송 작업이 실행되도록 예약된 시간에 적용됩니다.

전송 작업의 기록 보기

  1. Google Cloud Console에서 전송 페이지를 엽니다.

    전송 페이지 열기

  2. 자세한 내용을 보려면 전송 작업 이름을 클릭합니다.

  3. 작업 탭을 선택합니다.

  4. 항목 목록에서 전송 작업의 시작 날짜를 클릭하여, 발생한 오류를 포함한 세부 정보를 봅니다.

    일회성 전송 작업은 한 번만 실행되므로 전송 작업 기록에 항목이 하나만 있습니다.

활성 전송 작업 일시 중지 또는 취소

진행중인 전송 작업을 일시 중지하거나 취소하려면 다음 안내를 따르세요.

  1. Google Cloud Console에서 전송 페이지를 엽니다.

    전송 페이지 열기

  2. 자세한 내용을 보려면 전송 작업 이름을 클릭합니다.

  3. 작업 탭을 선택합니다.

    항목 목록에서 활성 전송 작업의 상태 열 오른쪽에 일시중지(||) 및 취소(X) 버튼이 있습니다.

  4. 일시 중지 버튼을 클릭하여 전송 작업을 일시 중지하거나 취소 버튼을 클릭하여 전송 작업을 영구적으로 취소합니다.

  5. 전송 작업을 일시 중지하는 경우 전송 작업을 계속하려면 계속 버튼(►)을 클릭합니다.

    전송 작업을 취소하는 경우 확인 창이 나타납니다. 취소 요청을 확인하려면 전송 취소를 클릭하세요.

예약된 또는 반복되는 전송 작업 삭제

  1. Google Cloud Console에서 전송 페이지를 엽니다.

    전송 페이지 열기

  2. 제거할 전송 작업의 체크박스를 선택합니다.

  3. 전송 작업의 목록 위에 있는 삭제를 클릭합니다.

  4. 확인 창이 나타나면 확인을 클릭합니다.

전송할 소스 객체 선택

Storage Transfer Service에는 데이터 소스에 포함하거나 데이터 소스에서 제외할 파일을 선택하는 데 사용할 수 있는 프리픽스가 있습니다. 일반적으로 프리픽스는 전송되는 객체의 범위를 좁히는 수단이라고 볼 수 있습니다. 포함 프리픽스만 사용하거나, 제외 프리픽스만 사용하거나, 둘 다 사용할 수 있습니다. 다음 안내는 Amazon S3, Microsoft Azure Blob Storage, Cloud Storage 데이터 소스에 적용됩니다.

  • 프리픽스에 선행 슬래시를 포함하지 마세요. 예를 들어 다음 버킷 경로 s3://my-aws-bucket/logs/y=2015/requests.gz에서 requests.gz 객체를 전송에 포함하려면 포함 프리픽스를 logs/y=2015/requests.gz로 지정합니다.

  • 포함 프리픽스와 제외 프리픽스를 함께 사용하는 경우에는 제외 프리픽스가 포함 프리픽스 중 하나의 값으로 시작해야 합니다. 예를 들어 a를 포함 프리픽스로 지정하면 유효한 제외 프리픽스는 a/b, aaa, abc입니다.

  • 제외 프리픽스만 사용하는 경우에는 사용하는 프리픽스에 제한사항이 없습니다.

  • 프리픽스를 지정하지 않으면 버킷의 모든 객체가 전송됩니다.

  • 데이터 소스 또는 싱크 버킷 이름에 경로 이름을 제공하지 마세요. 예를 들어 s3://my-aws-bucketgs://example-bucket은 유효하지만 s3://my-aws-bucket/subfolder 또는 gs://example-bucket/files는 유효하지 않습니다. 경로를 포함하려면 포함 프리픽스와 제외 프리픽스를 사용하세요.

  • Storage Transfer Service는 재매핑을 지원하지 않습니다. 따라서 데이터 소스의 files/2015 경로를 데이터 싱크의 files/2016에 복사할 수 없습니다.

포함 프리픽스와 제외 프리픽스를 사용하는 방법에 대한 자세한 내용은 API의 includePrefixesexcludePrefixes 필드 설명을 참조하세요.

더 일반적인 프리픽스 정보는 Amazon S3 문서의 프리픽스와 구분 기호를 사용하여 계층 구조로 키 나열 또는 Cloud Storage의 객체 list 메서드를 참조하세요.

Amazon S3 IAM 사용자 만들기

다음 단계는 Amazon S3 버킷에서 Cloud Storage 버킷으로 데이터를 전송하는 데 사용되는 Amazon S3 사용자 인증 정보의 생성 과정을 간략하게 보여줍니다. 자세한 내용은 AWS 계정으로 IAM 사용자 만들기버킷 정책 예시를 참조하세요.

  1. AWS ID 및 액세스 관리 콘솔에서 새로운 사용자를 만듭니다.

  2. 액세스 사용자 인증 정보를 기록해 두거나 다운로드합니다.

    다운로드한 사용자 인증 정보에는 사용자 이름, 액세스 키 ID, 비밀 액세스 키가 포함됩니다. Cloud Storage에서 전송 작업을 구성할 때는 액세스 키 ID와 비밀 액세스 키만 있으면 됩니다.

  3. 관리 정책을 전송을 완료하는 데 필요한 권한을 가진 IAM 사용자에게 연결합니다.

    전송 작업이 소스 객체를 삭제하도록 구성된 경우 AmazonS3FullAccess 정책을 연결합니다. 그렇지 않으면 AmazonS3ReadyOnlyAccess 정책을 연결합니다. 예를 들어 IAM 콘솔을 통해 사용자에게 연결된 AmazonS3FullAccess 관리 정책은 다음과 같습니다.

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. 선택사항: 관리 정책보다 더 제한적인 정책을 만듭니다.

    예를 들어 액세스를 Amazon S3 버킷으로만 제한하는 정책을 만들 수 있습니다. 자세한 내용은 버킷 정책 예제를 참조하세요.

다음 단계

Cloud Storage 사용 방법을 알아봅니다.