Cloud Storage 버킷 연결

이 페이지에서는 머신러닝 데이터를 저장하는 옵션으로 Cloud Storage를 소개하고, Cloud TPU에 Cloud Storage의 데이터 객체에 액세스할 수 있는 권한을 부여하는 방법을 설명합니다.

시작하기 전에

  1. 프로젝트의 Cloud TPU 서비스 계정을 만듭니다.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    이 명령어는 다음 형식의 Cloud TPU 서비스 계정을 반환합니다.

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    
  2. Cloud TPU 빠른 시작 가이드 또는 TPU 만들기 및 삭제 문서에 있는 안내에 따라 Google Cloud 프로젝트를 구성하고 Compute Engine VM과 Cloud TPU 리소스를 만드세요.

Cloud Storage에 데이터 쓰기

Console

  1. Cloud Console에서 Cloud Storage 페이지로 이동합니다.

    Cloud Storage 페이지로 이동

  2. 다음 옵션을 지정하여 새 버킷을 만듭니다.

    • 원하는 고유한 이름
    • 기본 스토리지 클래스: Standard
    • 위치: us-central1

gsutil

  1. Cloud Storage 버킷을 만들려면 gsutil mb 명령어를 사용합니다.

    gsutil mb -l region gs://bucket-name/

    각 매개변수는 다음과 같습니다.

    • region은 Cloud TPU를 만든 리전입니다. 예를 들면 us-central1입니다. Cloud TPU는 다음 리전에서 사용할 수 있습니다.

      미국

      Cloud TPU v2 및 선점형 v2 us-central1
      Cloud TPU v3 및 선점형 v3 us-central1
      Cloud TPU v2 Pod(베타) us-central1

      유럽

      Cloud TPU v2 및 선점형 v2 europe-west4
      Cloud TPU v3 및 선점형 v3 europe-west4
      Cloud TPU v2 Pod(베타) europe-west4
      Cloud TPU v3 Pod(베타) europe-west4

      아시아 태평양

      Cloud TPU v2 및 선점형 v2 asia-east1
    • bucket-name은 만들려는 버킷의 이름입니다.

  2. Cloud Storage 버킷에 파일을 작성하려면 gsutil cp 명령어를 사용합니다.

    gsutil cp -r local-data-dir gs://bucket-name

    여기서 local-data-dir은 데이터의 로컬 경로입니다. 예를 들면 다음과 같습니다.$HOME/your-data

Cloud TPU에 Cloud Storage 액세스 권한 부여

Cloud TPU에 Cloud Storage 객체에 대한 읽기/쓰기 액세스 권한을 부여해야 합니다. 이렇게 하려면 Cloud TPU에서 사용하는 Cloud TPU 서비스 계정에 필요한 액세스 권한을 부여해야 합니다. 다음 단계에 따라 Cloud TPU 서비스 계정을 찾고 필요한 액세스 권한을 부여합니다.

Cloud TPU 서비스 계정 승인

Cloud Storage에 학습 데이터를 저장하는 경우 Cloud TPU 서비스 계정에 버킷에 대한 읽기/쓰기 권한이 있어야 합니다.

Console

  1. 소유한 버킷을 보려면 Cloud Storage 브라우저 페이지로 이동합니다.

    Cloud Storage 브라우저로 이동

  2. 수정할 ACL이 있는 버킷으로 이동합니다.

  3. 해당 버킷에서 Edit Bucket Permissions를 선택합니다.

  4. 이 버킷에서 읽기를 수행하려면 리소스에서 읽을 TPU 서비스 계정을 승인해야 합니다. 서비스 계정에 Storage Legacy > Storage Legacy Bucket Reader 역할을 부여하여 이를 수행합니다.

  5. 이 버킷에 쓰기를 수행하려면 리소스에 쓸 TPU 서비스 계정을 승인해야 합니다. 서비스 계정에 Storage Legacy > Storage Legacy Bucket Writer 역할을 부여하여 이를 수행합니다.

gsutil

  1. 이 버킷에서 읽기를 수행하려면 Cloud TPU 서비스 계정에 읽기 권한을 부여합니다.

     gsutil acl ch -u tpu-service-account:READER gs://bucket-name

  2. 이 버킷에 쓰기를 수행하려면 Cloud TPU 서비스 계정에 쓰기 권한을 부여합니다.

     gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Cloud TPU의 IAM 권한 사용(대체 방법)

버킷별 액세스 권한을 명시적으로 허용하는 대신 광범위한 권한을 부여하려면 Cloud TPU 서비스 계정에 IAM(ID 및 액세스 관리) 스토리지 관리자 역할을 부여하면 됩니다.

  1. 프로젝트의 IAM 페이지로 이동합니다.

    IAM으로 이동

  2. +추가 버튼을 클릭하여 프로젝트에 구성원을 추가합니다.

  3. 구성원 입력란에 Cloud TPU 서비스 계정 이름을 입력합니다.

  4. 역할 드롭다운 목록을 클릭합니다.

  5. 다음 역할을 사용 설정합니다.

    • 프로젝트 > 뷰어

    • 스토리지 > 스토리지 관리자

다음 단계

  • Cloud Storage 버킷을 생성하고 버킷에 데이터를 쓰는 작업에 관한 자세한 내용은 Cloud Storage 문서를 참조하세요.
  • 서비스 계정에 대한 자세한 내용은 인증 개요를 참조하세요.