Amazon S3 전송 개요

Amazon S3용 BigQuery Data Transfer Service를 사용하면 Amazon S3에서 BigQuery로 반복적으로 로드되는 작업을 자동으로 예약 및 관리할 수 있습니다.

지원되는 파일 형식

BigQuery Data Transfer Service는 현재 다음 형식 중 하나로 Amazon S3에서 데이터를 로드할 수 있습니다.

  • 쉼표로 구분된 값(CSV)
  • JSON(줄바꿈으로 구분)
  • Avro
  • Parquet
  • ORC

Amazon S3 기본 요건

Amazon S3 데이터 소스에서 데이터를 로드하려면 다음과 같은 기본 요건이 필요합니다.

  • 소스 데이터의 Amazon S3 URI를 제공해야 합니다.
  • 액세스 키 ID가 있어야 합니다.
  • 보안 비밀 액세스 키가 있어야 합니다.
  • Amazon S3 소스 데이터에 최소한 AWS 관리 정책 AmazonS3ReadOnlyAccess를 설정해야 합니다.

Amazon S3 URI

Amazon S3 URI를 제공할 때 경로 형식은 s3://bucket/folder1/folder2/...이어야 합니다. 최상위 버킷 이름만 필요합니다. 폴더 이름은 선택사항입니다. 버킷 이름만 포함된 URI를 지정하면 버킷의 모든 파일이 전송되어 BigQuery에서 로드됩니다.

Amazon S3 URI와 대상 테이블이 모두 매개변수화될 수 있으므로 날짜별로 구성된 Amazon S3 버킷에서 데이터를 로드할 수 있습니다. 현재 URI의 버킷 부분은 매개변수화할 수 없습니다. Amazon S3 전송에 사용되는 매개변수는 Cloud Storage 전송에 사용되는 매개변수와 동일합니다.

Amazon S3 URI의 와일드 카드 지원

소스 데이터가 기본 이름을 공유하는 여러 파일로 분리되는 경우, 데이터를 로드할 때 URI에 와일드 카드를 사용할 수 있습니다.

URI에 와일드 카드를 추가하려면 기본 이름에 별표(*)를 추가합니다. 예를 들어 fed-sample000001.csvfed-sample000002.csv라는 파일 두 개가 있으면 버킷 URI는 s3://mybucket/fed-sample*입니다.

버킷 내의 객체(파일 이름)에 와일드 카드 하나만 사용할 수 있습니다. 와일드 카드는 객체 이름 중간이나 끝에 입력할 수 있습니다. 버킷 이름에 와일드 카드를 추가하는 것은 지원되지 않습니다.

AWS 액세스 키

액세스 키 ID와 보안 비밀 액세스 키를 사용하여 사용자 대신 Amazon S3 데이터에 액세스할 수 있습니다. 가장 좋은 방법은 BigQuery Data Transfer Service에 대한 최소한의 액세스 권한만 부여하도록 Amazon S3 전송을 위한 고유한 액세스 키 ID와 보안 비밀 액세스 키를 만드는 것입니다. 액세스 키 관리에 대한 자세한 내용은 AWS 일반 참조 문서를 참조하세요.

일관성 관련 고려사항

Amazon S3에서 데이터를 전송할 때, 특히 아주 최근에 파일을 버킷에 추가한 경우 일부 데이터가 BigQuery로 전송되지 않을 수 있습니다. 파일을 버킷에 추가한 후 약 10분이 경과해야 BigQuery Data Transfer Service에서 사용할 수 있습니다.

그러나 경우에 따라 10분 이상이 소요될 수도 있습니다. 파일을 버킷에 추가한 후 최소 10분 후에 Amazon S3 전송이 수행되도록 예약하면 데이터 누락 가능성을 줄일 수 있습니다. Amazon S3 일관성 모델에 대한 자세한 내용은 Amazon S3 문서의 Amazon S3 데이터 일관성 모델을 참조하세요.

가격 책정

BigQuery Data Transfer Service 가격 책정에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.

이 서비스를 사용하면 Google 외부에서 비용이 발생할 수 있습니다. 자세한 내용은 Amazon S3 가격 책정 페이지를 참조하세요.

할당량 및 한도

BigQuery Data Transfer Service는 로드 작업을 사용하여 BigQuery에 Amazon S3 데이터를 로드합니다. 로드 작업에 적용되는 모든 BigQuery 할당량 및 한도가 Amazon S3 반복 전송에도 적용됩니다.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.