Cloud Storage에서 Parquet 데이터 로드
이 페이지에서는 Cloud Storage의 Parquet 데이터를 BigQuery로 로드하는 방법을 간략하게 설명합니다.
Parquet는 Apache Hadoop 생태계에서 널리 사용하는 오픈소스 열 기반 데이터 형식입니다.
Cloud Storage에서 Parquet 데이터를 로드할 때는 새 테이블 또는 파티션에 데이터를 로드하거나 기존 테이블 또는 파티션에 추가 또는 덮어쓸 수 있습니다. BigQuery에 로드한 데이터는 Capacitor용 열 형식(BigQuery의 스토리지 형식)으로 변환됩니다.
Cloud Storage에서 BigQuery 테이블로 데이터를 로드하는 경우 테이블을 포함한 데이터 세트는 Cloud Storage 버킷과 같은 리전이나 멀티 리전 위치에 있어야 합니다.
로컬 파일에서 Parquet 데이터를 로드하는 방법에 대한 자세한 내용은 로컬 파일에서 데이터 로드를 참조하세요.
제한사항
Cloud Storage 버킷에서 BigQuery로 데이터를 로드할 때는 다음과 같은 제한사항이 적용됩니다.
- 데이터 세트 위치가
US
멀티 리전 이외의 값으로 설정되면 Cloud Storage 버킷은 데이터 세트와 동일한 리전에 있거나 동일한 멀티 리전에 포함되어 있어야 합니다. - BigQuery는 외부 데이터 소스의 데이터 일관성을 보장하지 않습니다. 쿼리가 실행되는 동안 기본 데이터가 변경되면 예상치 못한 동작이 발생할 수 있습니다.
BigQuery는 Cloud Storage 객체 버전 관리를 지원하지 않습니다. Cloud Storage URI에 세대 번호를 포함하면 로드 작업이 실패합니다.
Parquet 데이터 로드는 열 이름 지정 규칙을 따르며 기본적으로 유연한 열 이름을 지원하지 않습니다. 이 미리보기에서 등록하려면 등록 양식을 작성하세요.
로드할 파일의 스키마가 다르면 Cloud Storage URI에 와일드 카드를 사용할 수 없습니다. 열 위치 차이로 인해 다른 스키마에 해당하게 됩니다.
입력 파일 요구사항
BigQuery에 Parquet 파일을 로드할 때 resourcesExceeded
오류를 방지하려면 다음 가이드라인을 따르세요.
- 행 크기를 50MB 이하로 유지합니다.
- 입력 데이터에 100개가 넘는 열이 포함된 경우 페이지 크기를 기본 페이지 크기(1 * 1024 * 1024바이트)보다 작게 줄이는 것이 좋습니다. 이는 상당한 압축을 사용하는 경우에 특히 유용합니다.
- 최적의 성능을 위해 행 그룹 크기를 16MiB 이상으로 설정하세요. 행 그룹 크기가 작을수록 I/O가 증가하고 로드 및 쿼리 속도가 느려집니다.
시작하기 전에
이 문서의 각 태스크를 수행하는 데 필요한 권한을 사용자에게 제공하는 Identity and Access Management(IAM) 역할을 부여하고 데이터를 저장할 데이터 세트를 만듭니다.
필수 권한
데이터를 BigQuery로 로드하려면 로드 작업을 실행하고 데이터를 BigQuery 테이블과 파티션으로 로드할 수 있는 IAM 권한이 필요합니다. Cloud Storage에서 데이터를 로드할 경우 데이터가 포함된 버킷에 액세스할 수 있는 IAM 권한도 필요합니다.
데이터를 BigQuery로 로드할 수 있는 권한
데이터를 새 BigQuery 테이블이나 파티션으로 로드하거나 기존 테이블 또는 파티션을 추가하거나 덮어쓰려면 다음 IAM 권한이 필요합니다.
bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create
다음과 같이 사전 정의된 각 IAM 역할에는 데이터를 BigQuery 테이블이나 파티션에 로드하기 위해 필요한 권한이 포함되어 있습니다.
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin
(bigquery.jobs.create
권한 포함)bigquery.user
(bigquery.jobs.create
권한 포함)bigquery.jobUser
(bigquery.jobs.create
권한 포함)
또한 bigquery.datasets.create
권한이 있으면 만들 데이터 세트에서 로드 작업을 사용하여 테이블을 만들고 업데이트할 수 있습니다.
BigQuery의 IAM 역할과 권한에 대한 자세한 내용은 사전 정의된 역할 및 권한을 참조하세요.
Cloud Storage에서 데이터를 로드할 수 있는 권한
Cloud Storage 버킷에서 데이터를 로드하는 데 필요한 권한을 얻으려면 관리자에게 버킷의 스토리지 관리자(roles/storage.admin
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이 사전 정의된 역할에는 Cloud Storage 버킷에서 데이터를 로드하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
Cloud Storage 버킷에서 데이터를 로드하려면 다음 권한이 필요합니다.
-
storage.buckets.get
-
storage.objects.get
-
storage.objects.list (required if you are using a URI wildcard)
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
데이터 세트 생성
데이터를 저장할 BigQuery 데이터 세트를 만듭니다.
Parquet 스키마
Parquet 파일을 BigQuery로 로드하면 테이블 스키마는 자체 설명적 소스 데이터에서 자동으로 검색됩니다. BigQuery가 소스 데이터에서 스키마를 검색할 때는 알파벳순으로 마지막 파일이 사용됩니다.
예를 들어 Cloud Storage에 다음 Parquet 파일이 있다고 가정해 보겠습니다.
gs://mybucket/00/ a.parquet z.parquet gs://mybucket/01/ b.parquet
bq 명령줄 도구로 이 명령어를 실행하면 모든 파일(쉼표로 구분된 목록)이 로드되고 스키마가 mybucket/01/b.parquet
에서 파생됩니다.
bq load \ --source_format=PARQUET \ dataset.table \ "gs://mybucket/00/*.parquet","gs://mybucket/01/*.parquet"
서로 다른 스키마가 있는 여러 Parquet 파일을 로드하는 경우 여러 스키마에 지정된 동일한 열은 각 스키마 정의에서 모드가 동일해야 합니다.
BigQuery가 스키마를 감지하면 일부 Parquet 데이터 유형은 GoogleSQL SQL 구문과 호환되도록 BigQuery 데이터 유형으로 변환됩니다. 자세한 내용은 Parquet 변환을 참조하세요.
외부 테이블을 만들기 위한 테이블 스키마를 제공하려면 BigQuery API의referenceFileSchemaUri
속성을 설정하거나 bq 명령줄 도구의 --reference_file_schema_uri
매개변수를 참조 파일의 URL로 설정합니다.
예를 들면 --reference_file_schema_uri="gs://mybucket/schema.parquet"
입니다.
Parquet 압축
BigQuery는 Parquet 파일 콘텐츠에 대해 다음과 같은 압축 코덱을 지원합니다.
GZip
LZO_1C
LZO_1X
LZ4_RAW
Snappy
ZSTD
새 테이블에 Parquet 데이터 로드
다음 중 하나를 사용하여 새 테이블에 Parquet 데이터를 로드할 수 있습니다.
- Google Cloud 콘솔
- bq 명령줄 도구의
bq load
명령어 jobs.insert
API 메서드 및load
작업 구성- 클라이언트 라이브러리
Cloud Storage에서 Parquet 데이터를 새 BigQuery 테이블로 로드하려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
- 탐색기 창에서 프로젝트를 펼친 후 데이터 세트를 선택합니다.
- 데이터 세트 정보 섹션에서 테이블 만들기를 클릭합니다.
- 테이블 만들기 패널에서 다음 세부정보를 지정합니다.
- 소스 섹션의 다음 항목으로 테이블 만들기 목록에서 Google Cloud Storage를 선택합니다.
그런 후 다음 작업을 수행합니다.
- Cloud Storage 버킷에서 파일을 선택하거나 Cloud Storage URI를 입력합니다. Google Cloud 콘솔에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 생성, 추가 또는 덮어쓰려는 테이블이 포함된 데이터 세트와 동일한 위치에 있어야 합니다.
- 파일 형식으로 Parquet를 선택합니다.
- 대상 섹션에서 다음 세부정보를 지정합니다.
- 데이터 세트에서 테이블을 만들 데이터 세트를 선택합니다.
- 테이블 필드에 만들려는 테이블의 이름을 입력합니다.
- 테이블 유형 필드가 기본 테이블로 설정되어 있는지 확인합니다.
- 스키마 섹션은 그대로 놔둡니다. 스키마는 Parquet 파일에서 자체 기술됩니다.
- 선택사항: 파티션 및 클러스터 설정을 지정합니다. 자세한 내용은 파티션을 나눈 테이블 만들기 및 클러스터링된 테이블 만들기 및 사용을 참조하세요.
- 고급 옵션을 클릭하고 다음을 수행합니다.
- 쓰기 환경설정에서 비어 있으면 쓰기를 선택한 상태로 둡니다. 이 옵션은 새 테이블을 만들어 데이터를 로드합니다.
- 테이블 스키마에 없는 행의 값을 무시하려면 알 수 없는 값을 선택합니다.
- Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.
- 테이블 만들기를 클릭합니다.
SQL
LOAD DATA
DDL 문을 사용합니다.
다음 예시에서는 Parquet 파일을 새 테이블인 mytable
에 로드합니다.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
쿼리 편집기에서 다음 문을 입력합니다.
LOAD DATA OVERWRITE mydataset.mytable FROM FILES ( format = 'PARQUET', uris = ['gs://bucket/path/file.parquet']);
실행을 클릭합니다.
쿼리를 실행하는 방법에 대한 자세한 내용은 대화형 쿼리 실행을 참조하세요.
bq
bq load
명령어를 사용하고, --source_format
플래그로 PARQUET
를 지정하고, Cloud Storage URI를 포함합니다.
단일 URI, 쉼표로 구분된 URI 목록 또는 와일드 카드가 포함된 URI를 포함할 수 있습니다.
(선택사항) --location
플래그를 지정하고 값을 사용자 위치로 설정합니다.
다른 선택적 플래그에는 다음이 포함됩니다.
--time_partitioning_type
: 테이블에 시간 기준 파티션 나누기를 사용 설정하고 파티션 유형을 설정합니다. 가능한 값은HOUR
,DAY
,MONTH
,YEAR
입니다.DATE
,DATETIME
,TIMESTAMP
열을 기준으로 파티션을 나눈 테이블을 만드는 경우 이 플래그는 선택사항입니다. 시간 기준 파티션 나누기의 기본 파티션 유형은DAY
입니다. 기존 테이블의 파티션 나누기 사양을 변경할 수 없습니다.--time_partitioning_expiration
: 시간 기준 파티션을 삭제할 시간을 초 단위로 지정하는 정수입니다. 만료 시간은 파티션의 UTC 날짜에 정수 값을 더한 값입니다.--time_partitioning_field
: 파티션을 나눈 테이블을 만드는 데 사용되는DATE
또는TIMESTAMP
열입니다. 이 값 없이 시간 기준 파티션 나누기를 사용 설정하면 수집 시간으로 파티션을 나눈 테이블이 생성됩니다.--require_partition_filter
: 이 옵션을 사용 설정하면 사용자는 쿼리할 파티션을 지정하는WHERE
절을 포함해야 합니다. 파티션 필터를 필수항목으로 설정하면 비용을 줄이고 성능은 높일 수 있습니다. 자세한 내용은 쿼리에 파티션 필터 필요를 참고하세요.--clustering_fields
: 클러스터링된 테이블을 만드는 데 사용된 쉼표로 구분된 열 이름(최대 4개) 목록입니다.--destination_kms_key
: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.--column_name_character_map
: 유연한 열 이름을 사용 설정하는 옵션을 사용하여 열 이름의 문자 범위와 처리를 정의합니다. 자세한 내용은load_option_list
를 참조하세요.파티션을 나눈 테이블에 대한 자세한 내용은 다음을 참조하세요.
클러스터링된 테이블에 대한 자세한 내용은 다음을 참조하세요.
테이블 암호화에 대한 자세한 내용은 다음을 참조하세요.
BigQuery에 Parquet 데이터를 로드하려면 다음 명령어를 입력하세요.
bq --location=LOCATION load \ --source_format=FORMAT \ DATASET.TABLE \ PATH_TO_SOURCE
다음을 바꿉니다.
LOCATION
: 사용자 위치입니다.--location
플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용하는 경우 플래그 값을asia-northeast1
로 설정할 수 있습니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.FORMAT
:PARQUET
.DATASET
: 기존 데이터 세트입니다.TABLE
: 데이터를 로드할 테이블의 이름입니다.PATH_TO_SOURCE
: 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.
예:
다음 명령어는 gs://mybucket/mydata.parquet
에서 mydataset
에 있는 mytable
이라는 이름의 테이블로 데이터를 로드합니다.
bq load \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
다음 명령어는 gs://mybucket/mydata.parquet
에서 mydataset
에 있는 mytable
이라는 수집 시간으로 파티션을 나눈 테이블에 데이터를 로드합니다.
bq load \
--source_format=PARQUET \
--time_partitioning_type=DAY \
mydataset.mytable \
gs://mybucket/mydata.parquet
다음 명령어는 gs://mybucket/mydata.parquet
에서 mydataset
에 있는 mytable
이라는 파티션을 나눈 테이블에 데이터를 로드합니다. 테이블의 파티션은 mytimestamp
열을 기준으로 나뉩니다.
bq load \
--source_format=PARQUET \
--time_partitioning_field mytimestamp \
mydataset.mytable \
gs://mybucket/mydata.parquet
다음 명령어는 gs://mybucket/
에 있는 여러 파일에서 mydataset
에 있는 mytable
이라는 테이블로 데이터를 로드합니다. Cloud Storage URI는 와일드 카드를 사용합니다.
bq load \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata*.parquet
다음 명령어는 gs://mybucket/
에 있는 여러 파일에서 mydataset
에 있는 mytable
이라는 테이블로 데이터를 로드합니다. 명령어에는 와일드 카드를 사용하는 쉼표로 구분된 Cloud Storage URI 목록이 포함됩니다.
bq load \
--source_format=PARQUET \
mydataset.mytable \
"gs://mybucket/00/*.parquet","gs://mybucket/01/*.parquet"
API
Cloud Storage의 소스 데이터를 가리키는
load
작업을 만듭니다.(선택사항) 작업 리소스의
jobReference
섹션에 있는location
속성에 사용자 위치를 지정합니다.source URIs
속성은gs://BUCKET/OBJECT
형식으로 정규화되어야 합니다. 각 URI는 '*' 와일드 카드 문자 하나를 포함할 수 있습니다.sourceFormat
속성을PARQUET
로 설정하여 Parquet 데이터 형식을 지정합니다.작업 상태를 확인하려면
jobs.get(JOB_ID*)
를 호출하여 JOB_ID를 초기 요청에서 반환된 작업의 ID로 바꿉니다.status.state = DONE
이면 작업이 성공적으로 완료된 것입니다.status.errorResult
속성이 있으면 요청이 실패한 것이며, 해당 객체에 무엇이 잘못되었는지 설명하는 정보가 포함됩니다. 요청이 실패하면 테이블이 생성되지 않고 데이터가 로드되지 않습니다.status.errorResult
가 없으면 작업은 성공적으로 완료되었지만 일부 행 가져오기 문제와 같은 심각하지 않은 오류가 발생했을 수 있다는 의미입니다. 심각하지 않은 오류는 반환된 작업 객체의status.errors
속성에 나열됩니다.
API 참고:
로드 작업은 원자적이며 일관적입니다. 로드 작업이 실패하면 어떤 데이터도 사용할 수 없으며, 로드 작업이 성공하면 모든 데이터를 사용할 수 있습니다.
jobs.insert
를 호출하여 로드 작업을 만들 때는 고유 ID를 생성하여jobReference.jobId
로 전달하는 것이 가장 좋습니다. 클라이언트가 알려진 작업 ID로 폴링하거나 재시도할 수 있으므로 이 방법은 네트워크 장애 시에 더욱 안정적입니다.특정 작업 ID에 대한
jobs.insert
호출은 멱등성을 가집니다. 동일한 작업 ID에 대해 원하는 만큼 재시도할 수 있으며 이러한 작업 중 최대 하나가 성공하게 됩니다.
Go
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Node.js
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
PHP
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 PHP 설정 안내를 따르세요. 자세한 내용은 BigQuery PHP API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Client.load_table_from_uri() 메서드를 사용하여 Cloud Storage에서 로드 작업을 시작합니다. Parquet를 사용하려면 LoadJobConfig.source_format 속성을 문자열PARQUET
로 설정하고 작업 구성을 job_config
인수로 load_table_from_uri()
메서드에 전달합니다.
Parquet 데이터로 테이블에 추가 또는 덮어쓰기
소스 파일에서 또는 쿼리 결과를 추가하여 테이블에 추가 데이터를 로드할 수 있습니다.
Google Cloud 콘솔에서 쓰기 환경설정 옵션을 사용하여 소스 파일 또는 쿼리 결과에서 데이터를 로드할 때 수행할 작업을 지정합니다.
추가 데이터를 테이블에 로드할 때 다음 옵션을 사용할 수 있습니다.
Console 옵션 | bq 도구 플래그 | BigQuery API 속성 | 설명 |
---|---|---|---|
비어 있으면 쓰기 | 지원되지 않음 | WRITE_EMPTY |
테이블이 비어 있는 경우에만 데이터를 씁니다. |
테이블에 추가 | --noreplace 또는 --replace=false . --[no]replace 를 지정하지 않으면 기본값은 추가임 |
WRITE_APPEND |
(기본값) 데이터를 테이블 끝에 추가합니다. |
테이블 덮어쓰기 | --replace 또는 --replace=true |
WRITE_TRUNCATE |
새 데이터를 쓰기 전에 테이블의 기존 데이터를 모두 지웁니다. 이 작업은 테이블 스키마, 행 수준 보안을 삭제하고 Cloud KMS 키도 삭제합니다. |
기존 테이블에 데이터를 로드하는 경우 로드 작업에서 데이터를 추가하거나 테이블을 덮어쓸 수 있습니다.
다음 중 하나를 사용하여 테이블을 추가하거나 덮어쓸 수 있습니다.
- Google Cloud 콘솔
- bq 명령줄 도구의
bq load
명령어 jobs.insert
API 메서드 및load
작업 구성- 클라이언트 라이브러리
Parquet 데이터가 있는 테이블을 추가하거나 덮어쓰려면 다음 안내를 따르세요.
콘솔
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
- 탐색기 창에서 프로젝트를 펼친 후 데이터 세트를 선택합니다.
- 데이터 세트 정보 섹션에서 테이블 만들기를 클릭합니다.
- 테이블 만들기 패널에서 다음 세부정보를 지정합니다.
- 소스 섹션의 다음 항목으로 테이블 만들기 목록에서 Google Cloud Storage를 선택합니다.
그런 후 다음 작업을 수행합니다.
- Cloud Storage 버킷에서 파일을 선택하거나 Cloud Storage URI를 입력합니다. Google Cloud 콘솔에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 생성, 추가 또는 덮어쓰려는 테이블이 포함된 데이터 세트와 동일한 위치에 있어야 합니다.
- 파일 형식으로 Parquet를 선택합니다.
- 대상 섹션에서 다음 세부정보를 지정합니다.
- 데이터 세트에서 테이블을 만들 데이터 세트를 선택합니다.
- 테이블 필드에 만들려는 테이블의 이름을 입력합니다.
- 테이블 유형 필드가 기본 테이블로 설정되어 있는지 확인합니다.
- 스키마 섹션은 그대로 놔둡니다. 스키마는 Parquet 파일에서 자체 기술됩니다.
- 선택사항: 파티션 및 클러스터 설정을 지정합니다. 자세한 내용은 파티션을 나눈 테이블 만들기 및 클러스터링된 테이블 만들기 및 사용을 참조하세요. 추가하거나 덮어쓰는 방법으로 파티션을 나눈 테이블 또는 클러스터링된 테이블로 변환할 수 없습니다. Google Cloud 콘솔은 로드 작업에서 파티션을 나눈 테이블 또는 클러스터링된 테이블 추가 또는 덮어쓰기를 지원하지 않습니다.
- 고급 옵션을 클릭하고 다음을 수행합니다.
- 쓰기 환경설정에서 테이블에 추가 또는 테이블 덮어쓰기를 선택합니다.
- 테이블 스키마에 없는 행의 값을 무시하려면 알 수 없는 값을 선택합니다.
- Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.
- 테이블 만들기를 클릭합니다.
SQL
LOAD DATA
DDL 문을 사용합니다.
다음 예시에서는 Parquet 파일을 mytable
테이블에 추가합니다.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
쿼리 편집기에서 다음 문을 입력합니다.
LOAD DATA INTO mydataset.mytable FROM FILES ( format = 'PARQUET', uris = ['gs://bucket/path/file.parquet']);
실행을 클릭합니다.
쿼리를 실행하는 방법에 대한 자세한 내용은 대화형 쿼리 실행을 참조하세요.
bq
bq load
명령어를 --replace
플래그와 함께 입력하여 테이블을 덮어씁니다. --noreplace
플래그를 사용하여 데이터를 테이블에 추가합니다. 플래그를 지정하지 않으면 기본값은 데이터 추가입니다. --source_format
플래그를 입력하고 PARQUET
로 설정합니다. Parquet 스키마는 자체 설명적 소스 데이터에서 자동으로 검색되므로 스키마 정의를 제공할 필요가 없습니다.
(선택사항) --location
플래그를 지정하고 값을 사용자 위치로 설정합니다.
이 외에 다음과 같은 선택적 플래그가 있습니다.
--destination_kms_key
: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.
bq --location=LOCATION load \ --[no]replace \ --source_format=FORMAT \ DATASET.TABLE \ PATH_TO_SOURCE
다음을 바꿉니다.
location
: 사용자 위치입니다.--location
플래그는 선택사항입니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.format
:PARQUET
.dataset
: 기존 데이터 세트입니다.table
: 데이터를 로드할 테이블의 이름입니다.path_to_source
: 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.
예:
다음 명령어는 gs://mybucket/mydata.parquet
에서 데이터를 로드하고 mydataset
에 있는 mytable
이라는 테이블을 덮어씁니다.
bq load \
--replace \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
다음 명령어는 gs://mybucket/mydata.parquet
에서 데이터를 로드하고 mydataset
에 있는 mytable
이라는 테이블에 데이터를 추가합니다.
bq load \
--noreplace \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
bq 명령줄 도구를 사용하여 파티션을 나눈 테이블 추가 및 덮어쓰기에 대한 자세한 내용은 파티션을 나눈 테이블 데이터 추가 및 덮어쓰기를 참조하세요.
API
Cloud Storage의 소스 데이터를 가리키는
load
작업을 만듭니다.(선택사항) 작업 리소스의
jobReference
섹션에 있는location
속성에 사용자 위치를 지정합니다.source URIs
속성은gs://BUCKET/OBJECT
형식으로 정규화되어야 합니다. 여러 URI를 쉼표로 구분된 목록으로 포함할 수 있습니다. 와일드 카드도 지원됩니다.configuration.load.sourceFormat
속성을PARQUET
로 설정하여 데이터 형식을 지정합니다.configuration.load.writeDisposition
속성을WRITE_TRUNCATE
또는WRITE_APPEND
로 설정하여 쓰기 환경설정을 지정합니다.
Go
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
자바
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Node.js
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
PHP
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 PHP 설정 안내를 따르세요. 자세한 내용은 BigQuery PHP API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
Python
이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 클라이언트 라이브러리의 인증 설정을 참조하세요.
기존 테이블에 행을 추가하려면LoadJobConfig.write_disposition
속성을 WRITE_APPEND
로 설정합니다.
기존 테이블의 행을 바꾸려면 LoadJobConfig.write_disposition
속성을 WRITE_TRUNCATE
로 설정합니다.
하이브 파티션을 나눈 Parquet 데이터 로드
BigQuery는 Cloud Storage에 저장되는 파티션을 나눈 하이브 Parquet 데이터 로드를 지원하고, 하이브 파티션 열을 대상 BigQuery 관리 테이블의 열로 채웁니다. 자세한 내용은 외부에서 파티션을 나눈 데이터 로드를 참조하세요.
Parquet 변환
이 섹션에서는 Parquet 데이터를 로드할 때 BigQuery가 여러 데이터 유형을 파싱하는 방법을 설명합니다.
일부 Parquet 데이터 유형(예: INT32
, INT64
, BYTE_ARRAY
, FIXED_LEN_BYTE_ARRAY
)은 여러 BigQuery 데이터 유형으로 변환될 수 있습니다. BigQuery가 Parquet 데이터 유형을 올바르게 변환하도록 하려면 Parquet 파일에 적절한 데이터 유형을 지정합니다.
예를 들어 Parquet INT32
데이터 유형을 BigQuery DATE
데이터 유형으로 변환하려면 다음을 지정합니다.
optional int32 date_col (DATE);
BigQuery는 Parquet 데이터 유형을 다음 섹션에 설명된 BigQuery 데이터 유형으로 변환합니다.
유형 변환
BigQuery 데이터 유형 | ||
---|---|---|
BOOLEAN |
없음 | 부울 |
INT32 | 없음, INTEGER (UINT_8 , UINT_16 , UINT_32 , INT_8 , INT_16 , INT_32 ) |
INT64 |
INT32 | DECIMAL | NUMERIC, BIGNUMERIC, STRING |
INT32 |
DATE |
DATE |
INT64 |
없음, INTEGER (UINT_64 , INT_64 ) |
INT64 |
INT64 | DECIMAL | NUMERIC, BIGNUMERIC, STRING |
INT64 |
TIMESTAMP , precision=MILLIS
(TIMESTAMP_MILLIS )
|
TIMESTAMP |
INT64 |
TIMESTAMP , precision=MICROS
(TIMESTAMP_MICROS )
|
TIMESTAMP |
INT96 |
없음 | TIMESTAMP |
FLOAT |
없음 | FLOAT64 |
DOUBLE |
없음 | FLOAT64 |
BYTE_ARRAY |
없음 | BYTES |
BYTE_ARRAY |
STRING (UTF8 ) |
STRING |
FIXED_LEN_BYTE_ARRAY | DECIMAL | NUMERIC, BIGNUMERIC, STRING |
FIXED_LEN_BYTE_ARRAY |
없음 | BYTES |
중첩된 그룹은 STRUCT
유형으로 변환됩니다.
다른 Parquet 유형 및 변환 유형 조합은 지원되지 않습니다.
부호 없는 논리 유형
Parquet UINT_8
, UINT_16
, UINT_32
, UINT_64
유형은 부호가 없습니다.
BigQuery는 부호 있는 BigQuery INTEGER
열에 이러한 유형의 값을 로드할 때 부호 없는 유형으로 처리합니다. UINT_64
의 경우 부호 없는 값이 INTEGER
의 최댓값(9,223,372,036,854,775,807)을 초과하면 오류가 반환됩니다.
Decimal 논리 유형
Decimal
논리 유형은 NUMERIC
, BIGNUMERIC
, STRING
유형으로 변환할 수 있습니다. 변환된 유형은 decimal
논리 유형 및 지정된 십진수 대상 유형의 정밀도 및 확장 매개변수에 따라 다릅니다. 십진수 대상 유형을 다음과 같이 지정합니다.
jobs.insert
API를 사용하는 로드 작업의 경우:JobConfigurationLoad.decimalTargetTypes
필드를 사용합니다.- bq 명령줄 도구의
bq load
명령어를 사용하는 로드 작업의 경우:--decimal_target_types
플래그를 사용합니다. - 외부 소스가 있는 테이블에 대한 쿼리의 경우:
ExternalDataConfiguration.decimalTargetTypes
필드를 사용합니다. - DDL로 생성된 영구 외부 테이블의 경우:
decimal_target_types
옵션을 사용합니다.
Enum 논리 유형
Enum
논리 유형은 STRING
또는 BYTES
로 변환할 수 있습니다. 변환된 대상 유형을 다음과 같이 지정합니다.
jobs.insert
API를 사용하는 로드 작업의 경우:JobConfigurationLoad.parquetOptions
필드를 사용합니다.- bq 명령줄 도구의
bq load
명령어를 사용하는 로드 작업의 경우:--parquet_enum_as_string
플래그를 사용합니다. bq mk
로 만든 영구 외부 테이블의 경우:--parquet_enum_as_string
플래그를 사용합니다.
List 논리 유형
Parquet LIST
논리 유형에 스키마 추론을 사용 설정할 수 있습니다. BigQuery는 LIST
노드가 표준 양식인지 아니면 하위 호환성 규칙에 기술된 양식 중 하나인지 확인합니다.
// standard form
<optional | required> group <name> (LIST) {
repeated group list {
<optional | required> <element-type> element;
}
}
표준 양식인 경우 변환된 스키마의 LIST
노드에 해당하는 필드는 노드에 다음 스키마가 있는 것처럼 처리됩니다.
repeated <element-type> <name>
'list' 및 'element' 노드가 생략되었습니다.
jobs.insert
API를 사용하는 로드 작업의 경우:JobConfigurationLoad.parquetOptions
필드를 사용합니다.- bq 명령줄 도구의
bq load
명령어를 사용하는 로드 작업의 경우:--parquet_enable_list_inference
플래그를 사용합니다. bq mk
로 만든 영구 외부 테이블의 경우:--parquet_enable_list_inference
플래그를 사용합니다.CREATE EXTERNAL TABLE
문으로 만든 영구 외부 테이블의 경우:enable_list_inference
옵션을 사용합니다.
지리 공간 데이터
BigQuery 스키마를 GEOGRAPHY
유형으로 지정하여 STRING
열에 WKT, 16진수로 인코딩된 WKB, GeoJSON이 포함되어 있거나 BYTE_ARRAY
열에 WKB가 포함된 Parquet 파일을 로드할 수 있습니다. 자세한 내용은 지리 공간 데이터 로드를 참고하세요.
GeoParquet 파일을 로드할 수도 있습니다. 이 경우 GeoParquet 메타데이터로 설명된 열은 기본적으로 GEOGRAPHY
유형으로 해석됩니다. 명시적 스키마를 제공하여 원시 WKB 데이터를 BYTES
열에 로드할 수도 있습니다. 자세한 내용은 GeoParquet 파일 로드를 참고하세요.
열 이름 변환
열 이름은 문자(a~z, A~Z), 숫자(0~9) 또는 밑줄(_)을 포함할 수 있으며 문자나 밑줄로 시작해야 합니다. 유연한 열 이름을 사용하는 경우 BigQuery는 숫자로 열 이름을 시작할 수 있습니다. BigQuery Storage Read API 또는 BigQuery Storage Write API에서 유연한 열 이름을 사용하면 특별한 처리가 필요하므로 숫자로 열을 시작할 때 주의해야 합니다. 유연한 열 이름 지원에 대한 자세한 내용은 유연한 열 이름을 참조하세요.
열 이름 최대 길이는 300자(영문 기준)입니다. 열 이름에 다음과 같은 프리픽스를 사용할 수 없습니다.
_TABLE_
_FILE_
_PARTITION
_ROW_TIMESTAMP
__ROOT__
_COLIDENTIFIER
중복 열 이름은 대소문자가 다르더라도 허용되지 않습니다. 예를 들어 Column1
열과 column1
열은 동일하다고 간주됩니다. 열 이름 지정 규칙에 대한 자세한 내용은 GoogleSQL 참조의 열 이름을 참조하세요.
테이블 이름(예: test
)이 열 이름 중 하나와 동일한 경우(예: test
) SELECT
표현식은 test
열을 다른 모든 테이블 열이 포함된 STRUCT
로 해석합니다. 이러한 충돌을 방지하려면 다음 방법 중 하나를 사용합니다.
테이블과 테이블 열에 동일한 이름을 사용해서는 안 됩니다.
테이블에 다른 별칭을 할당합니다. 예를 들어 다음 쿼리는 테이블 별칭
t
를project1.dataset.test
테이블에 할당합니다.SELECT test FROM project1.dataset.test AS t;
열을 참조할 때 테이블 이름을 포함합니다. 예를 들면 다음과 같습니다.
SELECT test.test FROM project1.dataset.test;
유연한 열 이름
영어 외 언어의 문자와 추가 기호에 대한 확장된 액세스를 포함하여 더욱 유연하게 열 이름을 지정할 수 있습니다.
유연한 열 이름은 다음 문자를 지원합니다.
- 유니코드 정규 표현식
\p{L}
로 표현되는 모든 언어의 문자 - 유니코드 정규 표현식
\p{N}
로 표현되는 모든 언어의 숫자 - 유니코드 정규 표현식
\p{Pc}
로 표현되는 밑줄을 포함한 모든 커넥터 구두점 문자 - 유니코드 정규 표현식
\p{Pd}
로 표현되는 하이픈 또는 대시 - 유니코드 정규 표현식
\p{M}
로 표현되는 다른 문자를 포함하기 위한 표시 (예: 악센트, 움라우트 또는 바깥쪽 상자) - 다음과 같은 특수문자가 지원됩니다.
- 유니코드 정규 표현식
\u0026
로 표현되는 앰퍼샌드(&
) - 유니코드 정규 표현식
\u0025
로 표현되는 퍼센트 기호(%
) - 유니코드 정규 표현식
\u003D
로 표현되는 등호(=
) - 유니코드 정규 표현식
\u002B
로 표현되는 더하기 기호(+
) - 유니코드 정규 표현식
\u003A
로 표현되는 콜론(:
) - 유니코드 정규 표현식
\u0027
로 표현되는 아포스트로피('
) - 유니코드 정규 표현식
\u003C
로 표현되는 미만 기호(<
) - 유니코드 정규 표현식
\u003E
로 표현되는 초과 기호(>
) - 유니코드 정규 표현식
\u0023
으로 표현되는 숫자 기호(#
) - 유니코드 정규 표현식
\u007c
로 표현되는 세로 선(|
) - 공백.
- 유니코드 정규 표현식
유연한 열 이름은 다음과 같은 특수문자를 지원하지 않습니다.
- 유니코드 정규 표현식
\u0021
로 표현되는 느낌표(!
) - 유니코드 정규 표현식
\u0022
로 표현되는 따옴표("
) - 유니코드 정규 표현식
\u0024
로 표현되는 달러 기호($
) - 유니코드 정규 표현식
\u0028
로 표현되는 왼쪽 괄호((
) - 유니코드 정규 표현식
\u0029
로 표현되는 오른쪽 괄호()
) - 유니코드 정규 표현식
\u002A
로 표현되는 별표(*
) - 유니코드 정규 표현식
\u002C
로 표현되는 쉼표(,
) - 유니코드 정규 표현식
\u002E
로 표현되는 마침표(.
) - 유니코드 정규 표현식
\u002F
로 표현되는 슬래시(/
) - 유니코드 정규 표현식
\u003B
로 표현되는 세미콜론(;
) - 유니코드 정규 표현식
\u003F
로 표현되는 물음표(?
) - 유니코드 정규 표현식
\u0040
으로 표현되는 골뱅이 부호(@
) - 유니코드 정규 표현식
\u005B
로 표현되는 왼쪽 대괄호([
) - 유니코드 정규 표현식
\u005C
로 표현되는 백슬래시(\
) - 유니코드 정규 표현식
\u005D
로 표현되는 오른쪽 대괄호(]
) - 유니코드 정규 표현식
\u005E
로 표현되는 곡절 악센트(^
) - 유니코드 정규 표현식
\u0060
으로 표현되는 강세 부호(`
) - 유니코드 정규 표현식
\u007B
로 표현되는 왼쪽 중괄호({
) - 유니코드 정규 표현식
\u007D
로 표현되는 오른쪽 중괄호(}
) - 유니코드 정규 표현식
\u007E
로 표현되는 물결표(~
)
추가 가이드라인은 열 이름을 참조하세요.
확장된 열 문자는 BigQuery Storage Read API와 BigQuery Storage Write API 모두에서 지원됩니다. BigQuery Storage Read API에서 확장된 유니코드 문자 목록을 사용하려면 플래그를 설정해야 합니다. displayName
속성을 사용하여 열 이름을 가져올 수 있습니다. 다음 예시에서는 Python 클라이언트에서 플래그를 설정하는 방법을 보여줍니다.
from google.cloud.bigquery_storage import types
requested_session = types.ReadSession()
#set avro serialization options for flexible column.
options = types.AvroSerializationOptions()
options.enable_display_name_attribute = True
requested_session.read_options.avro_serialization_options = options
BigQuery Storage Write API에서 확장된 유니코드 문자 목록을 사용하려면 JsonStreamWriter
작성자 객체를 사용하지 않는 한 column_name
표기법으로 스키마를 제공해야 합니다. 다음 예시에서는 스키마를 제공하는 방법을 보여줍니다.
syntax = "proto2";
package mypackage;
// Source protos located in github.com/googleapis/googleapis
import "google/cloud/bigquery/storage/v1/annotations.proto";
message FlexibleSchema {
optional string item_name_column = 1
[(.google.cloud.bigquery.storage.v1.column_name) = "name-列"];
optional string item_description_column = 2
[(.google.cloud.bigquery.storage.v1.column_name) = "description-列"];
}
이 예시에서 item_name_column
및 item_description_column
은 프로토콜 버퍼의 이름 지정 규칙을 준수해야 하는 자리표시자 이름입니다. column_name
주석은 항상 자리표시자 이름보다 우선 적용됩니다.
제한사항
외부 테이블에서는 유연한 열 이름이 지원되지 않습니다.
열 이름에 마침표(.)가 있는 열이 포함된 Parquet 파일을 로드할 수 없습니다.
Parquet 열 이름에 다른 문자(마침표 이외)가 포함되면 이 문자는 밑줄로 바뀝니다. 충돌을 방지하기 위해 열 이름 끝에 밑줄을 추가할 수 있습니다. 예를 들어 Parquet 파일에 Column1
및 column1
열 2개가 포함된 경우 열은 각각 Column1
과 column1_
로 로드됩니다.
Parquet 파일 디버깅
로드 작업이 데이터 오류로 실패하면 PyArrow를 사용해서 Parquet 데이터 파일이 손상되었는지 확인할 수 있습니다. PyArrow가 파일을 읽지 못하면 BigQuery 로드 작업에서 파일이 거부될 수 있습니다. 다음 예시에서는 PyArrow를 사용하여 Parquet 파일의 콘텐츠를 읽는 방법을 보여줍니다.
from pyarrow import parquet as pq
# Read the entire file
pq.read_table('your_sample_file.parquet')
# Read specific columns
pq.read_table('your_sample_file.parquet',columns=['some_column', 'another_column'])
# Read the metadata of specific columns
file_metadata=pq.read_metadata('your_sample_file.parquet')
for col in file_metadata.row_group(0).to_dict()['columns']:
print col['column_path_in_schema']
print col['num_values']
자세한 내용은 PyArrow 문서를 참조하세요.