Cloud Storage에서 Avro 데이터 로드

Cloud Storage에서 Avro 파일 로드

Avro는 직렬화된 데이터를 같은 파일에서 데이터 스키마와 함께 묶는 오픈소스 데이터 형식입니다.

Cloud Storage에서 Avro 데이터를 로드할 때 새 테이블 또는 파티션에 데이터를 로드하거나 기존 테이블 또는 파티션에 추가하거나 덮어쓸 수 있습니다. BigQuery에 로드한 데이터는 Capacitor용 열 형식(BigQuery의 스토리지 형식)으로 변환됩니다.

Cloud Storage에서 BigQuery 테이블로 데이터를 로드하는 경우 테이블을 포함한 데이터세트는 Cloud Storage 버킷과 같은 리전이나 멀티 리전 위치에 있어야 합니다.

로컬 파일에서 Avro 데이터를 로드하는 자세한 내용은 로컬 데이터 소스에서 BigQuery로 데이터 로드를 참조하세요.

Avro의 장점

Avro는 BigQuery로 데이터를 로드할 때 권장되는 형식입니다. Avro 파일을 로드하면 CSV 및 JSON(줄바꿈으로 구분됨)에 비해 다음과 같은 이점이 있습니다.

Avro 바이너리 형식:
- 로드가 빠릅니다. 데이터 블록이 압축된 경우에도 데이터를 병렬로 읽을 수 있습니다.
- 유형 설정이나 직렬화가 필요 없습니다.
- ASCII와 같은 다른 형식에서 인코딩 문제가 없으므로 파싱이 간편합니다.
Avro 파일을 BigQuery로 로드하면 테이블 스키마를 자체 설명적 소스 데이터로부터 자동으로 가져옵니다.

Avro 스키마

Avro 파일을 BigQuery로 로드하면 테이블 스키마를 소스 데이터로부터 자동으로 가져옵니다. BigQuery가 소스 데이터에서 스키마를 검색할 때는 알파벳순으로 마지막 파일이 사용됩니다.

예를 들어 Cloud Storage에 다음과 같은 Avro 파일이 있습니다.

gs://mybucket/00/
  a.avro
  z.avro
gs://mybucket/01/
  b.avro

bq 명령줄 도구로 이 명령어를 실행하면 모든 파일(쉼표로 구분된 목록)이 로드되고 스키마가 mybucket/01/b.avro에서 파생됩니다.

bq load \
--source_format=AVRO \
dataset.table \
"gs://mybucket/00/*.avro","gs://mybucket/01/*.avro"

Avro 스키마가 서로 다른 Avro 파일을 여러 개 가져오는 경우, 모든 스키마는 Avro의 스키마 해상도와 호환되어야 합니다.

BigQuery가 스키마를 감지하면 일부 Avro 데이터 유형은 BigQuery SQL 구문과 호환되도록 BigQuery 데이터 유형으로 변환됩니다. 자세한 내용은 Avro 변환을 참조하세요.

Avro 압축

BigQuery는 Avro 파일에서 데이터 블록에 다음과 같은 압축 코덱을 지원합니다.

Snappy
DEFLATE

필수 권한

BigQuery에 데이터를 로드할 때는 로드 작업을 실행할 수 있는 권한과 새로 만들거나 기존에 있던 BigQuery 테이블 및 파티션에 데이터를 로드할 수 있는 권한이 필요합니다. Cloud Storage에서 데이터를 로드할 경우 데이터가 포함된 버킷에 대한 액세스 권한도 필요합니다.

BigQuery 권한

BigQuery에 데이터를 로드하려면 최소한 다음 권한이 필요합니다. 이들 권한은 새로운 테이블 또는 파티션에 데이터를 로드할 때나 테이블 또는 파티션을 추가하거나 덮어쓸 때 필요합니다.

bigquery.tables.create
bigquery.tables.updateData
bigquery.jobs.create

다음과 같은 사전 정의된 IAM 역할에는 bigquery.tables.create 권한과 bigquery.tables.updateData 권한이 모두 포함되어 있습니다.

bigquery.dataEditor
bigquery.dataOwner
bigquery.admin

다음과 같은 사전 정의된 IAM 역할에는 bigquery.jobs.create 권한이 포함되어 있습니다.

bigquery.user
bigquery.jobUser
bigquery.admin

또한 bigquery.datasets.create 권한이 있는 사용자는 데이터 세트를 만들 때 해당 데이터 세트에 대한 bigquery.dataOwner 액세스 권한을 부여받습니다. bigquery.dataOwner 액세스 권한이 있는 사용자는 로드 작업을 사용하여 데이터 세트에서 테이블을 만들고 업데이트할 수 있습니다.

BigQuery의 IAM 역할과 권한에 대한 자세한 내용은 액세스 제어를 참조하세요.

Cloud Storage 권한

Cloud Storage 버킷에서 데이터를 로드하려면 storage.objects.get 권한을 부여받아야 합니다. URI 와일드 카드를 사용하는 경우에는 storage.objects.list 권한도 있어야 합니다.

사전 정의된 IAM 역할 storage.objectViewer가 부여되면 storage.objects.get 및 storage.objects.list 권한이 모두 제공됩니다.

새 테이블에 Avro 데이터 로드

다음과 같은 방법으로 새 테이블에 Avro 데이터를 로드할 수 있습니다.

Cloud Console 사용
bq 명령줄 도구에서 bq load 명령어 사용
jobs.insert API 메서드를 호출하고 load 작업 구성
클라이언트 라이브러리 사용

Cloud Storage에서 새 BigQuery 테이블로 Avro 데이터를 로드하려면 다음 안내를 따르세요.

Console

Cloud Console에서 BigQuery 페이지를 엽니다.

BigQuery 페이지로 이동
탐색기 패널에서 프로젝트를 확장하고 데이터 세트를 선택합니다.

참고: 기본 환경은 미리보기 Cloud Console입니다. 미리보기 기능 숨기기를 클릭하여 일반 안정화 버전 Cloud Console로 이동한 경우 다음 단계를 수행합니다. 탐색 패널의 리소스 섹션에서 프로젝트를 확장하고 데이터 세트를 선택합니다.
세부정보 패널에서 테이블 만들기를 클릭합니다.
테이블 만들기 페이지의 소스 섹션에서 다음을 수행합니다.
- 다음 항목으로 테이블 만들기에서 Cloud Storage를 선택합니다.
- 소스 필드에서 Cloud Storage URI를 찾아보거나 직접 입력합니다. Cloud Console에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 만들려는 테이블이 포함된 데이터 세트와 같은 위치에 있어야 합니다.
- 파일 형식으로 Avro를 선택합니다.
테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.
- 데이터 세트 이름에서 적절한 데이터 세트를 선택합니다.
- 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.
- 테이블 이름 필드에 BigQuery에 만들려는 테이블의 이름을 입력합니다.
스키마 섹션은 별도의 설정이 필요하지 않습니다. 스키마는 Avro 파일에서 자체 기술됩니다.
(선택사항) 테이블 파티션을 나누려면 파티션 및 클러스터 설정에서 옵션을 선택합니다.
- 파티션을 나눈 테이블을 만들려면 파티션 없음을 클릭하고 필드로 파티션 나누기를 선택한 후 DATE 또는 TIMESTAMP 열을 선택합니다. 스키마에 DATE 또는 TIMESTAMP 열이 없으면 이 옵션을 사용할 수 없습니다.
- 수집 시간으로 파티션을 나눈 테이블을 만들려면 파티션 없음을 클릭하고 수집 시간으로 파티션 나누기를 선택합니다.
(선택사항) 파티션 필터에서 파티션 필터 필요 상자를 클릭하여 사용자가 쿼리할 파티션을 지정하는 WHERE 절을 포함하도록 요구합니다. 파티션 필터를 필수항목으로 설정하면 비용을 줄이고 성능을 높일 수 있습니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요. 파티션 없음을 선택한 경우에는 이 옵션을 사용할 수 없습니다.
(선택사항) 테이블을 클러스터링하려면 클러스터링 순서 상자에 1~4개의 필드 이름을 입력합니다.
(선택사항) 고급 옵션을 클릭합니다.
- 쓰기 환경설정의 경우 비어 있으면 쓰기를 선택한 상태로 둡니다. 이 옵션은 새 테이블을 만들어 데이터를 로드합니다.
- 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
- 알 수 없는 값에서 알 수 없는 값 무시를 선택 해제한 채로 둡니다. 이 옵션은 CSV 및 JSON 파일에만 적용됩니다.
- Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.
테이블 만들기를 클릭합니다.

bq

bq load 명령어를 사용하고, --source_format 플래그로 AVRO를 지정하고, Cloud Storage URI를 포함합니다. 단일 URI, 쉼표로 구분된 URI 목록 또는 와일드 카드가 포함된 URI를 포함할 수 있습니다.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

이 외에 다음과 같은 선택적 플래그가 있습니다.

--time_partitioning_type: 테이블에 시간 기준 파티션 나누기를 사용 설정하고 파티션 유형을 설정합니다. 가능한 값은 HOUR, DAY, MONTH, YEAR입니다. DATE, DATETIME, TIMESTAMP 열을 기준으로 파티션을 나눈 테이블을 만드는 경우 이 플래그는 선택사항입니다. 시간 기준 파티션 나누기의 기본 파티션 유형은 DAY입니다.
--time_partitioning_expiration: 시간 기준 파티션을 삭제할 시간을 초 단위로 지정하는 정수입니다. 만료 시간은 파티션의 UTC 날짜에 정수 값을 더한 값입니다.
--time_partitioning_field: 파티션을 나눈 테이블을 만드는 데 사용된 DATE 또는 TIMESTAMP 열입니다. 이 값 없이 시간 기준 파티션 나누기를 사용 설정하면 수집 시간으로 파티션을 나눈 테이블이 생성됩니다.
--require_partition_filter: 이 옵션을 사용 설정하면 사용자는 쿼리할 파티션을 지정하는 WHERE 절을 포함해야 합니다. 파티션 필터를 필수항목으로 설정하면 비용을 줄이고 성능을 높일 수 있습니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요.
--clustering_fields: 클러스터링된 테이블을 만드는 데 사용된 쉼표로 구분된 열 이름(최대 4개) 목록입니다.
--destination_kms_key: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.

파티션을 나눈 테이블에 대한 자세한 내용은 다음을 참조하세요.
- 파티션을 나눈 테이블 만들기 및 사용
- 수집 시간으로 파티션을 나눈 테이블 만들기 및 사용
클러스터링된 테이블에 대한 자세한 내용은 다음을 참조하세요.
- 클러스터링된 테이블 만들기 및 사용
테이블 암호화에 대한 자세한 내용은 다음을 참조하세요.
- Cloud KMS 키로 데이터 보호

BigQuery에 Avro 데이터를 로드하려면 다음 명령어를 입력하세요.

bq --location=location load \
--source_format=format \
dataset.table \
path_to_source

다음을 바꿉니다.

location은 사용자의 위치입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용하는 경우에는 플래그 값을 asia-northeast1으로 설정하면 됩니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
format은 AVRO입니다.
dataset는 기존 데이터 세트입니다.
table은 데이터를 로드하는 테이블 이름입니다.
path_to_source는 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.

예:

다음 명령어는 gs://mybucket/mydata.avro에서 mydataset에 있는 mytable이라는 이름의 테이블로 데이터를 로드합니다.

    bq load \
    --source_format=AVRO \
    mydataset.mytable \
    gs://mybucket/mydata.avro

다음 명령어는 gs://mybucket/mydata.avro에서 mydataset에 있는 mytable이라는 이름의 수집 시간으로 파티션을 나눈 테이블로 데이터를 로드합니다.

    bq load \
    --source_format=AVRO \
    --time_partitioning_type=DAY \
    mydataset.mytable \
    gs://mybucket/mydata.avro

다음 명령어는 gs://mybucket/mydata.avro에서 mydataset에 있는 mytable이라는 이름의 파티션을 나눈 테이블로 데이터를 로드합니다. 테이블의 파티션은 mytimestamp 열을 기준으로 나뉩니다.

    bq load \
    --source_format=AVRO \
    --time_partitioning_field mytimestamp \
    mydataset.mytable \
    gs://mybucket/mydata.avro

다음 명령어는 gs://mybucket/에 있는 여러 파일에서 mydataset에 있는 mytable이라는 테이블로 데이터를 로드합니다. Cloud Storage URI는 와일드 카드를 사용합니다.

    bq load \
    --source_format=AVRO \
    mydataset.mytable \
    gs://mybucket/mydata*.avro

다음 명령어는 gs://mybucket/에 있는 여러 파일에서 mydataset에 있는 mytable이라는 테이블로 데이터를 로드합니다. 명령어에는 와일드 카드를 사용하는 쉼표로 구분된 Cloud Storage URI 목록이 포함됩니다.

    bq load \
    --source_format=AVRO \
    mydataset.mytable \
    "gs://mybucket/00/*.avro","gs://mybucket/01/*.avro"

API

Cloud Storage의 소스 데이터를 가리키는 load 작업을 만듭니다.
(선택사항) 작업 리소스의 jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.
source URIs 속성은 gs://bucket/object 형식으로 정규화되어야 합니다. 각 URI는 '*' 와일드 카드 문자 하나를 포함할 수 있습니다.
sourceFormat 속성을 AVRO로 설정하여 Avro 데이터 형식을 지정합니다.
작업 상태를 확인하려면 jobs.get(job_id*)를 호출합니다. 여기서 job_id는 초기 요청에서 반환 된 작업의 ID입니다.
- status.state = DONE이면 작업이 성공적으로 완료된 것입니다.
- status.errorResult 속성이 있으면 요청이 실패한 것이며 해당 객체에 문제를 설명하는 정보가 포함됩니다. 요청이 실패하면 테이블이 생성되지 않고 데이터가 로드되지 않습니다.
- status.errorResult가 없으면 작업은 성공적으로 완료되었지만 일부 행 가져오기 문제와 같은 심각하지 않은 오류가 발생했을 수 있다는 의미입니다. 심각하지 않은 오류는 반환된 작업 객체의 status.errors 속성에 나열됩니다.

API 참고:

로드 작업은 원자적이며 일관적입니다. 로드 작업이 실패하면 어떤 데이터도 사용할 수 없으며, 로드 작업이 성공하면 모든 데이터를 사용할 수 있습니다.
jobs.insert를 호출하여 로드 작업을 만들 때는 고유 ID를 생성하여 jobReference.jobId로 전달하는 것이 가장 좋습니다. 클라이언트가 알려진 작업 ID로 폴링하거나 재시도할 수 있으므로 이 방법은 네트워크 장애 시에 더욱 안정적입니다.
특정 작업 ID에 대한 jobs.insert 호출은 멱등성을 가집니다. 동일한 작업 ID에 대해 원하는 만큼 재시도할 수 있으며 이러한 작업 중 최대 하나가 성공하게 됩니다.

자바

GitHub에서 보기

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.FormatOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.LoadJobConfiguration;
import com.google.cloud.bigquery.TableId;

// Sample to load Avro data from Cloud Storage into a new BigQuery table
public class LoadAvroFromGCS {

  public static void runLoadAvroFromGCS() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String sourceUri = "gs://cloud-samples-data/bigquery/us-states/us-states.avro";
    loadAvroFromGCS(datasetName, tableName, sourceUri);
  }

  public static void loadAvroFromGCS(String datasetName, String tableName, String sourceUri) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(datasetName, tableName);
      LoadJobConfiguration loadConfig =
          LoadJobConfiguration.of(tableId, sourceUri, FormatOptions.avro());

      // Load data from a GCS Avro file into the table
      Job job = bigquery.create(JobInfo.of(loadConfig));
      // Blocks until this load table job completes its execution, either failing or succeeding.
      job = job.waitFor();
      if (job.isDone()) {
        System.out.println("Avro from GCS successfully loaded in a table");
      } else {
        System.out.println(
            "BigQuery was unable to load into the table due to an error:"
                + job.getStatus().getError());
      }
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Column not added during load append \n" + e.toString());
    }
  }
}

Node.js

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the Avro file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.avro
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.avro';

async function loadTableGCSAvro() {
  // Imports a GCS file into a table with Avro source format.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'us_states';

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const jobConfigurationLoad = {
    load: {sourceFormat: 'AVRO'},
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), jobConfigurationLoad);

  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

Python

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name

job_config = bigquery.LoadJobConfig(source_format=bigquery.SourceFormat.AVRO)
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.avro"

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))

테이블에 Avro 데이터 추가 또는 덮어쓰기

소스 파일에서 또는 쿼리 결과를 추가하여 테이블에 추가 데이터를 로드할 수 있습니다.

Cloud Console에서 쓰기 환경설정 옵션을 사용하여 소스 파일 또는 쿼리 결과에서 데이터를 로드할 때 수행할 작업을 지정합니다.

추가 데이터를 테이블에 로드할 때 다음 옵션을 사용할 수 있습니다.

Console 옵션	`bq` 도구 플래그	BigQuery API 속성	설명
비어 있으면 쓰기	없음	`WRITE_EMPTY`	테이블이 비어 있는 경우에만 데이터를 씁니다.
테이블에 추가	`--noreplace` 또는 `--replace=false`. `--[no]replace`를 지정하지 않으면 기본값은 추가임	`WRITE_APPEND`	(기본값) 데이터를 테이블 끝에 추가합니다.
테이블 덮어쓰기	`--replace` 또는 `--replace=true`	`WRITE_TRUNCATE`	새 데이터를 쓰기 전에 테이블의 기존 데이터를 모두 지웁니다. 이 작업은 테이블 스키마를 삭제하고 모든 Cloud KMS 키도 삭제합니다.

기존 테이블에 데이터를 로드하는 경우 로드 작업에서 데이터를 추가하거나 테이블을 덮어쓸 수 있습니다.

다음과 같은 방법으로 테이블을 추가하거나 덮어쓸 수 있습니다.

Cloud Console 사용
bq 명령줄 도구에서 bq load 명령어 사용
jobs.insert API 메서드를 호출하고 load 작업 구성
클라이언트 라이브러리 사용

Avro 데이터가 있는 테이블을 추가하거나 덮어쓰려면 다음 안내를 따르세요.

Console

Cloud Console에서 BigQuery 페이지를 엽니다.

BigQuery 페이지로 이동
탐색기 패널에서 프로젝트를 확장하고 데이터 세트를 선택합니다.

참고: 기본 환경은 미리보기 Cloud Console입니다. 미리보기 기능 숨기기를 클릭하여 일반 안정화 버전 Cloud Console로 이동한 경우 다음 단계를 수행합니다. 탐색 패널의 리소스 섹션에서 프로젝트를 확장하고 데이터 세트를 선택합니다.
세부정보 패널에서 테이블 만들기를 클릭합니다.
테이블 만들기 페이지의 소스 섹션에서 다음을 수행합니다.
- 다음 항목으로 테이블 만들기에서 Cloud Storage를 선택합니다.
- 소스 필드에서 Cloud Storage URI를 찾아보거나 직접 입력합니다. Cloud Console에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 추가하거나 덮어쓰려는 테이블이 포함된 데이터 세트와 같은 위치에 있어야 합니다.
- 파일 형식으로 Avro를 선택합니다.
테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.
- 데이터 세트 이름에서 적절한 데이터 세트를 선택합니다.
- 테이블 이름 필드에 BigQuery에서 추가하거나 덮어쓰려는 테이블의 이름을 입력합니다.
- 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.
스키마 섹션은 별도의 설정이 필요하지 않습니다. 스키마는 Avro 파일에서 자체 기술됩니다.

참고: 추가하거나 덮어쓸 때 테이블 스키마를 수정할 수 있습니다. 로드 작업 시 지원되는 스키마 변경에 대한 자세한 내용은 테이블 스키마 수정을 참조하세요.
파티션 및 클러스터 설정에서 기본값을 그대로 둡니다. 추가하거나 덮어쓰는 방법으로 테이블을 파티션을 나눈 테이블 또는 클러스터링된 테이블로 변환할 수 없습니다. Cloud Console은 로드 작업에서 파티션을 나눈 테이블 또는 클러스터링된 테이블 추가 또는 덮어쓰기를 지원하지 않습니다.
고급 옵션을 클릭합니다.
- 쓰기 환경설정에서 테이블에 추가 또는 테이블 덮어쓰기를 선택합니다.
- 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
- 알 수 없는 값에서 알 수 없는 값 무시를 선택 해제한 채로 둡니다. 이 옵션은 CSV 및 JSON 파일에만 적용됩니다.
- Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.
테이블 만들기를 클릭합니다.

bq

bq load 명령어를 --replace 플래그와 함께 입력하여 테이블을 덮어씁니다. --noreplace 플래그를 사용하여 데이터를 테이블에 추가합니다. 플래그를 지정하지 않으면 기본값은 데이터 추가입니다. --source_format 플래그를 입력하고 AVRO로 설정합니다. Avro 스키마는 자체 설명적 소스 데이터로부터 자동으로 가져오므로 스키마 정의를 제공할 필요가 없습니다.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

이 외에 다음과 같은 선택적 플래그가 있습니다.

--destination_kms_key: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.

bq --location=location load \
--[no]replace \
--source_format=format \
dataset.table \
path_to_source

다음을 바꿉니다.

location은 사용자의 위치입니다. --location 플래그는 선택사항입니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
format은 AVRO입니다.
dataset는 기존 데이터 세트입니다.
table은 데이터를 로드하는 테이블 이름입니다.
path_to_source는 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.

예:

다음 명령어는 gs://mybucket/mydata.avro에서 데이터를 로드하고 mydataset에 있는 mytable이라는 테이블을 덮어씁니다.

    bq load \
    --replace \
    --source_format=AVRO \
    mydataset.mytable \
    gs://mybucket/mydata.avro

다음 명령어는 gs://mybucket/mydata.avro에서 데이터를 로드하고 mydataset에 있는 mytable이라는 테이블에 데이터를 추가합니다.

    bq load \
    --noreplace \
    --source_format=AVRO \
    mydataset.mytable \
    gs://mybucket/mydata.avro

bq 명령줄 인터페이스를 사용하여 파티션을 나눈 테이블 추가 및 덮어쓰기에 대한 자세한 내용은 파티션을 나눈 테이블 데이터 추가 및 덮어쓰기를 참조하세요.

API

Cloud Storage의 소스 데이터를 가리키는 load 작업을 만듭니다.
(선택사항) 작업 리소스의 jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.
source URIs 속성은 gs://bucket/object 형식으로 정규화되어야 합니다. 여러 URI를 쉼표로 구분된 목록으로 포함할 수 있습니다. 와일드 카드도 지원됩니다.
configuration.load.sourceFormat 속성을 AVRO로 설정하여 데이터 형식을 지정합니다.
configuration.load.writeDisposition 속성을 WRITE_TRUNCATE 또는 WRITE_APPEND로 설정하여 쓰기 환경설정을 지정합니다.

자바

GitHub에서 보기

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.FormatOptions;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.LoadJobConfiguration;
import com.google.cloud.bigquery.TableId;

// Sample to overwrite the BigQuery table data by loading a AVRO file from GCS
public class LoadAvroFromGCSTruncate {

  public static void runLoadAvroFromGCSTruncate() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String sourceUri = "gs://cloud-samples-data/bigquery/us-states/us-states.avro";
    loadAvroFromGCSTruncate(datasetName, tableName, sourceUri);
  }

  public static void loadAvroFromGCSTruncate(
      String datasetName, String tableName, String sourceUri) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(datasetName, tableName);
      LoadJobConfiguration loadConfig =
          LoadJobConfiguration.newBuilder(tableId, sourceUri)
              .setFormatOptions(FormatOptions.avro())
              // Set the write disposition to overwrite existing table data
              .setWriteDisposition(JobInfo.WriteDisposition.WRITE_TRUNCATE)
              .build();

      // Load data from a GCS Avro file into the table
      Job job = bigquery.create(JobInfo.of(loadConfig));
      // Blocks until this load table job completes its execution, either failing or succeeding.
      job = job.waitFor();
      if (job.isDone()) {
        System.out.println("Table is successfully overwritten by AVRO file loaded from GCS");
      } else {
        System.out.println(
            "BigQuery was unable to load into the table due to an error:"
                + job.getStatus().getError());
      }
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Column not added during load append \n" + e.toString());
    }
  }
}

Node.js

GitHub에서 보기 의견 보내기

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the Avro file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.avro
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.avro';

async function loadTableGCSAvroTruncate() {
  /**
   * Imports a GCS file into a table and overwrites
   * table data if table already exists.
   */

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'us_states';

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const jobConfigurationLoad = {
    load: {
      sourceFormat: 'AVRO',
      writeDisposition: 'WRITE_TRUNCATE',
    },
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), jobConfigurationLoad);

  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

Python

GitHub에서 보기 의견 보내기

import six

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("name", "STRING"),
        bigquery.SchemaField("post_abbr", "STRING"),
    ],
)

body = six.BytesIO(b"Washington,WA")
client.load_table_from_file(body, table_id, job_config=job_config).result()
previous_rows = client.get_table(table_id).num_rows
assert previous_rows > 0

job_config = bigquery.LoadJobConfig(
    write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE,
    source_format=bigquery.SourceFormat.AVRO,
)

uri = "gs://cloud-samples-data/bigquery/us-states/us-states.avro"
load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))

하이브 파티션을 나눈 Avro 데이터 로드

BigQuery는 Cloud Storage에 저장된 하이브 파티션을 나눈 Avro 데이터 로드를 지원하고, 대상 BigQuery 관리 테이블의 열로 하이브 파티션 열을 사용합니다. 자세한 내용은 외부에서 파티션을 나눈 Cloud Storage 데이터 로드를 참조하세요.

Avro 변환

BigQuery는 Avro 데이터 유형을 다음과 같은 BigQuery 데이터 유형으로 변환합니다.

기본 유형

logicalType 속성이 없는 Avro 데이터 유형	BigQuery 데이터 유형	참고
null	BigQuery는 이 값을 무시함
boolean	BOOLEAN
int	INTEGER
long	INTEGER
float	FLOAT
double	FLOAT
bytes	BYTES
문자열	STRING	UTF-8 전용

논리 유형

기본적으로 BigQuery는 대부분의 유형에 대해 logicalType 속성을 무시하고 대신 기본 Avro 유형을 사용합니다. Avro 논리 유형을 해당하는 BigQuery 데이터 유형으로 변환하려면 --use_avro_logical_types 플래그를 bq 명령줄 도구를 사용하는 true로 설정하거나, jobs.insert 메서드를 호출하여 로드 작업을 만들 때 작업 리소스의 useAvroLogicalTypes 속성을 설정합니다.

아래 표에는 Avro 논리 유형과 변환되는 해당 BigQuery 데이터 유형이 나와 있습니다.

Avro 논리 유형	BigQuery 데이터 유형: 논리 유형 사용 중지됨	BigQuery 데이터 유형: 논리 유형 사용 설정됨
날짜	정수	DATE
time-millis	정수	시간
time-micros	INTEGER(LONG에서 변환됨)	시간
timestamp-millis	INTEGER(LONG에서 변환됨)	TIMESTAMP
timestamp-micros	INTEGER(LONG에서 변환됨)	TIMESTAMP
지속 시간	BYTES(크기가 12인 `fixed` 유형에서 변환됨)	BYTES(크기가 12인 `fixed` 유형에서 변환됨)
decimal	NUMERIC, BIGNUMERIC 또는 STRING(Decimal 논리 유형 참조)	NUMERIC, BIGNUMERIC 또는 STRING(Decimal 논리 유형 참조)

Avro 데이터 유형에 대한 자세한 내용은 Apache Avro™ 1.8.2 사양을 참조하세요.

Decimal 논리 유형

Decimal 논리 유형은 NUMERIC, BIGNUMERIC 또는 STRING 유형으로 변환할 수 있습니다. 변환된 유형은 decimal 논리 유형 및 지정된 십진수 대상 유형의 정밀도 및 확장 매개변수에 따라 다릅니다. 십진수 대상 유형을 다음과 같이 지정합니다.

jobs.insert API를 사용하는 로드 작업의 경우: JobConfigurationLoad.decimalTargetTypes 필드를 사용합니다.
bq 명령줄 도구의 bq load 명령어를 사용하는 로드 작업의 경우: --decimal_target_types 플래그를 사용합니다.
외부 소스가 있는 테이블에 대한 쿼리의 경우: ExternalDataConfiguration.decimalTargetTypes 필드를 사용합니다.
DDL로 생성된 영구 외부 테이블: decimal_target_types 옵션을 사용합니다.

이전 버전과의 호환성을 위해, decimal 대상 유형이 지정되지 않은 경우 decimal 논리 유형이 있는 bytes 열을 포함하는 Avro 파일을 기존 테이블의 BYTES 열에 로드하세요. 이 경우 Avro 파일의 열에 있는 decimal 논리 유형은 무시됩니다. 이 변환 모드는 지원 중단되었으며 향후 삭제될 수 있습니다.

Avro decimal 논리 유형에 대한 자세한 내용은 Apache Avro™ 1.8.2 사양을 참조하세요.

복합 유형

Avro 데이터 유형	BigQuery 데이터 유형	참고
record	RECORD	별칭은 무시됩니다. 문서가 필드 설명으로 변환됩니다. 기본값은 읽기 시간에 설정됩니다. 순서가 무시됩니다. 재귀 필드가 삭제됩니다. 재귀 필드에서 첫 번째 수준의 중첩만 유지됩니다.
enum	STRING	문자열은 enum의 심볼 값입니다. 별칭은 무시됩니다. 문서가 필드 설명으로 변환됩니다.
array	반복 필드	배열의 배열은 지원되지 않습니다. NULL 형식만 포함된 배열은 무시됩니다.
map<T>	RECORD	BigQuery는 Avro map <T> 필드를 두 필드(키, 값)가 포함된 반복 RECORD로 변환합니다. BigQuery는 키를 STRING으로 저장하고 값을 BigQuery의 해당 데이터 유형으로 변환합니다.
union	Null 허용 필드 RECORD(Null 허용 필드 목록 포함)	union에 null이 아닌 유형이 하나뿐이라면 null 허용 필드로 변환됩니다. 그렇지 않으면 null 허용 필드 목록이 있는 RECORD로 변환됩니다. 이 필드 중 하나만 읽기 시점에 설정됩니다.
fixed	BYTES	별칭은 무시됩니다. 크기는 무시됩니다.