스키마 지정

BigQuery를 사용하면 데이터를 테이블에 로드할 때와 빈 테이블을 만들 때 테이블의 스키마를 지정할 수 있습니다. 또는 지원되는 데이터 형식의 스키마 자동 감지를 사용할 수 있습니다.

Avro, Parquet, ORC, Firestore 내보내기 파일 또는 Datastore 내보내기 파일을 로드하면 스키마가 자체 설명적 소스 데이터에서 자동으로 검색됩니다.

다음 방법 중 하나로 테이블의 스키마를 지정할 수 있습니다.

• 스키마 수동 지정:
  • Cloud Console 사용
  • 기본 BigQuery 웹 UI 사용
  • 명령줄 인터페이스 사용 인라인
• JSON 형식으로 스키마 만들기
• jobs.insert 메서드를 호출하고 load 작업 구성에서 schema 속성을 구성합니다.
• tables.insert 메서드를 호출하고 테이블 리소스 에서 schema 속성을 사용하여 스키마를 구성합니다.

데이터를 로드하거나 빈 테이블을 만든 후 테이블의 스키마 정의를 수정할 수 있습니다.

스키마 구성요소

테이블 스키마를 지정하는 경우, 각 열의 이름과 데이터 유형을 제공해야 합니다. 선택적으로 열의 설명과 모드를 제공할 수도 있습니다.

열 이름

열 이름은 문자(a-z, A-Z), 숫자(0-9) 또는 밑줄(_)만 포함해야 하며 문자 또는 밑줄로 시작해야 합니다. 최대 열 이름 길이는 128자입니다. 열 이름은 다음과 같은 프리픽스를 사용할 수 없습니다.

• _TABLE_
• _FILE_
• _PARTITION

중복 열 이름은 대소문자가 다르더라도 허용되지 않습니다. 예를 들어 Column1 열과 column1 열은 동일한 열로 간주됩니다.

열 설명

각 열에는 선택적 설명이 포함될 수 있습니다. 설명은 최대 1,024자의 문자열입니다.

표준 SQL 데이터 유형

BigQuery 표준 SQL을 사용하면 스키마에서 다음 데이터 유형을 지정할 수 있습니다. 데이터 유형은 필수 항목입니다.

이름	데이터 유형	설명
정수	INT64	소수 구성요소가 없는 숫자 값
부동 소수점	FLOAT64	소수 구성요소가 있는 대략적인 숫자 값
숫자	NUMERIC	소수 구성요소가 있는 정확한 숫자 값
부울	BOOL	TRUE 또는 FALSE(대소문자 구분)
문자열	STRING	가변 길이 문자(유니코드) 데이터
바이트	BYTES	가변 길이 바이너리 데이터
날짜	DATE	논리적 달력 날짜
날짜/시간	DATETIME	년, 월, 일, 시간, 분, 초, 초 미만
시간	TIME	특정 날짜와 무관한 시간
타임스탬프	TIMESTAMP	마이크로초 정밀도의 절대 시점
구조(레코드)	STRUCT	각각 유형(필수)과 필드 이름(선택사항)이 있는 정렬된 필드의 컨테이너
지리	GEOGRAPHY	지구 표면의 점 집합(WGS84 참조 회전 타원체상의 점, 선, 다각형으로 구성된 집합, 측지 에지 포함)

표준 SQL의 데이터 유형에 대한 자세한 내용은 표준 SQL 데이터 유형을 참조하세요.

데이터를 쿼리할 때 배열 유형을 선언할 수도 있습니다. 자세한 내용은 배열을 사용한 작업을 참조하세요.

모드

BigQuery는 열에 대해 다음 모드를 지원합니다. 모드는 선택사항입니다. 모드가 지정되지 않으면 열은 기본적으로 NULLABLE로 설정됩니다.

모드	설명
Null 허용	열에서 NULL 값 허용(기본값)
필수	NULL 값이 허용되지 않음
반복	열에 지정된 유형의 값 배열 포함

모드에 대한 자세한 내용은 TableFieldSchema에서 mode를 참조하세요.

스키마 수동 지정

데이터를 로드하거나 빈 테이블을 만들 때 Cloud Console, 기본 BigQuery 웹 UI 또는 명령줄 도구를 사용하여 테이블의 스키마를 수동으로 지정할 수 있습니다. CSV 및 JSON(줄바꿈으로 구분됨) 파일을 로드하면 스키마를 수동으로 지정할 수 있습니다. Avro, Parquet, ORC, Firestore 내보내기 데이터 또는 Datastore 내보내기 데이터를 로드하면 스키마가 자체 설명적 소스 데이터에서 자동으로 검색됩니다.

테이블 스키마를 수동으로 지정하려면 다음 안내를 따르세요.

Console

Cloud Console에서 필드 추가 옵션 또는 텍스트로 편집 옵션을 사용하여 스키마를 지정할 수 있습니다.

1. Cloud Console에서 BigQuery 웹 UI를 엽니다.
   Cloud Console로 이동

2. 탐색 패널의 리소스 섹션에서 데이터세트를 선택합니다.

3. 창의 오른쪽에 있는 테이블 만들기를 클릭합니다.

   

4. 테이블 만들기 페이지의 소스 섹션에서 빈 테이블을 선택합니다.

5. 테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.

   • 데이터세트 이름에 적절한 데이터세트를 선택합니다.

     

   • 테이블 이름 필드에 생성할 테이블의 이름을 입력합니다.

   • 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.

6. 스키마 섹션에 스키마 정의를 입력합니다.

   • 옵션 1: 필드 추가를 사용하고 각 필드의 이름, 유형, 모드를 지정합니다. Cloud Console에서 필드 추가 옵션을 사용하면 필드 설명을 추가할 수 없습니다. 하지만 데이터를 로드한 후 UI에서 필드 설명을 수동으로 추가할 수 있습니다.
   • 옵션 2: 텍스트로 편집을 클릭하고 JSON 배열 형식으로 스키마를 붙여넣습니다. JSON 배열을 사용하는 경우 JSON 스키마 파일 만들기와 동일한 프로세스로 스키마를 생성합니다.

7. 테이블 만들기를 클릭합니다.

기본 UI

기본 BigQuery 웹 UI에서 필드 추가 옵션 또는 텍스트로 편집 옵션을 사용하여 스키마를 지정할 수 있습니다.

1. BigQuery 웹 UI로 이동합니다.

   BigQuery 웹 UI로 이동

2. 탐색에서 데이터세트 이름 옆에 있는 아래쪽 화살표 아이콘 을 클릭하고 새 테이블 만들기를 클릭합니다.

3. 테이블 만들기 페이지에서 다음을 수행합니다.

   • 소스 데이터에서 소스로부터 만들기를 클릭하거나(데이터를 로드하는 경우) 빈 테이블 만들기를 클릭합니다.
   • 대상 테이블에서 데이터세트를 선택하고 대상 테이블 이름 필드에 테이블 이름을 입력합니다.

   • 스키마에서 다음 옵션 중 하나를 선택하여 스키마를 수동으로 지정합니다.

     • 옵션 1: 필드 추가를 사용하고 각 필드의 이름, 유형, 모드를 지정합니다. BigQuery 웹 UI에서 필드 추가 옵션을 사용하면 필드 설명을 추가할 수 없습니다. 하지만 데이터를 로드한 후 UI에서 필드 설명을 수동으로 추가할 수 있습니다.

       

     • 옵션 2: 텍스트로 편집을 클릭하고 JSON 배열 형식으로 스키마를 붙여넣습니다. JSON 배열을 사용하는 경우 JSON 스키마 파일 만들기와 동일한 프로세스로 스키마를 생성합니다.

       

   • 테이블 만들기를 클릭합니다.

bq

다음을 사용하여 field:data_type,field:data_type 형식으로 스키마 인라인을 수동으로 입력합니다.

• 데이터를 로드할 경우 load 명령어
• 빈 테이블을 만들 경우 mk 명령어

명령줄에서 스키마를 지정할 때는 RECORD(STRUCT) 유형을 포함하거나, 열 설명을 포함하거나, 열 모드를 지정할 수 없습니다. 모든 모드는 기본적으로 NULLABLE로 설정됩니다. 설명, 모드, RECORD 유형을 포함하려면 대신 JSON 스키마 파일을 지정합니다.

인라인 스키마 정의를 사용하여 테이블에 데이터를 로드하려면 load 명령어를 입력하고 --source_format 플래그를 사용하여 데이터 형식을 지정합니다. 기본 프로젝트가 아닌 다른 프로젝트의 테이블에 데이터를 로드하려면 프로젝트 ID를 project_id:dataset.table_name 형식으로 포함합니다.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

bq --location=location load \
--source_format=format \
project_id:dataset.table_name \
path_to_source \
schema

다음을 바꿉니다.

• location: 위치의 이름입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용하는 경우 플래그 값을 asia-northeast1로 설정하면 됩니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
• format: NEWLINE_DELIMITED_JSON 또는 CSV입니다.
• project_id:dataset.table_name: 프로젝트 ID입니다.
• project_id:dataset.table_name: 데이터를 로드할 테이블이 포함된 데이터세트입니다.
• project_id:dataset.table_name: 데이터를 로드할 테이블의 이름입니다.
• path_to_source: 로컬 머신 또는 Cloud Storage에서 CSV 또는 JSON 데이터 파일의 위치입니다.
• schema: 인라인 스키마 정의입니다.

예시:

다음 명령어를 입력하면 myfile.csv이라는 로컬 CSV 파일의 데이터가 기본 프로젝트의 mydataset.mytable에 로드됩니다. 스키마는 인라인으로 수동 지정됩니다.

bq load \
--source_format=CSV \
mydataset.mytable \
./myfile.csv \
qtr:STRING,sales:FLOAT,year:STRING

데이터를 BigQuery에 로드하는 방법에 대한 자세한 내용은 데이터 로드 소개를 참조하세요.

빈 테이블을 만들 때 인라인 스키마 정의를 지정하려면 --table 또는 -t 플래그와 함께 mk 명령어를 입력합니다. 기본 프로젝트가 아닌 다른 프로젝트에서 테이블을 만드는 경우 프로젝트 ID를 project_id:dataset.table 형식으로 명령어에 추가합니다.

bq mk --table project_id:dataset.table schema

다음을 바꿉니다.

• project_id: 프로젝트 ID입니다.
• dataset: 프로젝트의 데이터세트입니다.
• table: 생성할 테이블의 이름입니다.
• schema: 인라인 스키마 정의입니다.

예를 들어 다음 명령어는 기본 프로젝트에 mytable이라는 빈 테이블을 만듭니다. 스키마는 인라인으로 수동 지정됩니다.

bq mk --table mydataset.mytable qtr:STRING,sales:FLOAT,year:STRING

빈 테이블 만들기에 대한 자세한 내용은 스키마 정의를 사용하여 빈 테이블 만들기를 참조하세요.

C#

데이터를 테이블에 로드할 때 테이블의 스키마를 지정하려면 다음 명령어를 실행합니다.

GitHub에서 보기

using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryLoadTableGcsJson
{
    public void LoadTableGcsJson(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var gcsURI = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
        var dataset = client.GetDataset(datasetId);
        var schema = new TableSchemaBuilder {
            { "name", BigQueryDbType.String },
            { "post_abbr", BigQueryDbType.String }
        }.Build();
        TableReference destinationTableRef = dataset.GetTableReference(
            tableId: "us_states");
        // Create job configuration
        var jobOptions = new CreateLoadJobOptions()
        {
            SourceFormat = FileFormat.NewlineDelimitedJson
        };
        // Create and run job
        BigQueryJob loadJob = client.CreateLoadJob(
            sourceUri: gcsURI, destination: destinationTableRef,
            schema: schema, options: jobOptions);
        loadJob.PollUntilCompleted();  // Waits for the job to complete.
        // Display the number of rows uploaded
        BigQueryTable table = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Loaded {table.Resource.NumRows} rows to {table.FullyQualifiedId}");
    }
}

빈 테이블을 만들 때 스키마를 지정하려면 다음 명령어를 실행합니다.

GitHub에서 보기

using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCreateTable
{
    public BigQueryTable CreateTable(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var dataset = client.GetDataset(datasetId);
        // Create schema for new table.
        var schema = new TableSchemaBuilder
        {
            { "full_name", BigQueryDbType.String },
            { "age", BigQueryDbType.Int64 }
        }.Build();
        // Create the table
        return dataset.CreateTable(tableId: "your_table_id", schema: schema);
    }
}

Go

데이터를 테이블에 로드할 때 테이블의 스키마를 지정하려면 다음 명령어를 실행합니다.

GitHub에서 보기

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// importJSONExplicitSchema demonstrates loading newline-delimited JSON data from Cloud Storage
// into a BigQuery table and providing an explicit schema for the data.
func importJSONExplicitSchema(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states.json")
	gcsRef.SourceFormat = bigquery.JSON
	gcsRef.Schema = bigquery.Schema{
		{Name: "name", Type: bigquery.StringFieldType},
		{Name: "post_abbr", Type: bigquery.StringFieldType},
	}
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteEmpty

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}
	return nil
}

빈 테이블을 만들 때 스키마를 지정하려면 다음 명령어를 실행합니다.

GitHub에서 보기

import (
	"context"
	"fmt"
	"time"

	"cloud.google.com/go/bigquery"
)

// createTableExplicitSchema demonstrates creating a new BigQuery table and specifying a schema.
func createTableExplicitSchema(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydatasetid"
	// tableID := "mytableid"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	sampleSchema := bigquery.Schema{
		{Name: "full_name", Type: bigquery.StringFieldType},
		{Name: "age", Type: bigquery.IntegerFieldType},
	}

	metaData := &bigquery.TableMetadata{
		Schema:         sampleSchema,
		ExpirationTime: time.Now().AddDate(1, 0, 0), // Table will be automatically deleted in 1 year.
	}
	tableRef := client.Dataset(datasetID).Table(tableID)
	if err := tableRef.Create(ctx, metaData); err != nil {
		return err
	}
	return nil
}

Python

데이터를 테이블에 로드할 때 테이블의 스키마를 지정하려면 LoadJobConfig.schema 속성을 구성합니다.

GitHub에서 보기

# from google.cloud import bigquery
# client = bigquery.Client()
# dataset_id = 'my_dataset'

dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.schema = [
    bigquery.SchemaField("name", "STRING"),
    bigquery.SchemaField("post_abbr", "STRING"),
]
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.json"

load_job = client.load_table_from_uri(
    uri,
    dataset_ref.table("us_states"),
    location="US",  # Location must match that of the destination dataset.
    job_config=job_config,
)  # API request
print("Starting job {}".format(load_job.job_id))

load_job.result()  # Waits for table load to complete.
print("Job finished.")

destination_table = client.get_table(dataset_ref.table("us_states"))
print("Loaded {} rows.".format(destination_table.num_rows))

빈 테이블을 만들 때 스키마를 지정하려면 Table.schema 속성을 구성합니다.

GitHub에서 보기

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to create.
# table_id = "your-project.your_dataset.your_table_name"

schema = [
    bigquery.SchemaField("full_name", "STRING", mode="REQUIRED"),
    bigquery.SchemaField("age", "INTEGER", mode="REQUIRED"),
]

table = bigquery.Table(table_id, schema=schema)
table = client.create_table(table)  # Make an API request.
print(
    "Created table {}.{}.{}".format(table.project, table.dataset_id, table.table_id)
)

JSON 스키마 파일 지정

스키마를 수동으로 지정하지 않으려면 명령줄 인터페이스로 사용할 JSON 스키마 파일을 만들 수 있습니다. JSON 스키마 파일은 다음을 포함하는 JSON 배열로 구성됩니다.

• (선택사항) 열의 설명
• 열 이름
• 열의 데이터 유형
• (선택사항) 열의 모드(지정하지 않으면 모드 기본값은 NULLABLE)

참고: Cloud Console이나 기본 BigQuery 웹 UI에서 텍스트로 편집 옵션을 사용하여 스키마 파일에서 만든 JSON 배열을 지정할 수도 있으며, API에서 schema 속성을 구성하는 시작점으로 사용할 수 있습니다.

JSON 스키마 파일 만들기

JSON 스키마 파일을 만들려면 적절한 텍스트 편집기를 사용하여 다음을 입력합니다.

[
 {
   "description": "[DESCRIPTION]",
   "name": "[NAME]",
   "type": "[TYPE]",
   "mode": "[MODE]"
 },
 {
   "description": "[DESCRIPTION]",
   "name": "[NAME]",
   "type": "[TYPE]",
   "mode": "[MODE]"
 }
]

JSON 배열은 시작 및 끝 괄호 []로 나타냅니다. 각 열 항목을 쉼표(},)로 구분해야 합니다.

다음 명령어를 입력하여 기존 테이블 스키마를 로컬 파일에 작성할 수 있습니다.

bq show \
--schema \
--format=prettyjson \
project_id:dataset.table > path_to_file

출력 파일을 고유 JSON 스키마 파일에 대한 시작점으로 사용할 수 있습니다. 이 방식을 사용하는 경우, 파일에 테이블의 스키마를 나타내는 JSON 배열만 포함되도록 해야 합니다.

예를 들어 다음 JSON 배열은 기본 테이블 스키마를 나타냅니다. 이 스키마에는 3개의 열 qtr(REQUIREDSTRING), rep(NULLABLESTRING), sales(NULLABLEFLOAT)이 있습니다.

[
  {
    "description": "quarter",
    "mode": "REQUIRED",
    "name": "qtr",
    "type": "STRING"
  },
  {
    "description": "sales representative",
    "mode": "NULLABLE",
    "name": "rep",
    "type": "STRING"
  },
  {
    "description": "total sales",
    "mode": "NULLABLE",
    "name": "sales",
    "type": "FLOAT"
  }
]

JSON 스키마 파일 사용

JSON 스키마 파일을 만든 후 명령줄에서 이 파일을 지정할 수 있습니다. Cloud Console, 기본 BigQuery 웹 UI 또는 API에서는 스키마 파일을 사용할 수 없습니다.

다음을 사용하여 스키마 파일을 수동으로 지정합니다.

• 데이터를 로드할 경우 load 명령어
• 빈 테이블을 만들 경우 mk 명령어

JSON 스키마 파일을 지정할 때 로컬에서 읽을 수 있는 위치에 파일을 저장해야 합니다. Cloud Storage 또는 드라이브에 저장된 JSON 스키마 파일을 지정할 수 없습니다.

데이터 로드 시 스키마 파일 지정

다음 명령어는 JSON 파일의 스키마 정의를 사용하여 데이터를 테이블에 로드합니다.

bq --location=location load \
--source_format=format \
project_id:dataset.table \
path_to_data_file \
path_to_schema_file

다음을 바꿉니다.

• location: 위치의 이름입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용하는 경우 플래그 값을 asia-northeast1로 설정하면 됩니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
• format: NEWLINE_DELIMITED_JSON 또는 CSV입니다.
• project_id: 프로젝트 ID입니다.
• dataset: 데이터를 로드할 테이블이 포함된 데이터세트입니다.
• table: 데이터를 로드할 테이블의 이름입니다.
• path_to_data_file: 로컬 머신 또는 Cloud Storage에서 CSV 또는 JSON 데이터 파일의 위치입니다.
• path_to_schema_file: 로컬 머신에 있는 스키마 파일의 경로입니다.

예시:

다음 명령어를 입력하면 myfile.csv이라는 로컬 CSV 파일의 데이터가 기본 프로젝트의 mydataset.mytable에 로드됩니다. 스키마는 myschema.json에 지정됩니다.

bq load --source_format=CSV mydataset.mytable ./myfile.csv ./myschema.json

테이블 생성 시 스키마 파일 지정

다음 명령어는 JSON 파일의 스키마 정의를 사용하여 기존 데이터세트에 빈 테이블을 만듭니다.

bq mk --table project_id:dataset.table path_to_schema_file

다음을 바꿉니다.

• project_id: 프로젝트 ID입니다.
• dataset: 프로젝트의 데이터세트입니다.
• table: 생성할 테이블의 이름입니다.
• path_to_schema_file: 로컬 머신에 있는 스키마 파일의 경로입니다.

예를 들어 다음 명령어는 기본 프로젝트의 mydataset에 mytable이라는 테이블을 만듭니다. 스키마는 myschema.json에 지정됩니다.

bq mk --table mydataset.mytable ./myschema.json

API에서 스키마 지정

다음과 같은 방법으로 API를 사용하여 테이블 스키마를 지정할 수 있습니다.

• 데이터를 로드할 때 스키마를 지정하려면 jobs.insert 메서드를 호출하고 JobConfigurationLoad 리소스에서 schema 속성을 구성합니다.

• 테이블을 만들 때 스키마를 지정하려면 tables.insert 메서드를 호출하고 Table 리소스에서 schema 속성을 구성합니다.

API를 사용하여 스키마를 지정하는 프로세스는 JSON 스키마 파일 만들기 프로세스와 유사합니다.

다음 단계

• 스키마 정의에서 중첩 및 반복 열 지정 방법 알아보기
• 스키마 자동 감지 알아보기
• BigQuery에 데이터를 로드하는 방법 알아보기
• 테이블 만들기 및 사용 방법 알아보기