Cloud Storage에서 JSON 데이터 로드

Cloud Storage에서 JSON 파일 로드

Cloud Storage에서 줄바꿈으로 구분된 JSON 데이터를 로드할 때는 데이터를 새 테이블 또는 파티션에 로드하거나 기존 테이블 또는 파티션에 추가하거나 이를 덮어쓸 수 있습니다. BigQuery에 로드한 데이터는 Capacitor용 열 형식(BigQuery의 스토리지 형식)으로 변환됩니다.

Cloud Storage에서 BigQuery 테이블로 데이터를 로드하는 경우 테이블을 포함한 데이터세트는 Cloud Storage 버킷과 같은 리전이나 멀티 리전 위치에 있어야 합니다.

줄바꿈으로 구분된 JSON 형식은 JSON Lines 형식과 동일한 형식입니다.

로컬 파일에서 JSON 데이터를 로드하는 자세한 방법은 로컬 데이터 소스에서 BigQuery로 데이터 로드를 참조하세요.

제한사항

Cloud Storage에서 BigQuery로 JSON 데이터를 로드하는 경우, 다음에 유의하세요.

• JSON 데이터는 줄바꿈으로 구분되어야 합니다. 파일에서 각 JSON 객체가 별도의 줄에 있어야 합니다.
• gzip 압축을 사용하면 BigQuery는 데이터를 동시에 읽지 못합니다. 압축한 JSON 데이터를 BigQuery로 로드하는 작업은 비압축 데이터 로드보다 시간이 더 걸립니다.
• 압축된 파일과 압축되지 않은 파일을 같은 로드 작업에 모두 포함할 수는 없습니다.
• BigQuery는 JSON 형식의 지도나 사전을 지원하지 않습니다. 예를 들어 "product_categories": {"my_product": 40.0}은 유효하지 않지만 "product_categories": {"column1": "my_product" , "column2": 40.0}은 유효합니다.
• CSV나 JSON 데이터를 로드할 때 DATE 열의 값은 대시(-) 구분 기호를 사용해야 하며 날짜는 YYYY-MM-DD(년-월-일) 형식이어야 합니다.
• JSON이나 CSV 데이터를 로드할 때 TIMESTAMP 열의 값은 타임스탬프 날짜 부분에 대시(-) 구분 기호를 사용해야 하며 날짜는 YYYY-MM-DD(년-월-일) 형식이어야 합니다. 타임스탬프의 hh:mm:ss(시간-분-초) 부분에는 콜론(:) 구분 기호를 사용해야 합니다.

필수 권한

BigQuery에 데이터를 로드할 때는 로드 작업을 실행할 수 있는 권한과 새로 만들거나 기존에 있던 BigQuery 테이블 및 파티션에 데이터를 로드할 수 있는 권한이 필요합니다. Cloud Storage에서 데이터를 로드할 경우 데이터가 포함된 버킷에 대한 액세스 권한도 필요합니다.

BigQuery 권한

BigQuery에 데이터를 로드하려면 최소한 다음 권한이 필요합니다. 이들 권한은 새로운 테이블 또는 파티션에 데이터를 로드할 때나 테이블 또는 파티션을 추가하거나 덮어쓸 때 필요합니다.

• bigquery.tables.create
• bigquery.tables.updateData
• bigquery.jobs.create

다음과 같은 사전 정의된 Cloud IAM 역할에는 bigquery.tables.create 및 bigquery.tables.updateData 권한이 모두 포함되어 있습니다.

• bigquery.dataEditor
• bigquery.dataOwner
• bigquery.admin

다음과 같은 사전 정의된 Cloud IAM 역할에는 bigquery.jobs.create 권한이 포함되어 있습니다.

• bigquery.user
• bigquery.jobUser
• bigquery.admin

또한 bigquery.datasets.create 권한이 있는 사용자는 데이터세트를 만들 때 해당 데이터세트에 대한 bigquery.dataOwner 액세스 권한을 부여받습니다. bigquery.dataOwner 액세스 권한이 있으면 사용자는 로드 작업을 통해 데이터세트에서 테이블을 만들고 업데이트할 수 있습니다.

BigQuery의 Cloud IAM 역할 및 권한에 대한 자세한 내용은 액세스 제어를 참조하세요.

Cloud Storage 권한

Cloud Storage 버킷에서 데이터를 로드하려면 storage.objects.get 권한이 있어야 합니다. URI 와일드 카드를 사용하는 경우에는 storage.objects.list 권한도 있어야 합니다.

사전 정의된 Cloud IAM 역할 storage.objectViewer가 부여되면 storage.objects.get 및 storage.objects.list 권한이 모두 제공됩니다.

새 테이블에 JSON 데이터 로드

다음과 같은 방법으로 Cloud Storage의 줄바꿈으로 구분된 JSON 데이터를 새 BigQuery 테이블로 로드할 수 있습니다.

• Cloud Console 또는 기본 웹 UI 사용
• CLI의 bq load 명령어 사용
• jobs.insert API 메서드 호출 및 load 작업 구성
• 클라이언트 라이브러리 사용

Cloud Storage의 JSON 데이터를 새 BigQuery 테이블로 로드하려면 다음 안내를 따르세요.

Console

1. Cloud Console에서 BigQuery 웹 UI를 엽니다.
   Cloud Console로 이동

2. 탐색 패널의 리소스 섹션에서 프로젝트를 펼치고 데이터세트를 선택합니다.

3. 창의 오른쪽에 있는 세부정보 패널에서 테이블 만들기를 클릭합니다. 데이터를 로드하는 프로세스는 빈 테이블을 만드는 프로세스와 동일합니다.

   

4. 테이블 만들기 페이지의 소스 섹션에서 다음을 수행합니다.

   • 다음 항목으로 테이블 만들기에서 Cloud Storage를 선택합니다.

   • 소스 필드에서 Cloud Storage URI로 이동하거나 입력합니다. Cloud Console에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 만들려는 테이블이 포함된 데이터세트와 같은 위치에 있어야 합니다.

     

   • 파일 형식에서 JSON(줄바꿈으로 구분)을 선택합니다.

5. 테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.

   • 데이터세트 이름에서 적절한 데이터세트를 선택합니다.

     

   • 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.

   • 테이블 이름 필드에 BigQuery에 만들려는 테이블의 이름을 입력합니다.

6. 스키마 섹션의 자동 감지 아래에서 스키마 및 입력 매개변수를 확인하여 스키마 자동 감지를 사용 설정합니다. 또는 다음과 같이 스키마 정의를 수동으로 입력할 수 있습니다.

   • 텍스트로 편집을 사용 설정하고 테이블 스키마를 JSON 배열로 입력합니다.

     

     참고: bq show --format=prettyjson dataset.table과 같은 CLI 명령어를 입력하면 기존 테이블 스키마를 JSON 형식으로 볼 수 있습니다.

   • 필드 추가를 사용하여 스키마를 수동으로 입력합니다.

     

7. (선택사항) 테이블 파티션을 나누려면 파티션 및 클러스터 설정에서 옵션을 선택합니다.

   • 파티션을 나눈 테이블을 만들려면 파티션 없음을 클릭하고 필드로 파티션 나누기를 선택한 후 DATE 또는 TIMESTAMP 열을 선택합니다. 스키마에 DATE 또는 TIMESTAMP 열이 없으면 이 옵션을 사용할 수 없습니다.
   • 수집 시간으로 파티션을 나눈 테이블을 만들려면 파티션 없음을 클릭하고 수집 시간으로 파티션 나누기를 선택합니다.

8. (선택사항) 파티션 필터에서 파티션 필터 필요 상자를 클릭하여 사용자가 쿼리할 파티션을 지정하는 WHERE 절을 포함하도록 요구합니다. 파티션 필터를 필수 사항으로 설정하면 비용이 절감되고 성능이 향상될 수 있습니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요. 파티션 없음을 선택하면 이 옵션을 사용할 수 없습니다.

9. (선택사항) 테이블을 클러스터링하려면 클러스터링 순서 상자에 1~4개의 필드 이름을 입력합니다. 현재 클러스터링은 파티션을 나눈 테이블에 대해서만 지원됩니다.

10. (선택사항) 고급 옵션을 클릭합니다.

    • 쓰기 환경설정의 경우 비어 있으면 쓰기가 선택된 상태로 둡니다. 이 옵션은 새 테이블을 만들어 데이터를 로드합니다.
    • 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
    • 알 수 없는 값의 경우 알 수 없는 값 무시를 선택하면 테이블 스키마에 없는 행의 모든 값이 무시됩니다.
    • Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.

11. 테이블 만들기를 클릭합니다.

참고: Cloud Console을 사용하여 빈 테이블에 데이터를 로드하면 라벨, 설명, 테이블 만료 시간 또는 파티션 만료 시간을 추가할 수 없습니다.

테이블을 만든 후에도 테이블의 만료 시간, 설명, 라벨을 업데이트할 수 있지만, Cloud Console을 사용하여 테이블을 만든 후에 파티션 만료 시간을 추가할 수는 없습니다. 자세한 내용은 테이블 관리를 참조하세요.

기본 UI

1. BigQuery 웹 UI로 이동합니다.
   BigQuery 웹 UI로 이동

2. 탐색 패널에서 데이터세트에 마우스를 가져간 다음 아래쪽 화살표 아이콘 을 클릭한 후 새 테이블 만들기를 클릭합니다. 데이터를 로드하는 프로세스는 빈 테이블을 만드는 프로세스와 동일합니다.

3. 테이블 만들기 페이지의 소스 데이터 섹션에서 다음을 수행합니다.

   • 소스에서 만들기를 클릭합니다.
   • 위치에서 Cloud Storage를 선택하고 소스 필드에 Cloud Storage URI를 입력합니다. BigQuery 웹 UI에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 생성 중인 테이블을 포함하는 데이터세트와 같은 위치에 있어야 합니다.
   • 파일 형식에서 JSON(줄바꿈으로 구분)을 선택합니다.

4. 대상 테이블 섹션에서 다음을 수행합니다.

   • 테이블 이름으로 적절한 데이터세트를 선택하고 테이블 이름 필드에 BigQuery에서 만들 테이블의 이름을 입력합니다.
   • 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.

5. 스키마 섹션의 자동 감지 아래에서 스키마 및 입력 매개변수를 확인하여 스키마 자동 감지를 사용 설정합니다. 또는 다음과 같이 스키마 정의를 수동으로 입력할 수 있습니다.

   • 텍스트로 편집을 클릭하고 테이블 스키마를 JSON 배열로 입력합니다.

     

     참고: bq show --format=prettyjson dataset.table과 같은 CLI 명령어를 입력하면 기존 테이블 스키마를 JSON 형식으로 볼 수 있습니다.

   • 필드 추가를 사용하여 스키마를 수동으로 입력합니다.

     

6. (선택사항) 옵션 섹션에서 다음을 수행합니다.

   • 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
   • 쓰기 환경설정에서 비어 있으면 쓰기를 선택한 상태로 둡니다. 이 옵션은 새 테이블을 만들어 데이터를 로드합니다.
   • 테이블을 파티션으로 나누려면 다음 안내를 따르세요.
     • 파티션 나누기 유형에서 없음을 클릭하고 일을 선택합니다.
     • 파티션 나누기 필드:
     • 파티션을 나눈 테이블을 만들려면 DATE 또는 TIMESTAMP 열을 선택합니다. 스키마에 DATE 또는 TIMESTAMP 열이 없으면 이 옵션을 사용할 수 없습니다.
     • 수집 시간으로 파티션을 나눈 테이블을 만들려면 기본값 _PARTITIONTIME을 그대로 둡니다.
     • (선택사항) 파티션 필터 필요 상자를 클릭하여 사용자가 쿼리할 파티션을 지정하는 WHERE 절을 포함하도록 요구합니다. 파티션 필터를 필수 사항으로 설정하면 비용이 절감되고 성능이 향상될 수 있습니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요. 파티션 나누기 유형이 없음으로 설정되면 이 옵션을 사용할 수 없습니다.
   • 테이블을 클러스터링하려면 클러스터링 필드 상자에서 필드 이름을 1개에서 4개까지 입력합니다.
   • Cloud Key Management Service 키를 사용하여 테이블을 암호화하려면 대상 암호화에서 고객 관리 암호화를 선택합니다. Default 설정을 그대로 두면 BigQuery는 Google 관리 키를 사용하여 저장 데이터를 암호화합니다.

7. 테이블 만들기를 클릭합니다.

참고: 웹 UI를 사용하여 빈 테이블을 만들면 라벨, 설명, 테이블 만료 시간 또는 파티션 만료 시간을 추가할 수 없습니다.

테이블을 만든 후에도 테이블의 만료 시간, 설명, 라벨을 업데이트할 수 있지만, 웹 UI를 사용하여 테이블을 만든 후에 파티션 만료 시간을 추가할 수는 없습니다. 자세한 내용은 테이블 관리를 참조하세요.

CLI

bq load 명령어를 사용하고, --source_format 플래그로 NEWLINE_DELIMITED_JSON을 지정하고, Cloud Storage URI를 포함합니다. 단일 URI, 쉼표로 구분된 URI 목록 또는 와일드 카드가 포함된 URI를 포함할 수 있습니다. 스키마 정의 파일에 스키마를 인라인으로 제공하거나 스키마 자동 감지를 사용합니다.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

다른 선택적 플래그에는 다음이 포함됩니다.

• --max_bad_records: 전체 작업이 실패하기 전에 허용되는 불량 레코드 최대 개수를 지정하는 정수입니다. 기본값은 0입니다. --max_bad_records 값과 관계없이 모든 유형에 오류가 최대 5개까지 반환됩니다.
• --ignore_unknown_values: 이 플래그를 지정하면 CSV 또는 JSON 데이터의 인식할 수 없는 추가 값이 허용 및 무시됩니다.
• --autodetect: 이 플래그를 지정하면 CSV 데이터와 JSON 데이터에 스키마 자동 감지가 사용 설정됩니다.
• --quote: 레코드를 묶는 데 사용할 따옴표입니다. 기본값은 "입니다. 따옴표 문자를 표시하지 않으려면 빈 문자열을 사용합니다.
• --time_partitioning_type: 테이블에 시간 기준 파티션 나누기를 사용 설정하고 파티션 유형을 설정합니다. 현재 하루에 파티션 한 개를 생성하는 DAY만 사용할 수 있습니다. DATE 또는 TIMESTAMP 열을 기준으로 파티션을 나눈 테이블을 만드는 경우 이 플래그는 선택사항입니다.
• --time_partitioning_expiration: 시간 기준 파티션을 삭제할 시간을 초 단위로 지정하는 정수입니다. 만료 시간은 파티션의 UTC 날짜에 정수 값을 더한 값입니다.
• --time_partitioning_field: 파티션을 나눈 테이블을 만드는 데 사용된 DATE 또는 TIMESTAMP 열입니다. 이 값 없이 시간 기준 파티션 나누기를 사용 설정하면 수집 시간으로 파티션을 나눈 테이블이 생성됩니다.
• --require_partition_filter: 이 옵션을 사용 설정하면 사용자는 쿼리할 파티션을 지정하는 WHERE 절을 포함해야 합니다. 파티션 필터를 필수 사항으로 설정하면 비용이 절감되고 성능이 향상될 수 있습니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요.
• --clustering_fields: 클러스터링된 테이블을 만드는 데 사용된 쉼표로 구분된 열 이름(최대 4개) 목록입니다. 이 플래그는 파티션을 나눈 테이블에만 사용될 수 있습니다.

• --destination_kms_key: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.

  파티션을 나눈 테이블에 대한 자세한 내용은 다음을 참조하세요.

  • 파티션을 나눈 테이블 만들기 및 사용
  • 수집 시간으로 파티션을 나눈 테이블 만들기 및 사용

  클러스터링된 테이블에 대한 자세한 내용은 다음을 참조하세요.

  • 클러스터링된 테이블 만들기 및 사용

  테이블 암호화에 대한 자세한 내용은 다음을 참조하세요.

  • Cloud KMS 키로 데이터 보호

BigQuery에 JSON 데이터를 로드하려면 다음 명령어를 입력하세요.

bq --location=location load \
--source_format=format \
dataset.table \
path_to_source \
schema

각 항목의 의미는 다음과 같습니다.

• location은 사용자의 위치입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용하는 경우에는 플래그 값을 asia-northeast1으로 설정하면 됩니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
• format은 NEWLINE_DELIMITED_JSON입니다.
• dataset는 기존 데이터세트입니다.
• table은 데이터를 로드하는 테이블의 이름입니다.
• path_to_source는 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.
• schema는 유효한 스키마입니다. 스키마는 로컬 JSON 파일일 수 있고 명령어의 일부로 인라인으로 입력할 수도 있습니다. 스키마 정의를 제공하는 대신 --autodetect 플래그를 사용해도 됩니다.

예:

다음 명령어는 gs://mybucket/mydata.json에서 mydataset에 있는 mytable이라는 이름의 테이블로 데이터를 로드합니다. 스키마는 myschema.json이라는 로컬 스키마 파일에 정의됩니다.

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata.json \
    ./myschema.json

다음 명령어는 gs://mybucket/mydata.json에서 mydataset에 있는 mytable이라는 이름의 수집 시간으로 파티션을 나눈 테이블로 데이터를 로드합니다. 스키마는 myschema.json이라는 로컬 스키마 파일에 정의됩니다.

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    --time_partitioning_type=DAY \
    mydataset.mytable \
    gs://mybucket/mydata.json \
    ./myschema.json

다음 명령어는 gs://mybucket/mydata.json에서 mydataset에 있는 mytable이라는 이름의 파티션을 나눈 테이블로 데이터를 로드합니다. 테이블의 파티션은 mytimestamp 열을 기준으로 나뉩니다. 스키마는 myschema.json이라는 로컬 스키마 파일에 정의됩니다.

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    --time_partitioning_field mytimestamp \
    mydataset.mytable \
    gs://mybucket/mydata.json \
    ./myschema.json

다음 명령어는 gs://mybucket/mydata.json에서 mydataset에 있는 mytable이라는 이름의 테이블로 데이터를 로드합니다. 스키마는 자동으로 감지됩니다.

    bq load \
    --autodetect \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata.json

다음 명령어는 gs://mybucket/mydata.json에서 mydataset에 있는 mytable이라는 이름의 테이블로 데이터를 로드합니다. 스키마는 field:data_type, field:data_type 형식으로 인라인으로 정의됩니다.

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata.json \
    qtr:STRING,sales:FLOAT,year:STRING

참고: 명령줄에서 스키마를 지정하면 RECORD(STRUCT) 유형과 필드 설명을 포함할 수 없으며 필드 모드를 지정할 수도 없습니다. 모든 필드 모드는 기본적으로 NULLABLE로 설정됩니다. 필드 설명, 모드, RECORD 유형을 포함하려면 대신 JSON 스키마 파일을 제공합니다.

다음 명령어는 gs://mybucket/에 있는 여러 파일에서 mydataset에 있는 mytable이라는 테이블로 데이터를 로드합니다. Cloud Storage URI는 와일드 카드를 사용합니다. 스키마는 자동으로 감지됩니다.

    bq load \
    --autodetect \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata*.json

다음 명령어는 gs://mybucket/에 있는 여러 파일에서 mydataset에 있는 mytable이라는 테이블로 데이터를 로드합니다. 명령어에는 와일드 카드를 사용하는 쉼표로 구분된 Cloud Storage URI 목록이 포함됩니다. 스키마는 myschema.json이라는 로컬 스키마 파일에 정의됩니다.

    bq load \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    "gs://mybucket/00/*.json","gs://mybucket/01/*.json" \
    ./myschema.json

API

1. Cloud Storage의 소스 데이터를 가리키는 load 작업을 만듭니다.

2. (선택사항) 작업 리소스의 jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.

3. source URIs 속성은 gs://bucket/object 형식으로 정규화되어야 합니다. 각 URI는 '*' 와일드 카드 문자 하나를 포함할 수 있습니다.

4. sourceFormat 속성을 NEWLINE_DELIMITED_JSON으로 설정하여 JSON 데이터 형식을 지정합니다.

5. 작업 상태를 확인하려면 jobs.get(job_id*)을 호출합니다. 여기서 job_id는 초기 요청에서 반환된 작업의 ID입니다.

   • status.state = DONE이면 작업이 성공적으로 완료된 것입니다.
   • status.errorResult 속성이 있으면 요청이 실패한 것이며 해당 객체에 문제를 설명하는 정보가 포함됩니다. 요청이 실패하면 테이블이 생성되지 않고 데이터가 로드되지 않습니다.
   • status.errorResult가 없으면 작업은 성공적으로 완료되었지만 일부 행 가져오기 문제와 같은 심각하지 않은 오류가 발생했을 수 있다는 의미입니다. 심각하지 않은 오류는 반환된 작업 객체의 status.errors 속성에 나열됩니다.

API 참고:

• 로드 작업은 원자적이며 일관적입니다. 로드 작업이 실패하면 어떤 데이터도 사용할 수 없으며, 로드 작업이 성공하면 모든 데이터를 사용할 수 있습니다.

• jobs.insert를 호출하여 로드 작업을 만들 때는 고유 ID를 생성하여 jobReference.jobId로 전달하는 것이 가장 좋습니다. 클라이언트가 알려진 작업 ID로 폴링하거나 재시도할 수 있으므로 이 방법은 네트워크 장애 시에 더욱 안정적입니다.

• 특정 작업 ID에 대한 jobs.insert 호출은 멱등성을 가집니다. 동일한 작업 ID에 대해 원하는 만큼 재시도할 수 있으며 이러한 작업 중 최대 하나가 성공하게 됩니다.

C#

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 C# 설정 안내를 따르세요. 자세한 내용은 BigQuery C# API 참조 문서를 확인하세요.

BigQueryClient.CreateLoadJob() 메서드를 사용하여 Cloud Storage에서 로드 작업을 시작합니다. 줄바꿈으로 구분된 JSON을 사용하려면 CreateLoadJobOptions 객체를 만들고 SourceFormat 속성을 FileFormat.NewlineDelimitedJson으로 설정합니다.

GitHub에서 보기 의견 보내기

using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryLoadTableGcsJson
{
    public void LoadTableGcsJson(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var gcsURI = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
        var dataset = client.GetDataset(datasetId);
        var schema = new TableSchemaBuilder {
            { "name", BigQueryDbType.String },
            { "post_abbr", BigQueryDbType.String }
        }.Build();
        TableReference destinationTableRef = dataset.GetTableReference(
            tableId: "us_states");
        // Create job configuration
        var jobOptions = new CreateLoadJobOptions()
        {
            SourceFormat = FileFormat.NewlineDelimitedJson
        };
        // Create and run job
        BigQueryJob loadJob = client.CreateLoadJob(
            sourceUri: gcsURI, destination: destinationTableRef,
            schema: schema, options: jobOptions);
        loadJob.PollUntilCompleted();  // Waits for the job to complete.
        // Display the number of rows uploaded
        BigQueryTable table = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Loaded {table.Resource.NumRows} rows to {table.FullyQualifiedId}");
    }
}

Go

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// importJSONExplicitSchema demonstrates loading newline-delimited JSON data from Cloud Storage
// into a BigQuery table and providing an explicit schema for the data.
func importJSONExplicitSchema(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states.json")
	gcsRef.SourceFormat = bigquery.JSON
	gcsRef.Schema = bigquery.Schema{
		{Name: "name", Type: bigquery.StringFieldType},
		{Name: "post_abbr", Type: bigquery.StringFieldType},
	}
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteEmpty

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}
	return nil
}

자바

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 자바 설정 안내를 따르세요. 자세한 내용은 BigQuery Java API 참조 문서를 확인하세요.

LoadJobConfiguration.builder(tableId, sourceUri) 메서드를 사용하여 Cloud Storage에서 로드 작업을 시작합니다. 줄바꿈으로 구분된 JSON을 사용하려면 LoadJobConfiguration.setFormatOptions(FormatOptions.json())를 사용합니다.

GitHub에서 보기 의견 보내기

String sourceUri = "gs://cloud-samples-data/bigquery/us-states/us-states.json";
TableId tableId = TableId.of(datasetName, tableName);
// Table field definition
Field[] fields =
    new Field[] {
      Field.of("name", LegacySQLTypeName.STRING),
      Field.of("post_abbr", LegacySQLTypeName.STRING)
    };
// Table schema definition
Schema schema = Schema.of(fields);
LoadJobConfiguration configuration =
    LoadJobConfiguration.builder(tableId, sourceUri)
        .setFormatOptions(FormatOptions.json())
        .setCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
        .setSchema(schema)
        .build();
// Load the table
Job loadJob = bigquery.create(JobInfo.of(configuration));
loadJob = loadJob.waitFor();
// Check the table
System.out.println("State: " + loadJob.getStatus().getState());
return ((StandardTableDefinition) bigquery.getTable(tableId).getDefinition()).getNumRows();

Node.js

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the json file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.json
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.json';

async function loadJSONFromGCS() {
  // Imports a GCS file into a table with manually defined schema.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // const tableId = "my_table";

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const metadata = {
    sourceFormat: 'NEWLINE_DELIMITED_JSON',
    schema: {
      fields: [
        {name: 'name', type: 'STRING'},
        {name: 'post_abbr', type: 'STRING'},
      ],
    },
    location: 'US',
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), metadata);
  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 PHP 설정 안내를 따르세요. 자세한 내용은 BigQuery PHP API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';
// $datasetId  = 'The BigQuery dataset ID';

// instantiate the bigquery table service
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table('us_states');

// create the import job
$gcsUri = 'gs://cloud-samples-data/bigquery/us-states/us-states.json';
$schema = [
    'fields' => [
        ['name' => 'name', 'type' => 'string'],
        ['name' => 'post_abbr', 'type' => 'string']
    ]
];
$loadConfig = $table->loadFromStorage($gcsUri)->schema($schema)->sourceFormat('NEWLINE_DELIMITED_JSON');
$job = $table->runJob($loadConfig);
// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Data imported successfully' . PHP_EOL);
}

Python

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참조 문서를 확인하세요.

Client.load_table_from_uri() 메서드를 사용하여 Cloud Storage에서 로드 작업을 시작합니다. 줄바꿈으로 구분된 JSON을 사용하려면 LoadJobConfig.source_format 속성을 문자열 NEWLINE_DELIMITED_JSON으로 설정하고 작업 구성을 job_config 인수로 load_table_from_uri() 메서드에 전달합니다.

GitHub에서 보기 의견 보내기

# from google.cloud import bigquery
# client = bigquery.Client()
# dataset_id = 'my_dataset'

dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.schema = [
    bigquery.SchemaField("name", "STRING"),
    bigquery.SchemaField("post_abbr", "STRING"),
]
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.json"

load_job = client.load_table_from_uri(
    uri,
    dataset_ref.table("us_states"),
    location="US",  # Location must match that of the destination dataset.
    job_config=job_config,
)  # API request
print("Starting job {}".format(load_job.job_id))

load_job.result()  # Waits for table load to complete.
print("Job finished.")

destination_table = client.get_table(dataset_ref.table("us_states"))
print("Loaded {} rows.".format(destination_table.num_rows))

Ruby

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Ruby 설정 안내를 따르세요. 자세한 내용은 BigQuery Ruby API 참조 문서를 확인하세요.

Dataset.load_job() 메서드를 사용하여 Cloud Storage에서 로드 작업을 시작합니다. 줄바꿈으로 구분된 JSON을 사용하려면 format 매개변수를 "json"으로 설정합니다.

GitHub에서 보기 의견 보내기

require "google/cloud/bigquery"

def load_table_gcs_json dataset_id = "your_dataset_id"
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  gcs_uri  = "gs://cloud-samples-data/bigquery/us-states/us-states.json"
  table_id = "us_states"

  load_job = dataset.load_job table_id, gcs_uri, format: "json" do |schema|
    schema.string "name"
    schema.string "post_abbr"
  end
  puts "Starting job #{load_job.job_id}"

  load_job.wait_until_done!  # Waits for table load to complete.
  puts "Job finished."

  table = dataset.table(table_id)
  puts "Loaded #{table.rows_count} rows to table #{table.id}"
end

중첩 및 반복 JSON 데이터 로드

BigQuery는 JSON, Avro, ORC, Parquet, Firestore, Datastore와 같은 객체 기반 스키마를 지원하는 소스 형식의 중첩 및 반복 데이터 로드를 지원합니다.

각 줄에 모든 중첩된/반복된 필드를 포함하여 하나의 JSON객체가 나타나야 합니다.

다음 예시는 샘플 중첩 및 반복 데이터를 보여 줍니다. 이 테이블에는 여러 사람에 대한 정보가 포함되어 있습니다. 이 테이블은 다음과 같은 필드로 구성됩니다.

• id
• first_name
• last_name
• dob(생년월일)
• addresses(중첩 및 반복 필드)
  • addresses.status(현재 또는 이전)
  • addresses.address
  • addresses.city
  • addresses.state
  • addresses.zip
  • addresses.numberOfYears(주소 연도)

JSON 데이터 파일은 다음과 같습니다. 주소 필드에 값의 배열([ ]로 표시)이 포함되어 있다는 점에 유의하세요.

{"id":"1","first_name":"John","last_name":"Doe","dob":"1968-01-22","addresses":[{"status":"current","address":"123 First Avenue","city":"Seattle","state":"WA","zip":"11111","numberOfYears":"1"},{"status":"previous","address":"456 Main Street","city":"Portland","state":"OR","zip":"22222","numberOfYears":"5"}]}
{"id":"2","first_name":"Jane","last_name":"Doe","dob":"1980-10-16","addresses":[{"status":"current","address":"789 Any Avenue","city":"New York","state":"NY","zip":"33333","numberOfYears":"2"},{"status":"previous","address":"321 Main Street","city":"Hoboken","state":"NJ","zip":"44444","numberOfYears":"3"}]}

이 테이블의 스키마는 다음과 같습니다.

[
    {
        "name": "id",
        "type": "STRING",
        "mode": "NULLABLE"
    },
    {
        "name": "first_name",
        "type": "STRING",
        "mode": "NULLABLE"
    },
    {
        "name": "last_name",
        "type": "STRING",
        "mode": "NULLABLE"
    },
    {
        "name": "dob",
        "type": "DATE",
        "mode": "NULLABLE"
    },
    {
        "name": "addresses",
        "type": "RECORD",
        "mode": "REPEATED",
        "fields": [
            {
                "name": "status",
                "type": "STRING",
                "mode": "NULLABLE"
            },
            {
                "name": "address",
                "type": "STRING",
                "mode": "NULLABLE"
            },
            {
                "name": "city",
                "type": "STRING",
                "mode": "NULLABLE"
            },
            {
                "name": "state",
                "type": "STRING",
                "mode": "NULLABLE"
            },
            {
                "name": "zip",
                "type": "STRING",
                "mode": "NULLABLE"
            },
            {
                "name": "numberOfYears",
                "type": "STRING",
                "mode": "NULLABLE"
            }
        ]
    }
]

중첩 및 반복 스키마 지정에 대한 자세한 내용은 중첩 및 반복 필드 지정을 참조하세요.

테이블에 JSON 데이터 추가 또는 덮어쓰기

소스 파일에서 또는 쿼리 결과를 추가하여 테이블에 추가 데이터를 로드할 수 있습니다.

Console 또는 기본 BigQuery 웹 UI에서 쓰기 환경설정 옵션을 사용하여 소스 파일 또는 쿼리 결과에서 데이터를 로드할 때 수행할 작업을 지정합니다.

추가 데이터를 테이블에 로드할 때 다음 옵션을 사용할 수 있습니다.

Console 옵션	기본 웹 UI 옵션	CLI 플래그	BigQuery API 속성	설명
비어 있으면 쓰기	비어 있으면 쓰기	없음	WRITE_EMPTY	테이블이 비어 있는 경우에만 데이터를 씁니다.
테이블에 추가	테이블에 추가	--noreplace 또는 --replace=false. --[no]replace를 지정하지 않으면 기본값은 추가임	WRITE_APPEND	(기본값) 데이터를 테이블 끝에 추가합니다.
테이블 덮어쓰기	테이블 덮어쓰기	--replace 또는 --replace=true	WRITE_TRUNCATE	새 데이터를 쓰기 전에 테이블의 기존 데이터를 모두 지웁니다.

기존 테이블에 데이터를 로드하는 경우 로드 작업에서 데이터를 추가하거나 테이블을 덮어쓸 수 있습니다.

다음과 같은 방법으로 테이블을 추가하거나 덮어쓸 수 있습니다.

• Cloud Console 또는 기본 웹 UI 사용
• CLI의 bq load 명령어 사용
• jobs.insert API 메서드 호출 및 load 작업 구성
• 클라이언트 라이브러리 사용

참고: 이 페이지에서는 파티션을 나눈 테이블 추가 또는 덮어쓰기에 대해서는 다루지 않습니다. 파티션을 나눈 테이블을 추가하고 덮어쓰는 방법은 파티션을 나눈 테이블 데이터 추가 및 덮어쓰기를 참조하세요.

Console

1. Cloud Console에서 BigQuery 웹 UI를 엽니다.
   Cloud Console로 이동

2. 탐색 패널의 리소스 섹션에서 프로젝트를 펼치고 데이터세트를 선택합니다.

3. 창의 오른쪽에 있는 세부정보 패널에서 테이블 만들기를 클릭합니다. 로드 작업에서 데이터를 추가하고 덮어쓰는 프로세스는 로드 작업에서 테이블을 만드는 프로세스와 동일합니다.

   

4. 테이블 만들기 페이지의 소스 섹션에서 다음을 수행합니다.

   • 다음 항목으로 테이블 만들기에서 Cloud Storage를 선택합니다.

   • 소스 필드에서 Cloud Storage URI로 이동하거나 입력합니다. BigQuery 웹 UI에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 추가하거나 덮어쓰려는 테이블이 포함된 데이터세트와 같은 위치에 있어야 합니다.

     

   • 파일 형식에서 JSON(줄바꿈으로 구분)을 선택합니다.

5. 테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.

   • 데이터세트 이름에서 적절한 데이터세트를 선택합니다.

     

   • 테이블 이름 필드에 BigQuery에서 추가하거나 덮어쓰려는 테이블의 이름을 입력합니다.

   • 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.

6. 스키마 섹션의 자동 감지 아래에서 스키마 및 입력 매개변수를 확인하여 스키마 자동 감지를 사용 설정합니다. 또는 다음과 같이 스키마 정의를 수동으로 입력할 수 있습니다.

   • 텍스트로 편집을 사용 설정하고 테이블 스키마를 JSON 배열로 입력합니다.

     

     참고: bq show --format=prettyjson dataset.table 명령어를 입력하면 기존 테이블 스키마를 JSON 형식으로 볼 수 있습니다.

   • 필드 추가를 사용하여 스키마를 수동으로 입력합니다.

     

   참고: 추가하거나 덮어쓸 때 테이블의 스키마를 수정할 수 있습니다. 로드 작업 중 지원되는 스키마 변경에 대한 자세한 내용은 테이블 스키마 수정을 참조하세요.

7. 파티션 및 클러스터 설정에서 기본값을 그대로 둡니다. 추가하거나 덮어쓰는 방법으로 테이블을 파티션을 나눈 테이블 또는 클러스터링된 테이블로 변환할 수 없습니다. Cloud Console은 로드 작업에서 파티션을 나눈 테이블 또는 클러스터링된 테이블 추가 또는 덮어쓰기를 지원하지 않습니다.

8. 고급 옵션을 클릭합니다.

   • 쓰기 환경설정에서 테이블에 추가 또는 테이블 덮어쓰기를 선택합니다.
   • 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
   • 알 수 없는 값의 경우 알 수 없는 값 무시를 선택하면 테이블 스키마에 없는 행의 모든 값이 무시됩니다.

   • Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.

     

9. 테이블 만들기를 클릭합니다.

기본 UI

1. BigQuery 웹 UI로 이동합니다.
   BigQuery 웹 UI로 이동

2. 탐색 패널에서 데이터세트에 마우스 커서를 올려놓고 아래쪽 화살표 아이콘 을 클릭한 후 새 테이블 만들기를 클릭합니다. 로드 작업에서 데이터를 추가하고 덮어쓰는 프로세스는 로드 작업에서 테이블을 만드는 프로세스와 동일합니다.

3. 테이블 만들기 페이지의 소스 데이터 섹션에서 다음을 수행합니다.

   • 위치에서 Cloud Storage를 선택하고 소스 필드에 Cloud Storage URI를 입력합니다. UI에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 추가하거나 덮어쓰고 있는 테이블을 포함하는 데이터세트와 같은 위치에 있어야 합니다.
   • 파일 형식에서 JSON(줄바꿈으로 구분)을 선택합니다.

4. 테이블 만들기 페이지의 대상 테이블 섹션:

   • 테이블 이름으로 적절한 데이터세트를 선택하고 테이블 이름 필드에 추가하거나 덮어쓰는 테이블의 이름을 입력합니다.
   • 테이블 유형이 기본 테이블로 설정되어 있는지 확인합니다.

5. 스키마 섹션에 스키마 정의를 입력합니다.

   • JSON 파일의 경우 자동 감지 옵션을 선택하여 스키마 자동 감지를 사용 설정할 수 있습니다.

     

   • 스키마 정보를 직접 입력하는 방법은 다음과 같습니다.

     • 텍스트로 편집을 클릭하고 테이블 스키마를 JSON 배열로 입력합니다.

       

       참고: bq show --format=prettyjson dataset.table과 같은 CLI 명령어를 입력하면 기존 테이블 스키마를 JSON 형식으로 볼 수 있습니다.

     • 필드 추가를 사용하여 스키마를 수동으로 입력합니다.

       

   참고: 추가하거나 덮어쓸 때 테이블의 스키마를 수정할 수 있습니다. 로드 작업 중 지원되는 스키마 변경에 대한 자세한 내용은 테이블 스키마 수정을 참조하세요.

6. 옵션 섹션에서 다음을 수행합니다.

   • 허용되는 오류 개수에서 기본값 0을 그대로 두거나 오류가 포함된 행을 무시할 수 있는 최대 개수를 입력합니다. 오류가 포함된 행의 개수가 이 값을 초과하면 invalid 메시지가 표시되고 작업이 실패합니다.
   • 쓰기 환경설정에서 테이블에 추가 또는 테이블 덮어쓰기를 선택합니다.
   • 파티션 나누기 유형, 파티션 나누기 필드, 파티션 필터 필요, 클러스터링 필드는 기본값을 그대로 둡니다. 추가하거나 덮어쓰는 방법으로 테이블을 파티션을 나눈 테이블 또는 클러스터링된 테이블로 변환할 수 없습니다. 웹 UI는 로드 작업에서 파티션을 나눈 테이블 또는 클러스터링된 테이블 추가 또는 덮어쓰기를 지원하지 않습니다.
   • Cloud Key Management Service 키를 사용하여 테이블을 암호화하려면 대상 암호화에서 고객 관리 암호화를 선택합니다. Default 설정을 그대로 두면 BigQuery는 Google 관리 키를 사용하여 저장 데이터를 암호화합니다.

7. 테이블 만들기를 클릭합니다.

CLI

bq load 명령어를 사용하고, --source_format 플래그로 NEWLINE_DELIMITED_JSON을 지정하고, Cloud Storage URI를 포함합니다. 단일 URI, 쉼표로 구분된 URI 목록 또는 와일드 카드가 포함된 URI를 포함할 수 있습니다.

스키마 정의 파일에 스키마를 인라인으로 제공하거나 스키마 자동 감지를 사용합니다.

--replace 플래그를 지정하여 테이블을 덮어씁니다. --noreplace 플래그를 사용하여 데이터를 테이블에 추가합니다. 플래그를 지정하지 않으면 데이터 추가가 기본값입니다.

추가하거나 덮어쓸 때 테이블의 스키마를 수정할 수 있습니다. 로드 작업 중 지원되는 스키마 변경에 대한 자세한 내용은 테이블 스키마 수정을 참조하세요.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

다른 선택적 플래그에는 다음이 포함됩니다.

• --max_bad_records: 전체 작업이 실패하기 전에 허용되는 불량 레코드 최대 개수를 지정하는 정수입니다. 기본값은 0입니다. --max_bad_records 값과 관계없이 모든 유형에 오류가 최대 5개까지 반환됩니다.
• --ignore_unknown_values: 이 플래그를 지정하면 CSV 또는 JSON 데이터의 인식할 수 없는 추가 값이 허용 및 무시됩니다.
• --autodetect: 이 플래그를 지정하면 CSV 데이터와 JSON 데이터에 스키마 자동 감지가 사용 설정됩니다.
• --destination_kms_key: 테이블 데이터 암호화에 사용되는 Cloud KMS 키입니다.

bq --location=location load \
--[no]replace \
--source_format=format \
dataset.table \
path_to_source \
schema

각 항목의 의미는 다음과 같습니다.

• location은 사용자 위치입니다. --location 플래그는 선택사항입니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
• format은 NEWLINE_DELIMITED_JSON입니다.
• dataset는 기존 데이터세트입니다.
• table은 데이터를 로드하는 테이블의 이름입니다.
• path_to_source는 정규화된 Cloud Storage URI 또는 쉼표로 구분된 URI 목록이며 와일드 카드도 지원됩니다.
• schema는 유효한 스키마입니다. 스키마는 로컬 JSON 파일일 수 있고 명령어의 일부로 인라인으로 입력할 수도 있습니다. 스키마 정의를 제공하는 대신 --autodetect 플래그를 사용해도 됩니다.

예:

다음 명령어는 gs://mybucket/mydata.json에서 데이터를 로드하고 mydataset에 있는 mytable이라는 테이블을 덮어씁니다. 스키마는 스키마 자동 감지를 통해 정의됩니다.

    bq load \
    --autodetect \
    --replace \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata.json

다음 명령어는 gs://mybucket/mydata.json에서 데이터를 로드하고 mydataset에 있는 mytable이라는 테이블에 데이터를 추가합니다. 스키마는 JSON 스키마 파일 myschema.json을 사용하여 정의됩니다.

    bq load \
    --noreplace \
    --source_format=NEWLINE_DELIMITED_JSON \
    mydataset.mytable \
    gs://mybucket/mydata.json \
    ./myschema.json

API

1. Cloud Storage의 소스 데이터를 가리키는 load 작업을 만듭니다.

2. (선택사항) 작업 리소스의 jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.

3. source URIs 속성은 gs://bucket/object 형식으로 정규화되어야 합니다. 여러 URI를 쉼표로 구분된 목록으로 포함할 수 있습니다. 와일드 카드도 지원됩니다.

4. configuration.load.sourceFormat 속성을 NEWLINE_DELIMITED_JSON로 설정하여 데이터 형식을 지정합니다.

5. configuration.load.writeDisposition 속성을 WRITE_TRUNCATE 또는 WRITE_APPEND로 설정하여 쓰기 환경설정을 지정합니다.

Go

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// importJSONTruncate demonstrates loading data from newline-delimeted JSON data in Cloud Storage
// and overwriting/truncating data in the existing table.
func importJSONTruncate(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}

	gcsRef := bigquery.NewGCSReference("gs://cloud-samples-data/bigquery/us-states/us-states.json")
	gcsRef.SourceFormat = bigquery.JSON
	gcsRef.AutoDetect = true
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(gcsRef)
	loader.WriteDisposition = bigquery.WriteTruncate

	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}

	if status.Err() != nil {
		return fmt.Errorf("job completed with error: %v", status.Err())
	}

	return nil
}

Node.js

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

// Import the Google Cloud client libraries
const {BigQuery} = require('@google-cloud/bigquery');
const {Storage} = require('@google-cloud/storage');

// Instantiate clients
const bigquery = new BigQuery();
const storage = new Storage();

/**
 * This sample loads the JSON file at
 * https://storage.googleapis.com/cloud-samples-data/bigquery/us-states/us-states.json
 *
 * TODO(developer): Replace the following lines with the path to your file.
 */
const bucketName = 'cloud-samples-data';
const filename = 'bigquery/us-states/us-states.json';

async function loadJSONFromGCSTruncate() {
  /**
   * Imports a GCS file into a table and overwrites
   * table data if table already exists.
   */

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // const tableId = "my_table";

  // Configure the load job. For full list of options, see:
  // https://cloud.google.com/bigquery/docs/reference/rest/v2/Job#JobConfigurationLoad
  const metadata = {
    sourceFormat: 'NEWLINE_DELIMITED_JSON',
    schema: {
      fields: [
        {name: 'name', type: 'STRING'},
        {name: 'post_abbr', type: 'STRING'},
      ],
    },
    // Set the write disposition to overwrite existing table data.
    writeDisposition: 'WRITE_TRUNCATE',
  };

  // Load data from a Google Cloud Storage file into the table
  const [job] = await bigquery
    .dataset(datasetId)
    .table(tableId)
    .load(storage.bucket(bucketName).file(filename), metadata);
  // load() waits for the job to finish
  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 PHP 설정 안내를 따르세요. 자세한 내용은 BigQuery PHP API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $tableID = 'The BigQuery table ID';

// instantiate the bigquery table service
$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$table = $bigQuery->dataset($datasetId)->table($tableId);

// create the import job
$gcsUri = 'gs://cloud-samples-data/bigquery/us-states/us-states.json';
$loadConfig = $table->loadFromStorage($gcsUri)->sourceFormat('NEWLINE_DELIMITED_JSON')->writeDisposition('WRITE_TRUNCATE');
$job = $table->runJob($loadConfig);

// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});

// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Data imported successfully' . PHP_EOL);
}

Python

기존 테이블의 행을 바꾸려면 LoadJobConfig.write_disposition 속성을 문자열 WRITE_TRUNCATE로 설정합니다.

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

# from google.cloud import bigquery
# client = bigquery.Client()
# table_ref = client.dataset('my_dataset').table('existing_table')

job_config = bigquery.LoadJobConfig()
job_config.write_disposition = bigquery.WriteDisposition.WRITE_TRUNCATE
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.json"
load_job = client.load_table_from_uri(
    uri, table_ref, job_config=job_config
)  # API request
print("Starting job {}".format(load_job.job_id))

load_job.result()  # Waits for table load to complete.
print("Job finished.")

destination_table = client.get_table(table_ref)
print("Loaded {} rows.".format(destination_table.num_rows))

Ruby

기존 테이블의 행을 바꾸려면 Table.load_job()의 write 매개변수를 "WRITE_TRUNCATE"로 설정합니다.

이 샘플을 시도하기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Ruby 설정 안내를 따르세요. 자세한 내용은 BigQuery Ruby API 참조 문서를 확인하세요.

GitHub에서 보기 의견 보내기

require "google/cloud/bigquery"

def load_table_gcs_json_truncate(
    dataset_id = "your_dataset_id",
    table_id   = "your_table_id"
  )
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  gcs_uri  = "gs://cloud-samples-data/bigquery/us-states/us-states.json"

  load_job = dataset.load_job table_id,
                              gcs_uri,
                              format: "json",
                              write:  "truncate"
  puts "Starting job #{load_job.job_id}"

  load_job.wait_until_done!  # Waits for table load to complete.
  puts "Job finished."

  table = dataset.table(table_id)
  puts "Loaded #{table.rows_count} rows to table #{table.id}"
end

파티션을 나눈 하이브 JSON 데이터 로드

BigQuery는 Cloud Storage에 저장되는 파티션을 나눈 하이브 JSON 데이터 로드를 지원하고, 하이브 파티션 열을 대상 BigQuery 관리 테이블의 열로 채웁니다. 자세한 내용은 외부에서 파티션을 나눈 Cloud Storage 데이터 로드를 참조하세요.

JSON 옵션

BigQuery가 JSON 데이터를 파싱하는 방법을 변경하려면 Console, 기본 UI, CLI, API, 클라이언트 라이브러리에서 추가 옵션을 지정합니다.

JSON 옵션	Console 옵션	기본 UI 옵션	CLI 플래그	BigQuery API 속성	설명
허용된 불량 레코드 수	허용되는 오류 개수	허용되는 오류 개수	--max_bad_records	maxBadRecords	(선택사항) 작업을 실행할 때 BigQuery가 무시할 수 있는 불량 레코드의 최대 개수입니다. 불량 레코드의 수가 이 값을 초과하면 작업 결과에 잘못된 오류가 반환됩니다. 기본값은 0이며 모든 레코드가 유효해야 합니다.
알 수 없는 값	알 수 없는 값 무시	알 수 없는 값 무시	--ignore_unknown_values	ignoreUnknownValues	(선택사항) BigQuery가 테이블 스키마에 표시되지 않는 추가 값을 허용해야 하는지를 나타냅니다. true라면 추가 값은 무시됩니다. false라면 추가 열이 있는 레코드는 불량 레코드로 처리되며 불량 레코드가 너무 많다면 작업 결과에 잘못된 오류가 반환됩니다. 기본값은 false입니다. sourceFormat 속성은 BigQuery가 추가 값: CSV: 후행 열 JSON: 어떤 열 이름과도 일치하지 않는 이름이 지정된 값으로 처리하는 대상을 결정합니다.