쿼리 결과 쓰기

이 문서에서는 쿼리 결과를 쓰거나 저장하는 방법을 설명합니다.

임시 테이블과 영구 테이블

BigQuery는 모든 쿼리 결과를 영구 또는 임시 테이블에 저장합니다.

  • BigQuery는 임시 테이블을 사용하여 영구 테이블에 기록되지 않는 쿼리 결과를 캐시합니다. 이 테이블은 특수 데이터 세트에 생성되고 무작위로 이름이 지정됩니다. 또한 고유한 용도로 임시 테이블을 만들 수 있습니다. 자세한 내용은 임시 테이블을 참조하세요.

    쿼리가 완료된 후 최대 24시간 동안 임시 테이블이 존재합니다. 테이블 구조와 데이터를 보려면 BigQuery 콘솔로 이동하고 쿼리 기록을 클릭한 후 임시 테이블을 만든 쿼리를 선택합니다. 그런 다음 대상 테이블 행에서 임시 테이블을 클릭합니다.

    임시 테이블을 쿼리하거나 공유할 수 없으며 표준 목록이나 다른 테이블 조작 방법을 사용하여 표시할 수 없습니다. 임시 테이블 저장에는 비용이 청구되지 않습니다.

  • 사용자가 액세스할 수 있는 데이터세트의 새 테이블이나 기존 테이블은 영구 테이블이 될 수 있습니다. 쿼리 결과를 새 테이블에 쓰는 경우, 데이터 저장에 대한 비용이 청구됩니다. 쿼리 결과를 영구 테이블에 쓰는 경우, 쿼리하는 테이블이 대상 테이블이 포함된 데이터세트와 같은 위치에 있어야 합니다.

필수 권한

쿼리 결과를 테이블에 쓰려면 최소한 다음 권한이 부여되어 있어야 합니다.

  • 새 테이블을 만들기 위한 bigquery.tables.create 권한
  • 새 테이블에 데이터를 쓰거나, 테이블을 덮어쓰거나, 테이블에 데이터를 추가하기 위한 bigquery.tables.updateData 권한
  • 쿼리 작업을 실행하기 위한 bigquery.jobs.create 권한

쿼리할 데이터에 액세스하려면 bigquery.tables.getData와 같은 추가 권한이 필요할 수 있습니다.

다음과 같은 사전 정의된 IAM 역할에는 bigquery.tables.create 권한과 bigquery.tables.updateData 권한이 모두 포함되어 있습니다.

  • bigquery.dataEditor
  • bigquery.dataOwner
  • bigquery.admin

다음과 같은 사전 정의된 IAM 역할에는 bigquery.jobs.create 권한이 포함되어 있습니다.

  • bigquery.user
  • bigquery.jobUser
  • bigquery.admin

또한 bigquery.datasets.create 권한이 있는 사용자는 데이터 세트를 만들 때 해당 데이터 세트에 대한 bigquery.dataOwner 액세스 권한을 부여받습니다. bigquery.dataOwner 액세스 권한이 있는 사용자는 데이터 세트에서 테이블을 만들고 업데이트할 수 있습니다.

BigQuery의 IAM 역할과 권한에 대한 자세한 내용은 사전 정의된 역할 및 권한을 참조하세요.

영구 테이블에 쿼리 결과 쓰기

쿼리 결과를 영구 테이블에 쓸 때 새 테이블을 만들거나 결과를 기존 테이블에 추가하거나 기존 테이블을 덮어쓸 수 있습니다. 쿼리 결과를 영구 테이블에 쓰는 방법은 다음과 같습니다.

  • Cloud Console 사용
  • bq명령줄 도구의 bq query 명령어 사용
  • jobs.insert API 메서드를 호출하고 query 작업 구성
  • 클라이언트 라이브러리 사용하기

쿼리 결과 쓰기

다음 절차를 따라 영구 테이블에 쿼리 결과를 작성합니다. 쿼리를 실행하기 전 데이터를 미리 보면 비용을 관리할 수 있습니다.

Console

  1. Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery 페이지로 이동

  2. 탐색 패널의 리소스 섹션에서 프로젝트를 확장하고 데이터 세트를 선택합니다.

  3. 쿼리 편집기가 숨겨져 있으면 창 오른쪽 상단에 있는 편집기 표시를 클릭합니다.

  4. 쿼리 편집기 텍스트 영역에 유효한 SQL 쿼리를 입력합니다.

  5. 편집기 아래에서 더보기를 클릭하고 쿼리 설정을 선택합니다.

    쿼리 설정

  6. 쿼리 결과의 대상 테이블 설정 체크박스를 선택합니다.

    대상 설정

  7. 대상 섹션에서 테이블을 만들 적절한 프로젝트 이름데이터 세트 이름을 선택하고 테이블 이름을 선택합니다.

  8. 대상 테이블 쓰기 환경설정 섹션에서 다음 중 하나를 선택합니다.

    • 비어 있으면 쓰기 — 테이블이 비어 있는 경우에만 쿼리 결과를 테이블에 씁니다.
    • 테이블에 추가 — 쿼리 결과를 기존 테이블에 추가합니다.
    • 테이블 덮어쓰기 — 쿼리 결과를 사용하여 기존 테이블을 같은 이름으로 덮어씁니다.
  9. (선택사항) 처리 위치에서 자동 선택을 클릭하고 사용자의 위치를 선택합니다.

  10. 쿼리 실행을 클릭합니다. 그러면 지정한 테이블에 쿼리 결과를 쓰는 쿼리 작업이 생성됩니다.

또는 쿼리를 실행하기 전에 대상 테이블 지정을 잊은 경우 편집기 아래의 결과 저장 버튼을 클릭하여 캐시된 결과 테이블을 영구 테이블에 복사할 수 있습니다.

SQL

데이터 정의 언어(DDL) 문을 사용하면 표준 SQL 쿼리 구문으로 테이블을 만들고 수정할 수 있습니다.

자세한 내용은 CREATE TABLE 페이지와 CREATE TABLE 예시인 기존 테이블에서 새 테이블 만들기를 참조하세요.

bq

bq query 명령어를 입력하고 --destination_table 플래그를 지정하여 쿼리 결과에 기반한 영구 테이블을 만듭니다. 표준 SQL 구문을 사용하려면 use_legacy_sql=false 플래그를 지정합니다. 기본 프로젝트에 없는 테이블에 쿼리 결과를 쓰려면 프로젝트 ID를 project_id:dataset 형식으로 데이터 세트 이름에 추가합니다.

(선택사항) --location 플래그를 지정하고 값을 사용자 위치로 설정합니다.

기존 대상 테이블의 쓰기 처리를 제어하려면 다음 플래그 옵션 중 하나를 지정합니다.

  • --append_table: 대상 테이블이 있으면 쿼리 결과가 테이블에 추가됩니다.
  • --replace: 대상 테이블이 있으면 쿼리 결과로 테이블을 덮어씁니다.
bq --location=location query \
--destination_table project_id:dataset.table \
--use_legacy_sql=false 'query'

다음을 바꿉니다.

  • location은 쿼리 처리에 사용되는 위치의 이름입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용한다면 플래그 값을 asia-northeast1로 설정할 수 있습니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
  • project_id는 프로젝트 ID입니다.
  • dataset는 쿼리 결과를 쓸 테이블이 포함된 데이터 세트의 이름입니다.
  • table은 쿼리 결과를 쓸 테이블의 이름입니다.
  • query는 표준 SQL 구문의 쿼리입니다.

쓰기 처리 플래그를 지정하지 않으면 비어 있는 경우에만 테이블에 결과를 쓰는 것이 기본 동작입니다. 테이블이 있지만 비어 있지 않으면 다음 오류가 반환됩니다. `BigQuery error in query operation: Error processing job project_id:bqjob_123abc456789_00000e1234f_1': Already Exists: Table project_id:dataset.table.

예:

mydataset에 있는 mytable이라는 대상 테이블에 쿼리 결과를 쓰려면 다음 명령어를 입력합니다. 데이터 세트는 기본 프로젝트에 있습니다. 명령어에 쓰기 처리 플래그가 지정되지 않았으므로 테이블은 새 테이블이거나 비어 있어야 합니다. 그렇지 않으면 Already exists 오류가 반환됩니다. 쿼리는 USA Name Data 공개 데이터 세트에서 데이터를 검색합니다.

bq query \
--destination_table mydataset.mytable \
--use_legacy_sql=false \
'SELECT
  name,
  number
FROM
  `bigquery-public-data`.usa_names.usa_1910_current
WHERE
  gender = "M"
ORDER BY
  number DESC'

쿼리 결과를 사용하여 mydataset에 있는 mytable이라는 대상 테이블을 덮어쓰려면 다음 명령어를 입력합니다. 데이터 세트는 기본 프로젝트에 있습니다. 이 명령어는 --replace 플래그를 사용하여 대상 테이블을 덮어씁니다.

bq query \
--destination_table mydataset.mytable \
--replace \
--use_legacy_sql=false \
'SELECT
   name,
   number
 FROM
   `bigquery-public-data`.usa_names.usa_1910_current
 WHERE
   gender = "M"
 ORDER BY
   number DESC'
 

mydataset에 있는 mytable이라는 대상 테이블에 쿼리 결과를 추가하려면 다음 명령어를 입력합니다. 데이터 세트는 기본 프로젝트가 아닌 my-other-project에 있습니다. 이 명령어는 --append_table 플래그를 사용하여 쿼리 결과를 대상 테이블에 추가합니다.

bq query \
--append_table \
--use_legacy_sql=false \
--destination_table my-other-project:mydataset.mytable \
'SELECT
   name,
   number
 FROM
   `bigquery-public-data`.usa_names.usa_1910_current
 WHERE
   gender = "M"
 ORDER BY
   number DESC'
 

이러한 각 예시의 출력은 다음과 같습니다. 읽기 편하도록 출력 일부는 잘려 있습니다.

Waiting on bqjob_r123abc456_000001234567_1 ... (2s) Current status: DONE
+---------+--------+
|  name   | number |
+---------+--------+
| Robert  |  10021 |
| John    |   9636 |
| Robert  |   9297 |
| ...              |
+---------+--------+

API

쿼리 결과를 영구 테이블에 저장하려면 jobs.insert 메서드를 호출하고, query 작업을 구성하고, destinationTable 속성의 값을 포함합니다. 기존 대상 테이블의 쓰기 처리를 제어하려면 writeDisposition 속성을 구성합니다.

쿼리 작업의 처리 위치를 제어하려면 작업 리소스jobReference 섹션에 location 속성을 지정합니다.

Go

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참조 문서를 확인하세요.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// queryWithDestination demonstrates saving the results of a query to a specific table by setting the destination
// via the API properties.
func queryWithDestination(w io.Writer, projectID, destDatasetID, destTableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	q := client.Query("SELECT 17 as my_col")
	q.Location = "US" // Location must match the dataset(s) referenced in query.
	q.QueryConfig.Dst = client.Dataset(destDatasetID).Table(destTableID)
	// Run the query and print results when the query job is completed.
	job, err := q.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	it, err := job.Read(ctx)
	for {
		var row []bigquery.Value
		err := it.Next(&row)
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, row)
	}
	return nil
}

자바

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 자바 설정 안내를 따르세요. 자세한 내용은 BigQuery 자바 API 참조 문서를 확인하세요.

쿼리 결과를 영구 테이블에 저장하려면 QueryJobConfiguration에서 대상 테이블을 원하는 TableId로 설정합니다.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.QueryJobConfiguration;
import com.google.cloud.bigquery.TableId;

public class SaveQueryToTable {

  public static void runSaveQueryToTable() {
    // TODO(developer): Replace these variables before running the sample.
    String query = "SELECT corpus FROM `bigquery-public-data.samples.shakespeare` GROUP BY corpus;";
    String destinationTable = "MY_TABLE";
    String destinationDataset = "MY_DATASET";

    saveQueryToTable(destinationDataset, destinationTable, query);
  }

  public static void saveQueryToTable(
      String destinationDataset, String destinationTableId, String query) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      // Identify the destination table
      TableId destinationTable = TableId.of(destinationDataset, destinationTableId);

      // Build the query job
      QueryJobConfiguration queryConfig =
          QueryJobConfiguration.newBuilder(query).setDestinationTable(destinationTable).build();

      // Execute the query.
      bigquery.query(queryConfig);

      // The results are now saved in the destination table.

      System.out.println("Saved query ran successfully");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Saved query did not run \n" + e.toString());
    }
  }
}

Node.js

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참조 문서를 확인하세요.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function queryDestinationTable() {
  // Queries the U.S. given names dataset for the state of Texas
  // and saves results to permanent table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';
  // const tableId = 'my_table';

  // Create destination table reference
  const dataset = bigquery.dataset(datasetId);
  const destinationTable = dataset.table(tableId);

  const query = `SELECT name
    FROM \`bigquery-public-data.usa_names.usa_1910_2013\`
    WHERE state = 'TX'
    LIMIT 100`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/v2/tables#resource
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced in the query.
    location: 'US',
    destination: destinationTable,
  };

  // Run the query as a job
  const [job] = await bigquery.createQueryJob(options);

  console.log(`Job ${job.id} started.`);
  console.log(`Query results loaded to table ${destinationTable.id}`);
}

Python

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참조 문서를 확인하세요.

쿼리 결과를 영구 테이블에 저장하려면 QueryJobConfig를 만들고 대상을 원하는 TableReference로 설정합니다. 작업 구성을 쿼리 메서드에 전달합니다.
from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the destination table.
# table_id = "your-project.your_dataset.your_table_name"

job_config = bigquery.QueryJobConfig(destination=table_id)

sql = """
    SELECT corpus
    FROM `bigquery-public-data.samples.shakespeare`
    GROUP BY corpus;
"""

# Start the query, passing in the extra configuration.
query_job = client.query(sql, job_config=job_config)  # Make an API request.
query_job.result()  # Wait for the job to complete.

print("Query results loaded to the table {}".format(table_id))

크기가 큰 쿼리 결과 쓰기

일반적으로 쿼리에는 최대 응답 크기가 있습니다. 이보다 큰 결과를 반환할 수 있는 쿼리를 실행하려면 다음 중 하나를 수행합니다.

  • 표준 SQL에서 쿼리 결과의 대상 테이블을 지정합니다.
  • Legacy SQL에서 대상 테이블을 지정하고 allowLargeResults 옵션을 설정합니다.

크기가 큰 쿼리 결과의 대상 테이블을 지정하면 데이터 저장 요금이 청구됩니다.

제한사항

Legacy SQL에서는 크기가 큰 결과 쓰기에 다음과 같은 제한이 있습니다.

  • 대상 테이블을 지정해야 합니다.
  • 최상위 ORDER BY, TOP 또는 LIMIT 절은 지정할 수 없습니다. 지정할 경우 쿼리 출력을 더 이상 동시에 계산할 수 없게 되므로 allowLargeResults를 사용할 때의 이점이 사라집니다.
  • 윈도우 함수PARTITION BY 절과 함께 사용하는 경우에만 크기가 큰 쿼리 결과를 반환할 수 있습니다.

Legacy SQL을 사용하여 크기가 큰 결과 쓰기

Legacy SQL을 사용하여 크기가 큰 결과 세트를 쓰려면 다음 안내를 따르세요.

Console

  1. Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery 페이지로 이동

  2. 새 쿼리 작성을 클릭합니다.

  3. 쿼리 편집기 텍스트 영역에 유효한 SQL 쿼리를 입력합니다. #legacySQL 프리픽스를 사용하거나 쿼리 설정에서 Legacy SQL 사용이 선택되어 있는지 확인합니다.

  4. 더보기를 클릭한 다음 쿼리 설정을 선택합니다.

    쿼리 설정

  5. 대상에서 쿼리 결과의 대상 테이블 설정을 선택합니다.

    대상 설정

  6. 프로젝트 이름에서 대상 테이블을 만들 프로젝트를 선택합니다.

  7. 데이터세트 이름으로 테이블을 저장할 데이터세트를 선택합니다.

  8. 테이블 이름 필드에 테이블 이름을 입력합니다.

  9. 기존 테이블에 큰 결과 집합을 작성하는 경우 대상 테이블 쓰기 환경설정 옵션을 사용하여 대상 테이블의 쓰기 처리를 제어할 수 있습니다.

    • 비어 있으면 쓰기: 테이블이 비어 있는 경우에만 쿼리 결과를 테이블에 씁니다.
    • 테이블에 추가: 쿼리 결과를 기존 테이블에 추가합니다.
    • 테이블 덮어쓰기: 쿼리 결과를 사용하여 기존 테이블을 같은 이름으로 덮어씁니다.

    테이블 덮어쓰기 라디오

  10. 결과 크기크기가 큰 결과 허용(크기 제한 없음)을 선택합니다.

    쿼리 결과 크기

  11. (선택사항) 처리 위치에서 자동 선택을 클릭하고 데이터의 위치를 선택합니다.

    쿼리 처리 위치

  12. 저장을 클릭하여 쿼리 설정을 업데이트합니다.

  13. 실행을 클릭합니다. 그러면 지정한 테이블에 크기가 큰 결과 세트를 쓰는 쿼리 작업이 생성됩니다.

bq

--allow_large_results플래그를 --destination_table 플래그와 함께 사용하여 크기가 큰 결과 세트를 보관할 대상 테이블을 만듭니다. -- allow_large_results 옵션은 legacy SQL에만 적용되므로 --use_legacy_sql=true 플래그도 지정해야 합니다. 기본 프로젝트에 없는 테이블에 쿼리 결과를 쓰려면 프로젝트 ID를 PROJECT_ID:DATASET 형식으로 데이터세트 이름에 추가합니다. --location 플래그를 지정하고 값을 사용자의 위치로 설정합니다.

기존 대상 테이블의 쓰기 처리를 제어하려면 다음 플래그 옵션 중 하나를 지정합니다.

  • --append_table: 대상 테이블이 있으면 쿼리 결과가 테이블에 추가됩니다.
  • --replace: 대상 테이블이 있으면 쿼리 결과로 테이블을 덮어씁니다.
bq --location=location query \
--destination_table PROJECT_ID:DATASET.TABLE \
--use_legacy_sql=true \
--allow_large_results "QUERY"

다음을 바꿉니다.

  • LOCATION은 쿼리 처리에 사용되는 위치의 이름입니다. --location 플래그는 선택사항입니다. 예를 들어 도쿄 리전에서 BigQuery를 사용한다면 플래그 값을 asia-northeast1로 설정할 수 있습니다. .bigqueryrc 파일을 사용하여 위치 기본값을 설정할 수 있습니다.
  • PROJECT_ID는 프로젝트 ID입니다.
  • DATASET는 쿼리 결과를 쓸 테이블이 포함된 데이터 세트의 이름입니다.
  • TABLE은 쿼리 결과를 쓸 테이블의 이름입니다.
  • QUERY는 legacy SQL 구문의 쿼리입니다.

예:

mydataset에 있는 mytable이라는 대상 테이블에 크기가 큰 쿼리 결과를 쓰려면 다음 명령어를 입력합니다. 데이터세트는 기본 프로젝트에 있습니다. 명령어에 쓰기 처리 플래그가 지정되지 않았으므로 테이블은 새 테이블이거나 비어 있어야 합니다. 그렇지 않으면 Already exists 오류가 반환됩니다. 쿼리는 USA Name Data 공개 데이터 세트에서 데이터를 검색합니다. 이 쿼리는 예시 목적으로만 사용됩니다. 반환되는 결과 세트는 최대 응답 크기를 초과하지 않습니다.

bq query \
--destination_table mydataset.mytable \
--use_legacy_sql=true \
--allow_large_results \
"SELECT
  name,
  number
FROM
  [bigquery-public-data:usa_names.usa_1910_current]
WHERE
  gender = 'M'
ORDER BY
  number DESC"

크기가 큰 쿼리 결과를 사용하여 mydataset에 있는 mytable이라는 대상 테이블을 덮어쓰려면 다음 명령어를 입력합니다. 데이터세트는 기본 프로젝트가 아닌 myotherproject에 있습니다. 이 명령어는 --replace 플래그를 사용하여 대상 테이블을 덮어씁니다.

bq query \
--destination_table mydataset.mytable \
--replace \
--use_legacy_sql=true \
--allow_large_results \
"SELECT
  name,
  number
FROM
  [bigquery-public-data:usa_names.usa_1910_current]
WHERE
  gender = 'M'
ORDER BY
  number DESC"

mydataset에 있는 mytable이라는 대상 테이블에 크기가 큰 쿼리 결과를 추가하려면 다음 명령어를 입력합니다. 데이터세트는 기본 프로젝트가 아닌 myotherproject에 있습니다. 이 명령어는 --append_table 플래그를 사용하여 쿼리 결과를 대상 테이블에 추가합니다.

bq query \
--destination_table myotherproject:mydataset.mytable \
--append_table \
--use_legacy_sql=true \
--allow_large_results \
"SELECT
  name,
  number
FROM
  [bigquery-public-data:usa_names.usa_1910_current]
WHERE
  gender = 'M'
ORDER BY
  number DESC"

API

대상 테이블에 크기가 큰 결과를 쓰려면 jobs.insert 메서드를 호출하고, query 작업을 구성하고, allowLargeResults 속성을 true로 설정합니다. destinationTable 속성을 사용하여 대상 테이블을 지정합니다. 기존 대상 테이블의 쓰기 처리를 제어하려면 writeDisposition 속성을 구성합니다.

작업 리소스jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.

Go

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 BigQuery Go API 참조 문서를 확인하세요.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// queryLegacyLargeResults demonstrates issuing a legacy SQL query and writing a large result set
// into a destination table.
func queryLegacyLargeResults(w io.Writer, projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "destinationdataset"
	// tableID := "destinationtable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	q := client.Query(
		"SELECT corpus FROM [bigquery-public-data:samples.shakespeare] GROUP BY corpus;")
	q.UseLegacySQL = true
	q.AllowLargeResults = true
	q.QueryConfig.Dst = client.Dataset(datasetID).Table(tableID)
	// Run the query and print results when the query job is completed.
	job, err := q.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	it, err := job.Read(ctx)
	for {
		var row []bigquery.Value
		err := it.Next(&row)
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, row)
	}
	return nil
}

자바

크기가 큰 결과를 사용 설정하려면 크기가 큰 결과 허용true로 설정하고 QueryJobConfiguration에서 대상 테이블을 원하는 TableId로 설정합니다.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.QueryJobConfiguration;
import com.google.cloud.bigquery.TableId;
import com.google.cloud.bigquery.TableResult;

// Sample to run query with large results and save the results to a table.
public class QueryLargeResults {

  public static void runQueryLargeResults() {
    // TODO(developer): Replace these variables before running the sample.
    String destinationDataset = "MY_DESTINATION_DATASET_NAME";
    String destinationTable = "MY_DESTINATION_TABLE_NAME";
    String query = "SELECT corpus FROM [bigquery-public-data:samples.shakespeare] GROUP BY corpus;";
    queryLargeResults(destinationDataset, destinationTable, query);
  }

  public static void queryLargeResults(
      String destinationDataset, String destinationTable, String query) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      QueryJobConfiguration queryConfig =
          // To use legacy SQL syntax, set useLegacySql to true.
          QueryJobConfiguration.newBuilder(query)
              .setUseLegacySql(true)
              // Save the results of the query to a permanent table.
              .setDestinationTable(TableId.of(destinationDataset, destinationTable))
              // Allow results larger than the maximum response size.
              // If true, a destination table must be set.
              .setAllowLargeResults(true)
              .build();

      TableResult results = bigquery.query(queryConfig);

      results
          .iterateAll()
          .forEach(row -> row.forEach(val -> System.out.printf("%s,", val.toString())));

      System.out.println("Query large results performed successfully.");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Query not performed \n" + e.toString());
    }
  }
}

Node.js

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Node.js 설정 안내를 따르세요. 자세한 내용은 BigQuery Node.js API 참조 문서를 확인하세요.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function queryLegacyLargeResults() {
  // Query enables large result sets.

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const projectId = "my_project"
  // const datasetId = "my_dataset";
  // const tableId = "my_table";

  const query = `SELECT word FROM [bigquery-public-data:samples.shakespeare] LIMIT 10;`;

  // For all options, see https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/query
  const options = {
    query: query,
    // Location must match that of the dataset(s) referenced
    // in the query and of the destination table.
    useLegacySql: true,
    allowLargeResult: true,
    destinationTable: {
      projectId: projectId,
      datasetId: datasetId,
      tableId: tableId,
    },
  };

  const [job] = await bigquery.createQueryJob(options);
  console.log(`Job ${job.id} started.`);

  // Wait for the query to finish
  const [rows] = await job.getQueryResults();

  // Print the results
  console.log('Rows:');
  rows.forEach(row => console.log(row));
}

Python

이 샘플을 사용해 보기 전에 BigQuery 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 BigQuery Python API 참조 문서를 확인하세요.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the destination table.
# table_id = "your-project.your_dataset.your_table_name"

# Set the destination table and use_legacy_sql to True to use
# legacy SQL syntax.
job_config = bigquery.QueryJobConfig(
    allow_large_results=True, destination=table_id, use_legacy_sql=True
)

sql = """
    SELECT corpus
    FROM [bigquery-public-data:samples.shakespeare]
    GROUP BY corpus;
"""

# Start the query, passing in the extra configuration.
query_job = client.query(sql, job_config=job_config)  # Make an API request.
query_job.result()  # Wait for the job to complete.

print("Query results loaded to the table {}".format(table_id))

Cloud Console에서 쿼리 결과 다운로드 및 저장

Cloud Console을 사용하여 SQL 쿼리를 실행한 후에 다른 위치에 결과를 저장할 수 있습니다. Cloud Console을 사용하여 쿼리 결과를 로컬 파일, 스프레드시트 또는 드라이브로 다운로드할 수 있습니다. 로컬 파일, 스프레드시트 또는 드라이브로 결과를 저장하는 것은 bq 명령줄 도구나 API에서 지원하지 않습니다.

제한사항

쿼리 결과 다운로드 및 저장에는 다음 제한사항이 적용됩니다.

  • 쿼리 결과를 CSV 또는 줄바꿈으로 구분된 JSON 형식으로만 다운로드할 수 있습니다.
  • CSV 형식의 중첩되고 반복되는 데이터가 포함된 쿼리 결과를 다운로드할 수 없습니다.
  • 중첩되고 반복되는 데이터가 포함된 쿼리 결과를 스프레드시트에 저장할 수 없습니다.
  • Cloud Console을 사용하여 쿼리 결과를 드라이브에 저장하려면 결과 세트가 1GB 이하여야 합니다. 결과가 1GB보다 크면 테이블에 대신 저장할 수 있습니다.
  • 쿼리 결과를 드라이브에 저장할 때는 CSV 또는 줄바꿈으로 구분된 JSON 형식으로만 저장할 수 있습니다.

쿼리 결과를 로컬 파일에 다운로드

bq 명령줄 도구나 API를 사용하여 쿼리 결과를 로컬 파일에 다운로드할 수 없습니다.

쿼리 결과를 CSV 또는 줄바꿈으로 구분된 JSON 파일로 다운로드하려면 Cloud Console을 사용합니다.

Console

  1. Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery 페이지로 이동

  2. 새 쿼리 작성을 클릭합니다.

  3. 쿼리 편집기 텍스트 영역에 유효한 SQL 쿼리를 입력합니다.

  4. (선택사항) 처리 위치를 변경하려면 더보기를 클릭하고 쿼리 설정을 선택합니다. 처리 위치에서 자동 선택을 클릭하고 데이터의 위치를 선택합니다.

  5. 실행을 클릭합니다.

  6. 결과가 반환되면 결과 저장을 클릭하고 결과를 저장할 형식/위치를 선택합니다.

    브라우저의 기본 다운로드 위치로 파일이 다운로드됩니다.

쿼리 결과를 드라이브에 저장

쿼리 결과를 스프레드시트에 저장하는 것은 bq 명령줄 도구나 API에서 지원하지 않습니다.

쿼리 결과를 드라이브에 저장하려면 Cloud Console을 사용하세요.

Console

  1. Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery 페이지로 이동

  2. 쿼리 편집기 텍스트 영역에 유효한 SQL 쿼리를 입력합니다.

  3. 실행을 클릭합니다.

  4. 결과가 반환되면 결과 저장을 클릭합니다.

    결과 저장 버튼 스크린샷

  5. CSV(Google 드라이브) 또는 JSON(Google 드라이브)을 선택합니다. 결과를 드라이브에 저장할 때는 위치를 선택할 수 없습니다. 결과는 항상 루트 '내 드라이브' 위치에 저장됩니다.

  6. 결과를 드라이브에 저장하는 데 몇 분 정도 걸릴 수 있습니다. 결과가 저장되면 bq-results-[TIMESTAMP]-[RANDOM_CHARACTERS].[CSV or JSON]과 같은 파일 이름이 포함된 팝업 메시지가 나타납니다.

    결과 저장 버튼 스크린샷

  7. 팝업 메시지에서 열기를 클릭하여 파일을 열거나 드라이브로 이동하고 내 드라이브를 클릭합니다.

쿼리 결과를 스프레드시트에 저장

쿼리 결과를 스프레드시트에 저장하는 것은 bq 명령줄 도구나 API에서 지원하지 않습니다.

쿼리 결과를 스프레드시트에 저장하려면 Cloud Console을 사용하세요.

Console

  1. Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery 페이지로 이동

  2. 새 쿼리 작성을 클릭합니다.

  3. 쿼리 편집기 텍스트 영역에 유효한 SQL 쿼리를 입력합니다.

  4. (선택사항) 처리 위치를 변경하려면 더보기를 클릭하고 쿼리 설정을 선택합니다. 처리 위치에서 자동 선택을 클릭하고 데이터의 위치를 선택합니다.

  5. 실행을 클릭합니다.

  6. 결과가 반환되면 결과 저장을 클릭하고 Google 스프레드시트를 선택합니다.

  7. 필요한 경우 메시지를 따라 Google 계정에 로그인하고 허용을 클릭하여 드라이브 MY Drive 폴더에 데이터를 쓸 수 있는 권한을 BigQuery에 부여합니다.

    그러면 'BigQuery 클라이언트 도구가 Google 계정에 연결되었습니다'라는 제목의 이메일이 수신됩니다. 이메일에는 개발자가 부여한 권한과 권한 삭제 단계에 대한 정보가 있습니다.

  8. 결과가 저장되면 Cloud Console의 쿼리 결과 아래에 Saved to Sheets as "results-20190225-103531. Open과 비슷한 메시지가 표시됩니다. 메시지에 있는 링크를 클릭하여 스프레드시트에서 결과를 보거나 My Drive 폴더로 이동하여 수동으로 파일을 엽니다.

    쿼리 결과를 스프레드시트에 저장하면 파일 이름이 results-[DATE]로 시작됩니다. 여기에서 [DATE]YYYYMMDD 형식의 오늘 날짜입니다.