쿼리 결과를 Blob Storage로 내보내기

이 문서에서는 BigLake 테이블에서 실행되는 쿼리의 결과를 Azure Blob Storage로 내보내는 방법을 설명합니다.

BigQuery와 Azure Blob Storage 간의 데이터 흐름 방식은 데이터를 내보낼 때 데이터 흐름을 참조하세요.

시작하기 전에

다음 리소스가 있는지 확인합니다.

쿼리 결과 내보내기

BigQuery Omni는 기존 콘텐츠에 관계없이 지정된 Azure Blob Storage 위치에 씁니다. 내보내기 쿼리에서 기존 데이터를 덮어쓰거나 쿼리 결과를 기존 데이터와 혼합할 수 있습니다. 쿼리 결과를 비어 있는 Blob Storage 컨테이너로 내보내는 것이 좋습니다.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 쿼리 편집기 필드에 GoogleSQL 내보내기 쿼리를 입력합니다.

    EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\`
OPTIONS(
  uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*",
  format="FORMAT"
)
AS QUERY

    다음을 바꿉니다.

    • CONNECTION_REGION: 연결이 생성된 리전
    • CONNECTION_NAME: 컨테이너에 쓰는 데 필요한 권한으로 만든 연결 이름
    • AZURE_STORAGE_ACCOUNT_NAME: 쿼리 결과를 기록하려는 Blob Storage 계정의 이름
    • CONTAINER_NAME: 쿼리 결과를 기록하려는 컨테이너의 이름
    • FILE_PATH: 내보낸 파일을 쓰려는 경로. 경로 문자열의 리프 디렉터리에는 정확히 하나의 와일드 카드(*)가 포함되어야 합니다(예: ../aa/*, ../aa/b*c, ../aa/*bc, ../aa/bc*). BigQuery는 내보낸 파일 수에 따라 *를 0000..N으로 바꿉니다. BigQuery에서 파일 수와 크기를 결정합니다. BigQuery에서 파일 2개를 내보내기로 한 경우 첫 번째 파일의 파일 이름에서 *가 000000000000으로 바뀌고, * 두 번째 파일의 파일 이름이 000000000001로 바뀝니다.
    • FORMAT: 지원되는 형식은 JSON, AVRO, CSV, PARQUET입니다.
    • QUERY: BigLake 테이블에 저장된 데이터를 분석하는 쿼리입니다.

문제 해결

quota failure 관련 오류가 발생하면 쿼리에 용량을 예약했는지 확인합니다. 슬롯 예약에 대한 자세한 내용은 이 문서의 시작하기 전에를 참조하세요.

제한사항

Amazon S3 및 Blob Storage를 기반으로 BigLake 테이블에 적용되는 전체 제한사항 목록은 제한사항을 참조하세요.

다음 단계