외부 테이블 만들기

BigQuery Omni는 Azure Storage에 저장된 데이터를 관리하지 않습니다. Azure Storage 데이터에 액세스하려면 외부 테이블을 정의합니다.

외부 테이블을 만들려면 다음 단계를 따르세요.

Google Cloud Console

  1. Google Cloud Console에서 BigQuery 페이지를 엽니다.

    BigQuery로 이동

  2. 탐색 패널의 리소스 섹션에서 프로젝트를 펼치고 데이터세트를 선택합니다.

  3. 세부정보 패널에서 테이블 만들기를 클릭합니다.

    테이블 만들기

  4. 테이블 만들기 페이지의 소스 섹션에서 다음을 수행합니다.

    • 다음 항목으로 테이블 만들기에서 Azure Blob Storage를 선택합니다.
    • Azure Blob Storage 경로 선택에서 abs 형식을 사용하여 Azure Blob Storage 경로를 입력합니다. (예: abs://AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH) AZURE_STORAGE_ACCOUNT_NAME을 Azure Storage 계정의 이름으로 바꿉니다. 계정의 리전은 데이터 세트의 리전과 동일해야 합니다. CONTAINER_NAME을 Azure 컨테이너 이름으로 바꿉니다. FILE_PATH를 Azure Storage 데이터를 가리키는 데이터 경로로 바꿉니다. 예를 들어 단일 CSV 파일에서 FILE_PATHabs://account/container/myfile.csv일 수 있습니다.
    • 파일 형식에 Azure의 데이터 형식을 선택합니다. 지원되는 형식은 AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON, Sheets입니다.
  5. 테이블 만들기 페이지의 대상 섹션에서 다음을 수행합니다.

    • 데이터 세트 이름에서 적절한 데이터 세트를 선택합니다.

      데이터세트 선택

    • 테이블 이름 필드에 생성할 테이블의 이름을 입력합니다.

    • 테이블 유형외부 테이블로 설정되어 있는지 확인합니다.

    • 연결 ID의 경우 드롭다운에서 적절한 연결 ID를 선택합니다.

  6. 테이블 만들기를 클릭합니다.

bq

bq mk \
--external_table_definition=DATA_FORMAT=abs://
AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH@AZURE_LOCATION.CONNECTION_NAME \
DATASET_NAME.TABLE_NAME

다음을 바꿉니다.

  • DATA_FORMAT: 지원되는 모든 BigQuery 제휴 형식입니다(예: AVRO, CSV, PARQUET). 형식이 모두 대문자로 작성되었는지 확인하세요.
  • AZURE_STORAGE_ACCOUNT_NAME: Azure Storage 계정의 이름입니다.
  • CONTAINER_NAME: Azure 컨테이너의 이름입니다.
  • FILE_PATH: Azure Storage 데이터를 가리키는 데이터 경로입니다.
  • AZURE_LOCATION: Google Cloud의 Azure 위치입니다(예: azure-eastus2).
  • CONNECTION_NAME: 만든 연결의 이름입니다.
  • DATASET_NAME: 생성한 데이터 세트의 이름입니다.
  • TABLE_NAME: 이 테이블에 지정할 이름입니다.

예를 들어 다음 명령어는 새 외부 테이블 absdataset.abstable을 만들며, 이 테이블은 abs://account/container/path 경로에 저장된 Azure Storage 데이터를 쿼리할 수 있고 azure-eastus2 위치에 읽기 연결이 있습니다.

bq mk \
--external_table_definition=AVRO=abs://account/container/path@azure-eastus2.abs-read-conn absdataset.abstable

다음 단계