BigQuery 커넥터

BigQuery 커넥터를 사용하여 BigQuery에 대한 프로그래매틱 읽기/쓰기 액세스 권한을 사용 설정할 수 있습니다. 이 방법은 BigQuery에 저장된 데이터를 처리하는 최적의 방법입니다. 명령줄 액세스는 공개되지 않습니다. BigQuery 커넥터는 Spark 및 Hadoop 애플리케이션이 기본 용어를 사용하여 BigQuery의 데이터를 처리하고 BigQuery에 데이터를 쓸 수 있도록 하는 라이브러리입니다.

가격 책정 고려사항

커넥터 사용시 요금에는 BigQuery 사용 요금이 포함됩니다. 다음 서비스별 요금도 적용될 수 있습니다.

  • Cloud Storage - 커넥터가 작업 실행 전이나 도중에 데이터를 Cloud Storage 버킷에 다운로드합니다. 작업이 완료되면 데이터가 Cloud Storage에서 삭제됩니다. Cloud Storage 가격에 따라 이 스토리지 요금이 청구됩니다. 초과 요금이 발생하지 않도록 Cloud Storage 계정을 확인하고 불필요한 임시 파일을 삭제하세요.
  • BigQuery Storage API - 커넥터는 성능을 향상시키기 위해 BigQuery Storage API를 사용하여 데이터를 읽습니다. 이 사용량은 BigQuery Storage API 가격 책정에 따라 청구됩니다.

사용 가능한 커넥터

다음 BigQuery 커넥터는 Hadoop 생태계에서 사용할 수 있습니다.

  1. Spark BigQuery 커넥터는 Spark 데이터 소스를 추가하여 DataFrame이 Spark의 read 및 write 작업을 사용하여 BigQuery 테이블과 직접 상호작용할 수 있도록 합니다.
  2. Hive BigQuery 커넥터는 Hive 핸들러를 사용하여 Apache Hive가 BigQuery 테이블과 직접 상호작용할 수 있도록 하는 스토리지 핸들러를 추가합니다.
  3. Hadoop BigQuery 커넥터는 InputFormat 및 OutputFormat 클래스의 추상화된 버전을 사용하여 Hadoop의 mapper 및 reducer가 BigQuery 테이블과 상호작용하도록 허용합니다.

커넥터 사용

BigQuery 커넥터를 사용하여 빠른 시작을 하려면 다음 예를 참조하세요.

다음 단계