연결 소개
BigQuery를 사용하면 Cloud Storage 또는 Spanner와 같은 Google Cloud 서비스 또는 AWS나 Azure와 같은 타사 소스의 BigQuery 외부에 저장된 데이터를 쿼리할 수 있습니다. 이러한 외부 연결에는 BigQuery Connection API가 사용됩니다.
예를 들어 고객 주문에 대한 세부정보를 Cloud SQL에 저장하고 매출 데이터를 BigQuery에 저장하고 두 테이블을 단일 쿼리로 조인한다고 가정해보세요. BigQuery Connection API를 사용하여 외부 데이터베이스에 대해 Cloud SQL 연결을 만들 수 있습니다. 연결을 사용하면 데이터베이스 사용자 인증 정보가 일반 텍스트로 전송되지 않습니다.
연결은 암호화되어 BigQuery 연결 서비스에 안전하게 저장됩니다. BigQuery 연결 Identity and Access Management(IAM) 역할을 부여하여 사용자에게 연결 액세스 권한을 제공할 수 있습니다.
연결 유형
BigQuery는 다음 외부 데이터 소스에 대한 연결을 제공합니다.
BigLake 테이블: BigLake 연결은 세분화된 BigQuery 액세스 제어 및 보안을 유지하면서 다음과 같은 외부 데이터 소스에 연결할 수 있게 해줍니다.
- Cloud Storage의 구조화된 데이터
- Cloud Storage의 구조화되지 않은 데이터
- BigQuery Omni를 사용하는 Amazon S3
- BigQuery Omni를 사용하는 Azure Blob Storage
자세한 내용은 BigLake 테이블 소개를 참조하세요.
통합 쿼리: 통합 연결은 쿼리를 전송하기 전 다음 데이터베이스에 대한 연결을 설정합니다. 연결은 통합 쿼리에 대한 데이터베이스 사용자 인증 정보를 처리합니다.
자세한 내용은 통합 쿼리 소개를 참조하세요.
원격 함수: BigQuery 원격 함수는 Cloud Functions 또는 Cloud Run에서 지원되는 언어로 함수를 구현할 수 있게 해줍니다. BigQuery 연결을 사용하면 Cloud Functions 또는 Cloud Run과 연결하고 이러한 함수를 실행할 수 있습니다.
자세한 내용은 원격 함수 작업 및 원격 함수를 사용하여 객체 테이블 분석을 참조하세요.
Apache Spark: Apache Spark의 저장 프로시져를 사용하면 Python으로 작성된 저장 프로시져를 BigQuery를 사용하여 실행할 수 있습니다. Spark 연결을 사용하면 서버리스 Dataproc에 연결하고 Apache Spark에 대한 저장 프로시져를 실행할 수 있습니다.
자세한 내용은 Apache Spark에 대한 저장 프러시저 작업을 참조하세요.
감사 로그
BigQuery는 연결에 대한 사용량과 관리 요청을 로깅합니다. 자세한 내용은 BigQuery 감사 로그 개요를 참조하세요.