관리형 I/O는 BigQuery에 다음 기능을 지원합니다.
- 동적 테이블 생성
- 동적 대상
- 읽기의 경우 커넥터는 BigQuery Storage Read API를 사용합니다.
쓰기의 경우 커넥터는 다음 BigQuery 메서드를 사용합니다.
- 소스가 무제한인 경우 커넥터는 정확히 한 번 모드에서 BigQuery Storage Write API를 사용하여 BigQuery에 직접 씁니다.
- 소스가 제한된 경우 커넥터는 BigQuery 파일 로드를 사용합니다.
요구사항
Java용 Apache Beam SDK 버전 2.61.0 이상이 필요합니다.
구성
| 읽기 및 쓰기 구성 | 데이터 유형 | 설명 |
|---|---|---|
table |
문자열 | 읽거나 쓸 BigQuery 테이블입니다. 형식은 "PROJECT.DATASET.TABLE"입니다. 예: "my_project.dataset1.table1" |
kms_key |
문자열 | 쓰기 중에 BigQuery 테이블을 암호화하거나 읽기 중에 생성된 임시 테이블을 암호화하는 Cloud Key Management Service (Cloud KMS) 키를 지정합니다. |
| 읽기 구성 | 데이터 유형 | 설명 |
fields |
문자열 목록 | 테이블에서 읽을 열 목록입니다. 이 매개변수를 사용하면 테이블에 열이 많은 경우 효율적으로 읽을 수 있습니다. |
query |
문자열 | 읽을 SQL 쿼리입니다. 지정된 경우 커넥터는 BigQuery에서 쿼리를 실행하고 쿼리 결과를 읽습니다. |
row_restriction |
문자열 | 서버 측에서 데이터를 필터링하는 조건자입니다. 예: "age > 18" |
| 쓰기 구성 | 데이터 유형 | 설명 |
triggering_frequency |
정수 | 제한되지 않은 소스의 경우 파일 쓰기가 트리거되는 빈도(초)를 지정합니다. |
읽기의 경우 table 또는 query를 지정해야 합니다. 쓰기의 경우 table를 지정해야 합니다.
자세한 내용은 다음 항목을 참조하세요.