Cloud Data Fusion에서 VPC 서비스 제어 사용

비공개 IP 주소를 사용하여 Cloud Data Fusion 인스턴스를 만들려면 먼저 VPC 서비스 제어(VPC-SC)로 인스턴스에 보안 경계를 설정하여 보안을 강화하면 됩니다. 비공개 Cloud Data Fusion 인스턴스와 기타 Google Cloud 리소스 주위에 VPC-SC 보안 경계를 사용하면 데이터 무단 반출 위험을 완화할 수 있습니다. 예를 들어 VPC 서비스 제어를 사용하면 Cloud Data Fusion 파이프라인이 시야계 내에 위치한 BigQuery 데이터 세트와 같은 지원되는 리소스에서 데이터를 읽고 출력을 시야계 외부에 있는 리소스에 작성하려고 시도할 경우 파이프라인은 실패합니다.

Cloud Data Fusion 리소스는 두 가지 API 표면에 노출됩니다.

datafusion.googleapis.com 제어 영역 API 표면 - 인스턴스 생성 및 삭제와 같은 인스턴스 수준 작업을 수행할 수 있습니다.
datafusion.googleusercontent.com 데이터 영역 API 표면(Google Cloud 콘솔의 Cloud Data Fusion 웹 UI) - Cloud Data Fusion 인스턴스에서 실행되어 데이터 파이프라인을 만들고 실행합니다.

이러한 두 API 표면에 대한 연결을 제한하여 Cloud Data Fusion으로 VPC 서비스 제어를 설정합니다.

전략:

Cloud Data Fusion 파이프라인은 Dataproc 클러스터에서 실행됩니다. 서비스 경계로 Dataproc 클러스터를 보호하려면 클러스터가 경계 내에서 작동할 수 있도록 비공개 연결 설정의 지침을 따릅니다.
VPC 서비스 제어에서 지원하지 않는 Google Cloud API를 사용하는 플러그인을 사용하지 마세요. 지원되지 않는 플러그인을 사용하면 Cloud Data Fusion에서 API 호출을 차단하고 이로 인해 파이프라인 미리보기와 실행이 실패합니다.
VPC 서비스 제어 서비스 경계 내에서 Cloud Data Fusion을 사용하려면 다음 도메인이 제한된 VIP(가상 IP 주소)를 가리키도록 DNS 항목 여러 개를 추가 또는 구성해야 합니다.
- datafusion.googleapis.com
- *.datafusion.googleusercontent.com
- *.datafusion.cloud.google.com

제한사항:

Cloud Data Fusion 비공개 인스턴스를 만들기 전에 VPC 서비스 제어 보안 경계를 설정합니다. VPC 서비스 제어를 설정하기 전에 만든 인스턴스의 경계 보호는 지원되지 않습니다.
현재 Cloud Data Fusion 데이터 영역 UI에서는 ID 기반 액세스를 사용하여 액세스 수준을 지정할 수 없습니다.

Cloud Data Fusion API 표면 제한

제어 영역 표면 제한

datafusion.googleapis.com API 제어 영역 표면에 대한 연결을 제한하려면 Google API 및 서비스에 대한 비공개 연결 설정을 참조하세요.

데이터 영역 표면 제한

API 데이터 영역에 대한 비공개 연결을 설정하려면 *.datafusion.googleusercontent.com 및 *.datafusion.cloud.google.com 도메인 모두에 다음 단계를 완료하여 DNS를 구성합니다.

Cloud DNS를 사용하여 새 비공개 영역을 만듭니다.
1. 영역 유형: 비공개를 선택합니다.
2. 영역 이름: datafusiongoogleusercontentcom
3. DNS 이름: datafusion.googleusercontent.com
4. 네트워크: Cloud Data Fusion 인스턴스를 만들 때 선택한 비공개 IP 네트워크를 선택합니다.
Cloud DNS 페이지에서 datafusiongoogleusercontent DNS 영역 이름을 클릭하여 영역 세부정보 페이지를 엽니다. NS 레코드와 SOA 레코드 등 레코드 두 개가 나열됩니다. 표준 추가를 사용하여 다음 레코드 세트 두 개를 datafusiongoogleusercontent DNS 영역에 추가합니다.
1. CNAME 레코드 추가: 레코드 세트 만들기 대화상자에서 다음 필드를 입력하여 DNS 이름 *.datafusion.googleusercontent.com.을 표준 이름 datafusion.googleusercontent.com에 매핑합니다.
  - DNS 이름: '*.datafusion.googleusercontent.com'
  - 표준 이름: 'datafusion.googleusercontent.com'
2. A 레코드 추가: 새 레코드 세트 만들기 대화상자에서 다음 필드를 입력하여 DNS 이름 datafusion.googleusercontent.com.을 IP 주소 199.36.153.4-199.36.153.7에 매핑합니다.
  - DNS 이름: '.datafusion.googleusercontent.com'
  - IPv4 주소:
    - 199.36.153.4
    - 199.36.153.5
    - 199.36.153.6
    - 199.36.153.7
  datafusiongoogleusercontent 영역 세부정보 페이지에는 다음 레코드 세트가 표시됩니다.
위 단계를 따라 비공개 DNS 영역을 만들고 *.datafusion.cloud.google.com 도메인의 레코드 세트를 추가합니다.

다음 단계

비공개 인스턴스 만들기 알아보기
VPC 서비스 제어 자세히 알아보기