Dataproc 환경 보안은 민감한 정보를 보호하고 무단 액세스를 방지하는 데 매우 중요합니다. 이 문서에서는 네트워크 보안, Identity and Access Management, 암호화, 클러스터 구성 보호에 대한 권장사항을 포함하여 Dataproc 보안 상황을 개선하기 위한 주요 권장사항을 설명합니다.
네트워크 보안
비공개 VPC에 Dataproc을 배포합니다. Dataproc 클러스터 전용 가상 프라이빗 클라우드를 만들어 다른 네트워크 및 공용 인터넷과 격리합니다.
비공개 IP를 사용합니다. Dataproc 클러스터가 공개 인터넷에 노출되지 않도록 보호하려면 비공개 IP 주소를 사용하여 보안 및 격리를 강화하세요.
방화벽 규칙 구성 엄격한 방화벽 규칙을 구현하여 Dataproc 클러스터와 주고받는 트래픽을 제어합니다. 필요한 포트 및 프로토콜만 허용합니다.
네트워크 피어링을 사용합니다. 격리 수준을 강화하기 위해 Dataproc VPC와 다른 민감한 VPC 사이에 VPC 네트워크 피어링을 설정하여 통신을 제어합니다.
구성요소 게이트웨이를 사용 설정합니다. 클러스터를 만들 때 방화벽 포트를 여는 대신 YARN, HDFS 또는 Spark 서버 UI와 같은 Hadoop 생태계 UI에 안전하게 액세스하도록 클러스터를 만들 때 Dataproc 구성요소 게이트웨이를 사용 설정합니다.
Identity and Access Management
권한을 격리합니다. 클러스터마다 다른 데이터 영역 서비스 계정을 사용합니다. 서비스 계정에 클러스터가 워크로드를 실행하는 데 필요한 권한만 할당합니다.
Google Compute Engine(GCE) 기본 서비스 계정을 사용하지 않습니다. 클러스터에 기본 서비스 계정을 사용하지 않습니다.
최소 권한의 원칙을 준수합니다. Dataproc 서비스 계정 및 사용자에게 최소 필요 권한만 부여합니다.
역할 기반 액세스 제어(RBAC)를 적용합니다. 클러스터별 IAM 권한 설정을 고려합니다.
커스텀 역할을 사용합니다. Dataproc 환경 내에서 특정 직무에 맞게 세분화된 커스텀 IAM 역할을 만듭니다.
정기적으로 검토합니다. 정기적으로 IAM 권한과 역할을 감사하여 과도하거나 사용되지 않는 권한을 식별하고 삭제합니다.
암호화
저장 데이터 암호화합니다. 저장 데이터 암호화의 경우 Cloud Key Management Service(KMS) 또는 고객 관리 암호화 키(CMEK)를 사용합니다. 또한 조직 정책을 사용하여 클러스터 생성의 저장 데이터 암호화를 시행합니다.
전송 중 데이터를 암호화합니다. Dataproc 구성요소(Hadoop 보안 모드 사용 설정)와 외부 서비스 간의 통신에 SSL/TLS를 사용 설정합니다. 이를 통해 이동 중인 데이터를 보호할 수 있습니다.
민감한 정보에 주의합니다. PII 또는 비밀번호와 같은 민감한 정보를 저장하고 전달할 때 주의합니다. 필요한 경우 암호화 및 보안 비밀 관리 솔루션을 사용합니다.
클러스터 구성 보호
Kerberos를 사용하여 인증합니다. 클러스터 리소스에 대한 무단 액세스를 방지하려면 Kerberos 인증을 사용하여 Hadoop 보안 모드를 구현합니다. 자세한 내용은 Kerberos를 통한 멀티테넌시 보호를 참조하세요.
강력한 루트 주 구성원 비밀번호와 안전한 KMS 기반 스토리지를 사용합니다. Kerberos를 사용하는 클러스터의 경우 Dataproc은 클러스터에서 실행되는 모든 오픈소스 구성요소에 대한 보안 강화 기능을 자동으로 구성합니다.
OS 로그인을 사용 설정합니다. SSH를 사용하여 클러스터 노드를 관리할 때 추가 보안을 위해 OS 로그인을 사용 설정합니다.
Google Cloud Storage(GCS)에서 스테이징 및 임시 버킷을 분리합니다. 권한 격리를 보장하기 위해 각 Dataproc 클러스터에 대해 스테이징 및 임시 버킷을 분리합니다.
Secret Manager를 사용하여 사용자 인증 정보를 저장합니다. Secret Manager는 API 키, 비밀번호, 인증서와 같은 민감한 정보를 보호할 수 있습니다. 이를 사용하여 Google Cloud에서 보안 비밀을 관리하고 액세스하고 감사합니다.
커스텀 조직별 제약조건을 사용합니다. 커스텀 조직 정책을 사용하여 Dataproc 클러스터에 대해 특정 작업을 허용 또는 거부할 수 있습니다. 예를 들어 클러스터 만들기나 업데이트 요청이 조직 정책에 설정된 대로 커스텀 제약조건 검증을 충족하지 못하면 요청이 실패하고 호출자에게 오류가 반환됩니다.
다음 단계
다른 Dataproc 보안 기능에 대해 자세히 알아보세요.