하이브리드 작업 및 작업 트리거는 거의 모든 소스에서 전송된 데이터의 페이로드를 민감한 정보에 대해 스캔한 후 발견 항목을 Google Cloud에 저장하도록 하는 비동기 API 메서드의 집합을 포함합니다. 하이브리드 작업을 사용하면 Sensitive Data Protection 스토리지 검사 메서드와 유사한 방식으로 데이터를 작동 및 제공하는 자체 데이터 크롤러를 작성할 수 있습니다.
하이브리드 작업을 사용하여 모든 소스의 데이터를 Sensitive Data Protection으로 스트리밍할 수 있습니다. Sensitive Data Protection이 데이터에 민감한 정보 또는 개인 식별 정보가 있는지 검사한 다음 검사 스캔 결과를 Cloud DLP 작업 리소스에 저장합니다. Sensitive Data Protection 콘솔 UI 또는 API에서 스캔 결과를 검사할 수 있습니다. 또는 검사 결과 데이터를 BigQuery 테이블에 저장하거나 Pub/Sub 알림을 내보내는 등 실행할 스캔 후 작업을 지정할 수 있습니다.
하이브리드 작업 워크플로는 다음 다이어그램에 요약되어 있습니다.
이 개념 주제는 하이브리드 작업 및 작업 트리거와 그 작동 방식을 설명합니다. 하이브리드 작업 및 작업 트리거를 구현하는 방법은 하이브리드 작업을 사용하여 외부 데이터 검사를 참조하세요.
하이브리드 환경 정보
'하이브리드' 환경은 조직에서 흔히 사용됩니다. 많은 조직에서 다음의 조합을 사용하여 민감한 정보를 저장하고 처리합니다.
- 기타 클라우드 제공업체
- 온프레미스 서버 또는 기타 데이터 저장소
- 네이티브가 아닌 스토리지 시스템(예: 가상 머신 내에서 실행되는 시스템)
- 웹 및 모바일 앱
- Google Cloud 기반 솔루션
Sensitive Data Protection은 하이브리드 작업을 사용하여 이러한 소스에서 보낸 데이터를 검사할 수 있습니다. 다음은 몇 가지 예시 시나리오입니다.
- Amazon Relational Database Service(RDS), 가상 머신 내에서 실행되는 MySQL, 온프레미스 데이터베이스에 저장된 데이터를 검사합니다.
- 온프레미스에서 클라우드로 또는 프로덕션, 개발, 분석 간에 마이그레이션할 때 데이터를 검사하고 토큰화합니다.
- 데이터를 저장하기 전에 웹 또는 모바일 애플리케이션의 트랜잭션을 검사하고 수정합니다.
검사 옵션
메서드 유형에 자세히 설명되어 있듯이 Sensitive Data Protection은 민감한 정보의 콘텐츠를 검사할 때 세 가지 기본 옵션을 제공합니다.
- 콘텐츠 메서드 검사: 콘텐츠 검사를 사용하여 검사 대상에 대한 안내와 함께 작은 데이터 페이로드를 Sensitive Data Protection으로 스트리밍합니다. 그런 다음 Sensitive Data Protection이 데이터에 민감한 콘텐츠 및 PII가 있는지 검사한 후 해당 스캔 결과를 다시 반환합니다.
- 스토리지 메서드 검사: Sensitive Data Protection은 스토리지 검사를 사용하여 BigQuery 데이터베이스, Cloud Storage 버킷 또는 Datastore 종류와 같은 Google Cloud 기반 스토리지 저장소를 검사합니다. Sensitive Data Protection을 통해 검사할 대상을 지정하면 Sensitive Data Protection이 저장소를 스캔하는 작업을 실행합니다. 스캔이 완료되면 Sensitive Data Protection은 스캔 결과 요약을 작업에 다시 저장합니다. 별도의 BigQuery 테이블과 같은 분석을 위해 결과를 다른 Google Cloud 제품으로 전송하도록 지정할 수도 있습니다.
- 하이브리드 작업 검사: 하이브리드 작업은 앞의 두 가지 메서드의 장점을 모두 제공합니다. 콘텐츠 메서드와 동일한 방식으로 데이터를 스트리밍하면서 스토리지 검사 작업의 스토리지, 시각화, 작업을 얻을 수 있습니다. 모든 검사 구성은 Sensitive Data Protection 내에서 관리되며 클라이언트 측에서 추가 구성이 필요하지 않습니다. 하이브리드 작업은 가상 머신(VM), 온프레미스 또는 다른 클라우드에서 실행되는 데이터베이스와 같은 기본이 아닌 스토리지 시스템을 스캔하는 데 유용할 수 있습니다. 하이브리드 메서드는 마이그레이션 워크로드와 같은 처리 시스템 검사 또는 서비스 간 통신을 프록시하는 데도 유용할 수 있습니다. 콘텐츠 메서드도 이 작업을 수행할 수도 있지만, 하이브리드 메서드는 여러 API 호출에서 데이터를 집계할 수 있는 발견 항목 스토리지 백엔드를 제공하므로 이러한 작업을 수행할 필요가 없습니다.
하이브리드 작업 및 작업 트리거 정보
하이브리드 작업은 사실상 콘텐츠 메서드 및 스토리지 메서드의 하이브리드입니다. 하이브리드 작업 및 작업 트리거를 사용하기 위한 기본 워크플로는 다음과 같습니다.
- 일부 메타데이터와 함께 검사를 위해 데이터를 Sensitive Data Protection에 보내는 스크립트를 작성하거나 워크플로를 만듭니다.
- 하이브리드 작업 리소스 또는 트리거를 구성 및 생성하고 데이터를 수신할 때 활성화하도록 사용 설정합니다.
- 스크립트 또는 워크플로는 클라이언트 측에서 실행되며
hybridInspect요청 형식으로 Sensitive Data Protection으로 데이터를 전송합니다. 데이터에는 활성화 메시지와 검사를 트리거하는 작업 또는 작업 트리거의 식별자가 포함됩니다. - Sensitive Data Protection은 하이브리드 작업 또는 트리거에서 설정한 기준에 따라 데이터를 검사합니다.
- Sensitive Data Protection은 스캔 결과를 제공된 메타데이터와 함께 하이브리드 작업 리소스에 저장합니다. Google Cloud 콘솔에서 Sensitive Data Protection UI를 사용하여 결과를 검사할 수 있습니다.
- 원하는 경우 Sensitive Data Protection은 검사 결과 데이터를 BigQuery 테이블에 저장하거나 이메일 또는 Pub/Sub로 알리는 등 스캔 후 작업을 실행할 수 있습니다.
하이브리드 작업 트리거를 사용하면 필요할 때마다 작업을 트리거할 수 있도록 작업을 생성, 활성화, 중지할 수 있습니다. 스크립트 또는 코드가 하이브리드 작업 트리거의 식별자가 포함된 데이터를 전송하도록 하면 새 작업이 시작될 때마다 스크립트나 코드를 업데이트할 필요가 없습니다.
일반적인 하이브리드 작업 시나리오
하이브리드 작업은 다음과 같은 목표에 적합합니다.
- 분기별 데이터베이스 확인의 일부로 Google Cloud 외부의 데이터베이스에 대한 일회성 스캔을 실행합니다.
- Sensitive Data Protection에서 기본적으로 지원하지 않는 데이터베이스에 매일 추가되는 모든 새 콘텐츠를 모니터링합니다.
- 데이터베이스로 들어오는 데이터를 스캔하고 데이터의 파티션 나누기 방법을 제어합니다.
- Envoy용 Sensitive Data Protection 필터(Envoy 사이드카 프록시용 WebAssembly HTTP 필터)를 사용하여 네트워크의 트래픽을 모니터링하여 문제가 있는 민감한 정보 이동을 식별합니다.
이러한 시나리오에 접근하는 방법에 대한 자세한 내용은 일반적인 하이브리드 검사 시나리오를 참조하세요.
제공할 수 있는 메타데이터의 유형
이 섹션에서는 검사하려는 외부 데이터 또는 발견 항목에 연결할 수 있는 메타데이터 유형을 설명합니다.
다음 수준에서 메타데이터를 설정할 수 있습니다.
하이브리드 작업 또는 하이브리드 작업 트리거의 메타데이터
이 섹션에서는 하이브리드 작업 또는 하이브리드 작업 트리거에 연결할 수 있는 메타데이터 유형을 설명합니다.
필요한 라벨
하이브리드 작업 또는 하이브리드 작업 트리거에서 전송하는 모든 하이브리드 검사 요청에 포함되어야 하는 필수 라벨 목록을 지정할 수 있습니다.
이러한 필요한 라벨이 포함되지 않은 하이브리드 작업 또는 하이브리드 작업 트리거의 요청은 거부됩니다. 자세한 내용은 hybridInspect 요청에 필요한 라벨을 참조하세요.
선택적인 라벨
하이브리드 작업 또는 하이브리드 작업 트리거의 모든 발견 항목에 연결할 키-값 쌍을 지정할 수 있습니다. 예를 들어 하이브리드 작업의 모든 발견 항목에 "env"="prod" 라벨을 지정하려면 하이브리드 작업을 만들 때 이 키-값 쌍을 지정합니다.
테이블 형식 데이터 옵션
데이터의 테이블 객체에 대한 행 식별자(기본 키)인 열을 지정할 수 있습니다. 지정된 열이 테이블에 존재하는 경우 지정된 열의 값이 각 발견 항목과 함께 포함되므로 발견 항목을 이 항목이 발생한 행까지 추적할 수 있습니다. 이러한 테이블 형식 옵션은 CSV와 같은 테이블 형식 데이터(예: item.table 또는 byteItem 형식)를 전송하는 요청에만 적용됩니다.
기본 키를 미리 알고 있으면 하이브리드 작업 또는 하이브리드 작업 트리거를 만들 때 이를 식별 필드로 설정할 수 있습니다. hybridOptions.tableOptions.identifyingFields 필드에 최대 3개의 열 이름을 나열할 수 있습니다.
hybridInspect 요청의 메타데이터
이 섹션에서는 hybridInspect 요청에 연결할 수 있는 메타데이터 유형을 명합니다. hybridInspect 요청으로 전송하는 메타데이터는 해당 요청에만 적용됩니다.
컨테이너 세부정보
하이브리드 작업 또는 하이브리드 작업 트리거로 전송하는 각 요청은 fullPath, rootPath, relativePath, type, version 등의 요소를 포함하여 데이터 소스에 대한 세부정보를 지정할 수 있습니다. 예를 들어 데이터베이스에서 테이블을 스캔하는 경우 필드를 다음과 같이 설정할 수 있습니다.
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
하이브리드 작업 또는 하이브리드 작업 트리거 수준에서는 컨테이너 세부정보를 설정할 수 없습니다.
필요한 라벨
하이브리드 작업 또는 하이브리드 작업 트리거를 만들 때 필요한 라벨을 설정한 경우 해당 하이브리드 작업 또는 하이브리드 작업 트리거로 보내는 모든 hybridInspect 요청에 해당 필수 라벨이 포함되어야 합니다. 자세한 내용은 hybridInspect 요청에 필요한 라벨을 참조하세요.
선택적인 라벨
각 hybridInspect 요청에서 해당 요청의 모든 발견 항목에 연결할 키-값 쌍을 지정할 수 있습니다. 이 메서드를 사용하면 각 hybridInspect 요청에 서로 다른 라벨을 연결할 수 있습니다.
테이블 형식 데이터 옵션
데이터의 테이블 객체에 대한 행 식별자(기본 키)인 열을 지정할 수 있습니다. 지정된 열이 테이블에 존재하는 경우 지정된 열의 값이 각 발견 항목과 함께 포함되므로 발견 항목을 이 항목이 발생한 행까지 추적할 수 있습니다. 이러한 테이블 형식 옵션은 CSV와 같은 테이블 형식 데이터(예: item.table 또는 byteItem 형식)를 전송하는 요청에만 적용됩니다.
기본 키를 미리 알고 있지 않으면 하이브리드 작업 또는 하이브리드 작업 트리거 수준으로 설정할 필요가 없습니다. hybridInspect 요청에서 검사할 테이블 형식 데이터와 함께 설정할 수 있습니다. 하이브리드 작업 또는 하이브리드 작업 트리거 수준에서 나열하는 모든 필드는 hybridInspect 요청에 나열된 필드와 결합됩니다.
지원되는 작업
다른 Sensitive Data Protection 작업과 마찬가지로 하이브리드 작업은 작업(action)을 지원합니다. 일부 작업(action)은 하이브리드 작업에 적용되지 않습니다. 다음은 현재 지원되는 작업 및 작동 방식에 대한 정보입니다. Pub/Sub, 이메일, Cloud Monitoring 액션의 경우 작업이 종료되면 발견 항목을 사용할 수 있습니다.
- Sensitive Data Protection에 발견 항목 저장 및 BigQuery에 발견 항목 저장: 발견 항목은 각각 Sensitive Data Protection 리소스 또는 BigQuery 테이블에 저장됩니다. 이러한 액션이 하이브리드 작업과 작동하는 방식은 다른 작업 유형과 작동하는 방식과 유사하지만, 한 가지 중요한 차이점이 있습니다. 하이브리드 작업과 작동하는 경우에는 작업이 실행되는 동안 발견 항목을 사용할 수 있고 다른 작업 유형과 작동하는 경우에는 작업이 종료되면 발견 항목을 사용할 수 있습니다.
Pub/Sub 전송: 작업이 완료되면 Pub/Sub 메시지가 표시됩니다.
이메일 전송: 작업이 완료되면 이메일 메시지가 전송됩니다.
Cloud Monitoring에 게시: 작업이 완료되면 발견 항목이 Monitoring에 게시됩니다.
요약
다음은 하이브리드 작업 및 작업 트리거 사용의 주요 기능과 이점입니다.
- 하이브리드 작업을 사용하면 클라우드 안팎의 거의 모든 소스에서 Sensitive Data Protection로 데이터를 스트리밍할 수 있습니다.
- Sensitive Data Protection가 활성화 메시지와 작업 트리거의 식별자가 포함된 데이터 스트림을 수신하면 하이브리드 작업 트리거가 활성화됩니다.
- 검사 스캔이 완료될 때까지 기다리거나 작업을 수동으로 중지할 수 있습니다. 검사 결과는 Sensitive Data Protection 또는 BigQuery에 저장되어 작업이 조기에 완료되거나 중지되도록 허용됩니다.
- 하이브리드 작업 트리거에서 Sensitive Data Protection 검사 스캔 결과는 Sensitive Data Protection 내의 하이브리드 작업 리소스에 저장됩니다.
- Sensitive Data Protection 내에서 작업 트리거 리소스를 확인하여 검사 스캔 결과를 확인할 수 있습니다.
- 또한 작업을 통해 하이브리드 작업 결과를 BigQuery 데이터베이스로 전송하고 이메일 또는 Pub/Sub 알림을 통해 Sensitive Data Protection에 지시할 수 있습니다.
다음 단계
- 하이브리드 작업 및 작업 트리거를 사용하여 검사할 데이터를 수신하는 방법은 하이브리드 작업을 사용하여 Sensitive Data Protection에 외부 데이터 보내기를 참조하세요.