데이터 액세스 감사 로그 비용 관리
Bigtable은 일반적으로 대규모 대용량 워크로드에 사용됩니다. 따라서 로그 볼륨을 관리하지 않을 경우 Bigtable에서 매우 많은 수의 DATA_READ 및 DATA_WRITE 로그를 생성하여 예기치 않게 높은 로그 스토리지 비용을 초래할 수 있습니다. 데이터 액세스 감사 로깅을 사용하는 경우 몇 가지 단계를 수행하여 로그 볼륨을 관리해야 합니다.
Bigtable 인증 권장사항을 따르면 대부분의 데이터 액세스 감사 로그 활동은 서비스 계정에서 생성됩니다. 서비스 계정은 애플리케이션이 Bigtable과 같은 Google Cloud 서비스를 인증하고 API 호출을 하는 데 사용하는 계정입니다. 서비스 계정 로그를 관리하는 것이 로그 볼륨을 줄이는 데 가장 중요한 단계입니다. 다른 기준을 사용하여 로그를 제한하고자 할 수도 있습니다.
다음과 같은 방법으로 Bigtable에 대한 데이터 액세스 감사 로깅을 사용 설정할 수 있습니다.
- Google Cloud 콘솔 사용
- Cloud Logging API 사용
감사 로깅을 사용 설정한 후 다음 단계를 수행하여 로그 볼륨을 제한합니다.
서비스 계정 식별
먼저 로그가 필요하지 않은 서비스 계정을 확인합니다. 유용하지 않거나 로깅되지 않아야 하는 서비스 계정 목록은 애플리케이션 및 비즈니스 요구사항에 따라 다릅니다. Cloud Bigtable API(Data API) 권한이 있는 서비스 계정 목록을 가져오려면 조직의 IAM 정책을 검색하면 됩니다. 주 구성원 탭의 IAM 권한 Google Cloud 콘솔 페이지에서도 볼 수 있습니다.
로그 제한사항 설정
다음으로 로그 제한을 설정합니다. 서비스 계정 로그를 제한하여 Bigtable 로그 볼륨을 관리하는 방법에는 두 가지가 있습니다. 감사 구성을 사용하여 서비스 계정을 예외시키거나 로그 제외 필터를 사용하여 서비스 계정 로그를 제외할 수 있습니다. 각 방법마다 Cloud Logging API 또는 Google Cloud 콘솔을 사용할 수 있습니다.
감사 구성을 사용하여 서비스 계정 예외
감사 구성을 사용하여 서비스 계정을 예외시키는 것이 애초에 특정 로그가 생성되는 것을 방지할 수 있기 때문에 권장 방법입니다. 자세한 안내는 다음을 참조하세요.
제외 필터를 사용하여 서비스 계정 제외
제외 필터를 사용하면 로그 버킷으로 수집에서 제외할 로그를 지정할 수 있습니다. 이 방식에서는 로그가 생성된 후 삭제되므로 데이터를 제공하는 Bigtable 서비스 구성요소에 처리 로드를 계속 적용합니다. 이러한 로드로 인해 대신 감사 구성을 사용하는 것이 좋습니다. Google Cloud 콘솔 및 API를 사용하여 필터를 설정하는 방법은 싱크 만들기를 참조하세요.
데이터 액세스 감사 로그 비용 추정
Bigtable은 일반적으로 대용량 워크로드에 사용되므로 매우 많은 로그를 생성할 수 있습니다. Bigtable에 데이터 액세스 감사 로깅을 사용 설정하기 전에 매월 감사 로깅에서 발생할 수 있는 Cloud 감사 로그 수집 및 스토리지 비용을 예측하고 이해해야 합니다.
데이터 액세스 감사 로깅 비용은 매달 로깅하도록 선택한 Bigtable 요청 수와 직접적으로 관련됩니다. 다음 표는 모든 데이터 요청을 로깅한다는 가정 하에 초당 평균 요청 및 로그 저장 기간을 기준으로 계산한 Cloud 감사 로그 비용의 대략적인 추정치를 보여줍니다. 이러한 추정치를 계산하는 방법에 대한 자세한 내용은 비용 계산을 참조하세요.
| 초당 평균 요청 수 | 로그 보관 시간 | 대략적인 월간 비용 |
|---|---|---|
| 1,000 | 30 | $1,197 |
| 1,000 | 90 | $1,246 |
| 10,000 | 30 | $12,195 |
| 10,000 | 90 | $12,684 |
| 100,000 | 30 | $122,177 |
| 100,000 | 90 | $124,621 |
비용 계산
다음과 같은 가정으로 시작하세요.
- 한 달은 평균적으로 약 2,628,000초입니다.
- 평균 감사 크기는 약 1KB입니다.
- 월별로 수집되는 처음 50GiB의 감사 로그에는 요금이 청구되지 않으며 이 양을 초과한 후에는 $0.50/GiB가 청구됩니다.
- 스토리지는 30일 동안 무료입니다. 이후에는 $0.01/GiB의 스토리지 요금이 청구됩니다.
이 페이지에 설명된 메서드는 모든 트래픽을 기반으로 총 추정치를 제공합니다. 프로덕션에서는 서비스 계정 로깅을 제한하는 것이 좋습니다.
월간 로그 볼륨 계산
먼저 트래픽이 평균 한 달 동안 생성하는 평균 로그 양을 추정합니다.
- 애플리케이션이 한 달 동안 Bigtable에 보내는 초당 평균 요청 수를 수집합니다.
- 클라이언트 측 측정항목을 사용하면 지난달의 평균 초당 쿼리 수(QPS)를 확인할 수 있습니다.
- Google Cloud Console에서 인스턴스의 Monitoring 페이지를 사용하려면 이를 사용하여 지난달의 초당 읽기 요청 및 쓰기 요청의 평균값을 결정한 다음 이 두 값을 함께 추가합니다.
- 초당 요청 수에 2,628,000을 곱해서 월별 평균 요청 수를 구합니다.
- 이 숫자를 10e6, 즉 1,000,000으로 나눕니다. 계산 결과가 바로 매달 생성될 수 있는 예상 월별 로그 볼륨(GB)입니다.
- 월별 로그 볼륨(GB)에 .93을 곱하여 대략적인 월별 로그 볼륨(GiB)을 구합니다.
수집 비용 계산
- 계산한 월별 로그 볼륨(GiB 단위)에서 50GiB를 뺍니다. 처음 50GiB는 무료입니다.
- 남은 로그 볼륨에 $0.50를 곱하면 월별 수집 비용을 예상할 수 있습니다.
스토리지 비용 계산
- 로그가 30일 후에 만료되도록 계획한 경우 스토리지 비용은 $0.00입니다.
- 로그를 30일 넘게 저장하면 월별 로그 볼륨에 $0.01를 곱하여 스토리지 비용을 추정할 수 있습니다. 스토리지 비용은 첫 달 후에 발생합니다.
상세 예시
초당 요청 5,000회, 90일 동안 로그 보관
이 예시에서는 초당 평균 요청 수가 5,000개이고 로그를 90일 동안 유지한다고 가정합니다. 이 페이지의 단계를 사용하여 다음 추정값을 계산합니다.
- 5,000에 2,628,000을 곱하여 매월 13,140,000,000개의 요청에 도달합니다.
- 13,140,000,000을 10e6으로 나누면 약 13,140GB의 월별 로그 볼륨이 나옵니다.
- .93과 곱하여 이 수를 GiB로 변환하면 12,220이 됩니다.
- 월별 로그 볼륨에서 50GiB를 빼면 12,170GiB가 됩니다.
- $0.50를 곱하면 수집 비용이 $6,085가 됩니다.
- 로그가 있는 첫 달의 스토리지 비용은 $0입니다.
- 두 번째 달의 로그 스토리지 비용은 12,170에 $0.01를 곱한 값 또는 약 $122입니다.
- 두 번째 달 이후에는 매달 월별 스토리지 비용은 그 두 배인 $244입니다.
- 두 번째 달 이후의 예상 데이터 액세스 감사 로깅 비용은 약 $6,329/월입니다.
방정식 형식으로 표현하면 (((((초당 요청 5,000회 * 2,628,000초)/1,000,000) * .93) - 50 GiB) * $0.50) + $122 = $6,207입니다.
이 예시에서 월간 데이터 액세스 로깅 비용은 약 월 $6,329입니다.