Administra los costos del registro de auditoría de acceso a los datos

Por lo general, Bigtable se usa para grandes cargas de trabajo de alto volumen. Como resultado, si no administras el volumen de registro, Bigtable puede generar una cantidad extremadamente alta de registros DATA_READ y DATA_WRITE, lo que genera costos de almacenamiento de registros inesperadamente altos. Si usas el registro de auditoría de acceso a los datos, debes seguir los pasos para administrar el volumen de registro.

Cuando sigues las prácticas recomendadas para la autenticación de Bigtable, las cuentas de servicio generan la mayoría de la actividad del registro de auditoría de acceso a los datos. Una cuenta de servicio es una cuenta que una aplicación usa para autenticarse y realizar llamadas a la API a los servicios de Google Cloud, como Bigtable. Administrar los registros de la cuenta de servicio es el paso más importante para reducir el volumen de registro. También es posible que quieras limitar los registros con otros criterios.

Puedes habilitar el registro de auditoría de acceso a los datos para Bigtable de las siguientes maneras:

Después de habilitar los registros de auditoría, sigue estos pasos para restringir el volumen de registros.

Identifica cuentas de servicio

Primero, identifica las cuentas de servicio para las que no necesitas registros. La lista de de servicio que no son útiles y que no deberían registrarse depende de tu las necesidades empresariales y de la aplicación.Para obtener una lista de las cuentas de servicio que tienen permisos de la API de Cloud Bigtable (API de datos), puedes buscar en IAM políticas de tu organización. También puedes verlas en la página Permisos de IAM de la consola de Google Cloud, en la pestaña Principales.

Configura restricciones de registros

A continuación, configura las restricciones de registro. Existen dos formas de administrar el volumen de registro de Bigtable mediante la limitación de los registros de la cuenta de servicio. Puedes eximir cuentas de servicio con una configuración de auditoría. o puedes excluir registros de cuentas de servicio con los filtros de exclusión de registros. Para cada método, puedes usar la API de Cloud Logging o la consola de Google Cloud.

Exime cuentas de servicio mediante la configuración de auditoría

La exención de cuentas de servicio que usan la configuración de auditoría es el enfoque recomendado porque te permite evitar que se generen determinados registros. Para obtener instrucciones detalladas, consulta lo siguiente:

Excluye cuentas de servicio mediante filtros de exclusión

Los filtros de exclusión te permiten especificar registros para que se excluyan de la transferencia a tus buckets de registros. En este enfoque, los registros se descartan después de haberse creado, por lo que aún imponen una carga de procesamiento en los componentes del servicio de Bigtable que entregan tus datos. Debido a esta carga, te recomendamos que uses la configuración de auditoría en su lugar. Para obtener más información sobre la configuración de filtros con el La consola de Google Cloud y la API, consulta Crea un receptor.

Estima los costos del registro de auditoría de acceso a los datos

Debido a que Bigtable se suele usar para cargas de trabajo grandes y de gran volumen, tiene el potencial de generar una gran cantidad de registros. Antes de habilitar el registro de auditoría de acceso a los datos para Bigtable, debes estimar y comprender los costos de transferencia y almacenamiento de los registros de auditoría de Cloud que pueden generar cada mes el registro de auditoría.

Los costos del registro de auditoría de acceso a los datos están directamente relacionados con la cantidad de solicitudes de Bigtable que eliges registrar cada mes. En la siguiente tabla, se muestran estimaciones generales de los costos de los registros de auditoría de Cloud que puedes esperar según tus solicitudes promedio por segundo y el tiempo que almacenas los registros, en el caso que registras todas las solicitudes de datos. Consulta Calcula los costos para obtener una explicación detallada de cómo se calculan estas estimaciones.

Promedio de solicitudes por segundo Tiempo de retención de registros Costo mensual aproximado
1,000 30 $1,197
1,000 90 $1,246
10,000 30 $12,195
10,000 90 $12,684
100,000 30 $122,177
100,000 90 $124,621

Calcula tus costos

Comienza con las siguientes suposiciones:

  • La cantidad de segundos en un mes promedio es de alrededor de 2,628,000.
  • El tamaño promedio de auditoría es de alrededor de 1 KB.
  • No se te cobrarán los primeros 50 GiB de registros de auditoría que se transfieran por mes y, después de pasar ese importe, se te cobrará $0.50 por GiB.
  • El almacenamiento es gratuito durante 30 días. después, se te cobra $0.01 por GiB por el almacenamiento.

El método descrito en esta página proporciona una estimación bruta de todo el tráfico. En producción, se recomienda restringir el registro de cuentas de servicio.

Calcula el volumen de registro mensual

Primero, calcula la cantidad promedio de registros que generará tu tráfico en un mes promedio.

  1. Recopila la cantidad promedio de solicitudes por segundo que tu aplicación envía a Bigtable en el transcurso de un mes.
    • Si usas métricas del cliente, puedes usarlas para determinar tus consultas promedio por segundo (QPS) durante el último mes.
    • Si prefieres usar la página de Monitoring de tu instancia en la consola de Google Cloud, úsala para determinar los valores promedio de las solicitudes de lectura y las solicitudes de escritura por segundo durante el último mes, luego, agrega esos dos valores.
  2. Multiplica las solicitudes por segundo por 2,628,000 para obtener el promedio de solicitudes por mes.
  3. Divide ese número por 10e6 o (1,000,000). El resultado es el volumen de registro mensual estimado en GB que puedes generar cada mes.
  4. Multiplica el volumen de registro mensual en GB por 0.93 a fin de obtener el volumen de registro mensual aproximado en GiB.

Calcula los costos de transferencia

  1. Resta 50 GiB del volumen de registro mensual en GiB que calculaste. No se aplican cargos por los primeros 50 GiB.
  2. Multiplica el resto por $0.50 para llegar a los costos de transferencia mensuales estimados.

Calcula los costos de almacenamiento

  1. Si planeas permitir que tus registros caduquen después de 30 días, el costo de almacenamiento es de $0.00.
  2. Si almacenas tus registros por más de 30 días, puedes estimar los costos de almacenamiento si multiplicas el volumen de registro mensual por $0.01. Estos costos comienzan a generarse después del primer mes.

Ejemplo detallado

5,000 solicitudes por segundo, registros retenidos durante 90 días

En este ejemplo, supongamos que el número promedio de solicitudes por segundo es de 5,000 y planeas conservar tus registros durante 90 días. Con los pasos de esta página, calcularás las siguientes estimaciones:

  • Multiplica 5,000 por 2,628,000 para llegar a 13,140,000,000 solicitudes por mes.
  • Divide 13,140,000,000 por 10e6 para llegar a un volumen de registros mensual de alrededor de 13,140 GB.
  • Para convertir ese número en GiB, se multiplica por 0.93 a fin de llegar a 12,220.
  • Resta 50 GiB de tu volumen de registro mensual para obtener 12,170 GiB.
  • Multiplica por $0.50 para obtener $6,085 en costos de transferencia.
  • El primer mes en que existen tus registros, el costo de almacenamiento es de $0.
  • El segundo mes, el costo del almacenamiento de registros es de 12,170 multiplicado por $0.01, o alrededor de $122.
  • Cada mes después del segundo mes, el costo de almacenamiento mensual es el doble, es decir, $244.
  • Después del segundo mes, el costo estimado del registro de auditoría de acceso a los datos sería de alrededor de $6,329 al mes.

Presentado en forma de ecuación, se ve de la siguiente manera (((((5,000 rps * 2,628,000 s)/1,000,000) * 0.93) - 50 GiB) * $0.50) + $122 = $6,207.

En este ejemplo, los costos del registro mensual de acceso a los datos son de alrededor de $6,329 por mes.

¿Qué sigue?