Google Cloud Platform para profesionales de centros de datos: administración

En este artículo se analizan las ofertas de operaciones y administración de Google Cloud Platform y cómo estos se comparan con las tecnologías de los centros de datos tradicionales. En este artículo, se hace foco en los siguientes tipos de servicios:

  • Administración de identidades y accesos
  • Registro (incluido el registro de auditoría)
  • Supervisión
  • Aprovisionamiento de recursos

Administración de identidades y accesos

Cuando transfieres tus cargas de trabajo a Cloud Platform, puedes continuar con la administración de tus usuarios finales si usas los servicios y herramientas de administración de usuarios comunes como LDAP, Active Directory o el servicio de administrador de G Suite. Sin embargo, la forma en que administras el acceso a los recursos en red difiere un poco de lo que podrías estar acostumbrado.

En Cloud Platform, configuras el acceso a tus recursos virtuales mediante Google Cloud IAM . Cloud IAM no administra las identidades de manera directa. En su lugar, te permite asignar funciones, que son colecciones de permisos de acceso definidas por el usuario, a varios tipos de identidades de Google. Entre los tipos que se admiten, se incluyen los siguientes:

También puedes asignar funciones a tipos de identidades que no sean de Google. Para hacerlo, debes vincular el tipo que no es de Google a un tipo de identidad de Google y, luego, asignar la función a este último. Consulta Prácticas recomendadas para organizaciones empresariales con el fin de obtener más información.

Cuentas de servicio

Cuando ejecutas una aplicación en un centro de datos tradicional, sueles creas una identidad distinta para que tu aplicación use mientras se ejecuta. Luego, tu aplicación realiza operaciones que requieren autenticación, como llamadas a la API, bajo esa identidad.

Puedes usar el mismo modelo en Cloud Platform con las cuentas de servicio. Las cuentas de servicio son cuentas especiales que pertenecen a tu aplicación o a una instancia de máquina virtual (VM) de Google Compute Engine en lugar de pertenecer a un usuario final individual. Tu aplicación usa la cuenta de servicio para llamar a las API de los servicios de Google. Puedes crear cuentas de servicio personalizadas para tu proyecto de Cloud Platform con Google Cloud Console, la API de Cloud IAM o el SDK de Cloud.

Para obtener más información sobre las cuentas de servicio, consulta Cuentas de servicio.

Grupos de Google

Puedes usar Grupos de Google para asignar una función a una colección de usuarios. Solo debes crear un Grupo de Google, agregar tus Cuentas de Google o cuentas de servicio al grupo y, luego, asignar la función de Cloud IAM al grupo.

Si deseas obtener más información sobre los Grupos de Google, consulta el Centro de ayuda de Grupos de Google.

Registro

El registro en Cloud Platform es casi idéntico al registro en un entorno de centro de datos tradicional. Para recopilar registros, debes instalar un agente de Logging en cada máquina virtual. Este registra información sobre la máquina y sus aplicaciones, y envía los registros a una ubicación centralizada para que se indexen. Una vez que se agregaron y se indexaron los registros, se pueden procesar, analizar o visualizar.

Cloud Platform ofrece un potente conjunto integrado de servicios orientados al registro. En la pila de Cloud Platform, Stackdriver Logging actúa como el servicio centralizado de indexación y recopilación, ya que agrega registros desde tus instancias de VM de Compute Engine y tus otros recursos de Cloud Platform. Puedes buscar y filtrar tus registros en el visor de registros integrado de Cloud Console o transmitirlos a otros extremos de Cloud Platform, como Google Cloud Storage, Google BigQuery y Google Cloud Pub/Sub, para su posterior procesamiento y análisis.

Recopila registros

Para recopilar los registros de tus instancias de VM de Compute Engine, instala el agente de Stackdriver Logging en cada instancia. Los agentes comenzarán a enviar sus datos de registro a Stackdriver de forma automática.

Si planeas mantener una arquitectura híbrida en la que tendrás algunos recursos en Cloud Platform y otros en diferentes lugares, aún puedes aprovechar los servicios relacionados con el registro de Cloud Platform. Por ejemplo, la página de complementos de la comunidad de Fluentd contiene un conjunto de complementos para transmitir registros agregados a la API de Stackdriver Logging, BigQuery, Cloud Storage y Cloud Pub/Sub. De manera similar, la página de complementos de resultado de Logstash contiene complementos para transmitir registros a BigQuery y Cloud Storage.

También puedes usar Stackdriver Logging si tu arquitectura híbrida incluye máquinas virtuales en otras nubes. En particular, el agente de Stackdriver Logging se puede instalar directamente en las instancias de Amazon EC2.

Indexación y almacenamiento de registros

Stackdriver Logging recopila registros de tus instancias de Compute Engine, los almacena y luego los indexa. Stackdriver Logging conserva los registros durante 30 días. Si quieres almacenar tus registros para su posterior procesamiento, análisis o auditoría, puedes configurar Stackdriver Logging a fin de que exporte los registros de manera automática a otros servicios de Cloud Platform, incluidos los siguientes:

  • Cloud Storage: el servicio de almacenamiento de objetos distribuidos de Cloud Platform. Cloud Storage es un servicio de almacenamiento global con alta disponibilidad y redundancia. Cloud Platform también proporciona clases de almacenamiento adicionales a largo plazo para optimizar los costos de los datos a los que se accede con poca frecuencia. Para obtener más detalles, consulta el artículo Almacenamiento.
  • BigQuery: el servicio de almacén de datos de Cloud Platform. BigQuery es una base de datos completamente administrada que solo permite anexar y que puede realizar consultas complejas en miles de millones de filas de datos en segundos.
  • Cloud Pub/Sub: el servicio de mensajería basado en publicador y suscriptor de Cloud Platform. Puedes usar Cloud Pub/Sub para transmitir tus registros a servicios de terceros o a tus propios extremos personalizados.

Análisis y procesamiento de registros

En los centros de datos tradicionales, las tareas intensivas de análisis y procesamiento deben competir con otras tareas por los recursos y están sujetas a las mismas restricciones iniciales de inversión de capital y capacidad. En Cloud Platform, estos problemas desaparecen. Aprovisionas y pagas por lo que necesitas cuando lo necesitas. No tienes que preocuparte por reservar tiempo, núcleos o recursos de almacenamiento.

El análisis y procesamiento de registros en Cloud Platform están diseñados para ser flexibles. Puedes usar la pila de herramientas de análisis y procesamiento de registros de Cloud Platform, que incluye lo siguiente:

  • El visor de registros de Stackdriver
  • BigQuery
  • Google Cloud Dataproc
  • Google Cloud Dataflow

Si prefieres usar tus herramientas de análisis y procesamiento actuales, puedes hacerlo si las configuras en instancias de VM de Compute Engine. También puedes integrar la pila de registro de Cloud Platform en tus canalizaciones de análisis y procesamiento actuales.

Análisis de registros con el visor de registros de Stackdriver y BigQuery

Cloud Console proporciona un visor de Stackdriver Logging integrado, que puedes usar para buscar y filtrar tus datos registrados. Para el análisis a gran escala de un conjunto de datos masivo, puedes transmitir o exportar tus registros a BigQuery. A diferencia de un trabajo voluminoso de MapReduce, que puede tardar minutos o hasta horas, BigQuery es capaz de realizar consultas a terabytes de registros en decenas de segundos, lo que te permite identificar con rapidez las anomalías de las aplicaciones, realizar análisis de registros de auditoría y realizar análisis de tendencias en tus registros, entre otros.

Procesamiento de registros con Cloud Dataproc y Cloud Dataflow

Si necesitas procesar tus registros antes del análisis, puedes exportarlos a Cloud Pub/Sub o Cloud Storage y, luego, usar Cloud Dataproc o Cloud Dataflow para procesarlos. Después de procesar tus registros con Cloud Dataproc o Cloud Dataflow, puedes enviar los resultados a BigQuery para un análisis interactivo o por lotes.

Cloud Dataproc es el servicio administrado Apache Hadoop y Apache Spark de Cloud Platform. Si ya usas Hadoop y Spark, puedes volver a usar tus trabajos existentes en Cloud Dataproc sin preocuparte por adquirir recursos de hardware con anticipación. Puedes almacenar los registros originales y los procesados en Cloud Storage y puedes cerrar tu clúster de Cloud Dataproc cuando no esté en uso. En cuanto a los clústeres de Cloud Dataproc, solo se te cobrará por los recursos de CPU virtual que uses y solo por el tiempo que los uses.

También deberías considerar Cloud Dataflow, un servicio de procesamiento por lotes y de transmisión completamente administrado. Basado en Apache Beam, Cloud Dataflow es una solución sin servidores. Cloud Dataflow aprovisiona y asigna recursos a pedido de forma dinámica, minimiza la latencia y mantiene una alta eficiencia de uso. Para obtener más información acerca de cómo integrar Cloud Dataflow en tu canalización de procesamiento de registros, consulta Procesar registros a gran escala con Cloud Dataflow.

Visualización de registros

Google proporciona dos servicios administrados que puedes usar para visualizar tus datos de registro:

  • Cloud Datalab, compilado para el modelo de notebook de Jupyter, te permite consultar y visualizar datos almacenados en BigQuery y Cloud Storage. Como beneficio adicional, dado que Cloud Datalab está compilado para los notebook de Jupyter, ya existe un gran ecosistema que puede ayudarte a dar los primeros pasos.
  • Google Data Studio 360 admite la creación de informes personalizables que se pueden compartir y está respaldado por BigQuery.

Además, varios servicios de visualización de socios de Cloud Platform proporcionan conectores nativos a BigQuery, incluidos Tableau, BIME y re:dash. Consulta Socios de BigQuery para obtener más información.

Por último, para obtener la máxima personalización, puedes compilar un panel basado en BigQuery con la API de BigQuery y una biblioteca de gráficos de JavaScript de tu elección. Consulta Creación de un panel de BigQuery para obtener más información.

Costos

Stackdriver Logging ofrece un nivel Básico, gratuito hasta 5 GB por mes, y un nivel Premium. El nivel Premium se cobra por recurso supervisado por mes, prorrateado por hora. Si quieres obtener más información, consulta la entrada de blog Anuncio de precios para Google Stackdriver.

Si exportas registros a Cloud Storage, BigQuery o Cloud Pub/Sub, también se te cobrará por el uso de esos servicios. Si exportas tus registros a BigQuery, se te cobrará una pequeña tarifa de transmisión de datos. Consulta Precios de BigQuery para obtener más información.

Auditoría

Cloud Platform proporciona un registro de auditoría integrado y facilita la integración de tus soluciones de registro de auditoría actuales. Para obtener información sobre qué servicios generan registros de auditoría en este momento, consulta Google Cloud Audit Logging.

Registro de instancias de VM

Si usas soluciones estándar de registro de auditoría nativas del SO, como syslog en Linux o Windows Event Log en Windows, puedes configurarlas mediante la creación de una instancia de VM de Linux o Windows en Compute Engine. También puedes implementar tus soluciones de terceros preferidas en instancias de Compute Engine.

Registro de recursos de Cloud Platform

Cloud Platform también proporciona recursos integrados para el registro de auditoría. Cloud Platform proporciona dos tipos de registro de auditoría:

  • Los registros de auditoría de la actividad del administrador, que contienen una entrada para cada llamada a la API o acción administrativa que modifica la configuración o los metadatos de un servicio o proyecto. Este tipo de registro siempre está habilitado.
  • Los registros de auditoría del acceso de datos, que contienen una entrada para cada instancia de los siguientes eventos:

    • Una llamada a la API o una acción administrativa que lee la configuración o los metadatos de un servicio o proyecto.
    • Una llamada a la API o una acción administrativa que crea, modifica o lee datos proporcionados por el usuario y administrados por un servicio, como los datos almacenados en un servicio de base de datos.

En la mayoría de los servicios de Cloud Platform, los registros de auditoría del acceso de datos no están habilitados de forma predeterminada, ya que pueden tener un volumen mucho mayor que los registros de la actividad del administrador. Los registros del acceso de datos poseen más restricciones que los registros de la actividad del administrador. De forma predeterminada, solo los propietarios de proyectos y los usuarios con la función Visor de registros privados pueden acceder a los registros del acceso de datos. Los registros de la actividad del administrador son visibles para todos los miembros del proyecto.

Stackdriver Logging te permite administrar el acceso a tus registros de auditoría a través de Cloud IAM, la capa de administración de identidades y accesos de Cloud Platform. Si quieres obtener más información, consulta la sección Administración de identidades y accesos.

Al igual que con otros registros de Stackdriver Logging, los registros de auditoría se conservan durante 30 días de forma predeterminada. Puedes exportar tus registros de auditoría a BigQuery, Cloud Storage y Cloud Pub/Sub si deseas conservarlos durante un período más prolongado.

Integración con servicios de terceros

Varias soluciones de registro de terceros, como Splunk, proporcionan complementos que se integran en el servicio de registro de auditoría de Cloud Platform.

Supervisión

Al igual que con el registro, la supervisión en un entorno de nube usa un modelo común en los entornos de centros de datos. Debes instalar un agente de supervisión en las máquinas virtuales que quieras supervisar. Este agente de supervisión luego envía las métricas a una ubicación centralizada. Desde allí, puedes definir una configuración de alertas y crear paneles para visualizar tus métricas en tiempo real.

Para las tareas de supervisión, Cloud Platform proporciona Stackdriver Monitoring, un marco de trabajo de supervisión con todas las funciones. Al igual que con el registro, también puedes usar tus herramientas y servicios de supervisión actuales, como Splunk, DataDog, la pila Elastic/ELK, Sensu o Nagios.

Recopilación de métricas

Para recopilar las métricas de tus instancias de VM de Compute Engine, instala el agente de Stackdriver Monitoring en cada una de ellas. Los agentes comenzarán a enviar métricas a Stackdriver Monitoring de forma automática.

De forma predeterminada, Stackdriver Monitoring supervisa los recursos de la máquina para cada instancia, como la carga de la CPU y la E/S de red. Sin embargo, con unos ajustes adicionales en la configuración, Stackdriver Monitoring también puede supervisar una cantidad de aplicaciones de terceros comunes, incluido Apache Web Server, MongoDB, NGINX, Redis y Varnish. Consulta Cómo supervisar aplicaciones de terceros para obtener más información.

Además de recopilar las métricas de las instancias de VM de Compute Engine, Stackdriver Monitoring recopila las métricas de otros servicios de Cloud Platform de forma automática. El agente de Stackdriver Monitoring también se puede instalar directamente en instancias de Amazon EC2. Stackdriver Monitoring se puede configurar para recopilar métricas de muchos servicios de Amazon Web Services (AWS). Para obtener una lista completa de las métricas disponibles en Stackdriver Monitoring, consulta la Lista de métricas.

También puedes crear métricas personalizadas y luego instrumentar tus aplicaciones para enviarlas a Stackdriver Monitoring a través de la API de Monitoring.

Stackdriver Monitoring conserva las métricas durante seis semanas.

Alertas

Stackdriver Monitoring se puede configurar para enviar alertas a múltiples extremos. De forma predeterminada, los extremos de alerta admitidos incluyen lo siguiente:

Si quieres apuntar a un extremo que Stackdriver Monitoring no admite de forma nativa, puedes configurar un webhook. Consulta Configuración de webhook para obtener más información.

Visualización

Al igual que la mayoría de los marcos de trabajo de supervisión, Stackdriver Monitoring proporciona una IU del panel personalizable que te permite visualizar eventos de manera significativa y práctica. Puedes crear gráficos que muestren métricas específicas para un tipo de recurso dado, métricas agregadas, métricas para un ID de recurso dado y más. Además, puedes ver los registros de eventos indexados y las listas de incidentes.

Cloud Console también proporciona visualizaciones por servicio para métricas comunes, como CPU, el uso del disco y el tráfico de red. Al igual que con Stackdriver Logging, también puedes usar Cloud Datalab para visualizar y manipular tus datos de métricas.

Costos

Stackdriver Monitoring ofrece un nivel Básico, gratuito hasta 5 GB por mes, y un nivel Premium. El nivel Premium se cobra por recurso supervisado por mes, prorrateado por hora. Si quieres obtener más información, consulta la entrada de blog Anuncio de precios para Google Stackdriver.

Aprovisionamiento de recursos

En esta sección, se explican las formas en que puedes aprovisionar tus recursos virtuales en Cloud Platform y se explica la función del control de versiones en el proceso de aprovisionamiento.

Aprovisionamiento de instancias de VM

Compute Engine incluye algunas funciones integradas que optimizan el aprovisionamiento de instancias. Puedes crear perfiles de máquina llamados plantillas de instancias y, luego, asignarlos a grupos de instancias para crear decenas o cientos de instancias idénticas según sea necesario.

Puedes realizar un ajuste de escala automático del número de instancias de VM dentro de estos grupos con el escalador automático incorporado de Compute Engine. Para usar el escalador automático, debes definir el número mínimo y máximo de instancias que quieres que se ejecuten en un momento dado y, luego, definir las métricas según las cuales el escalador automático creará o destruirá las instancias. Puedes configurar el escalador automático para que funcione según el uso de CPU, la capacidad del balanceador de cargas o tus propias métricas personalizadas. Si quieres obtener más información, consulta Ajuste de escala automático para grupos de instancias.

Aprovisionamiento general de recursos

Puedes automatizar la implementación de todos tus recursos de Cloud Platform con Google Cloud Deployment Manager. Al igual que con otras herramientas de administración de configuración, como Puppet y Chef, puedes especificar tus recursos en una plantilla de implementación y luego Deployment Manager usará esa plantilla para crear instancias y administrar tus recursos. Puedes especificar tu plantilla de implementación en varios formatos, incluidos YAML, Python y Jinja2.

Deployment Manager también se puede usar junto con las herramientas que usas para automatizar la configuración de tu máquina en la actualidad, como Chef, Puppet, Ansible o Terraform. Para ver una configuración de ejemplo con Puppet, consulta Automatiza la administración de configuración con Cloud Deployment Manager y Puppet.

Control de versiones y repositorios de código fuente

Si prefieres usar tus soluciones de control de versiones actuales, puedes hacerlo en Cloud Platform si las alojas y las ejecutas en Cloud Platform o si las conectas a un servicio alojado o administrado de forma externa, como GitHub o Bitbucket.

Para los usuarios familiarizados con Git, Google también ofrece Google Cloud Source Repositories, que son repositorios de Git privados con todas las funciones, alojados en Cloud Platform. Se puede agregar Cloud Source Repositories a un repositorio de Git local como repositorio remoto o alojado en GitHub o Bitbucket. Cloud Source Repositories también proporciona un editor de código fuente que puedes usar para navegar, ver, editar y confirmar cambios en los archivos del repositorio desde Cloud Console.

Costos

Deployment Manager no se cobra por uso, pero todos los recursos facturables que implementas con Deployment Manager generarán cargos.

Cloud Source Repositories es gratuito en su versión Beta.

Pasos siguientes

Consulta los otros artículos de Google Cloud Platform para profesionales del centro de datos: