Incidentes e o painel de integridade de serviço do Google Cloud

O Painel do Google Cloud Service Health (CSH) fornece informações de status dos produtos do Google Cloud organizados por região e localidade global.

Incidente grave

O impacto de um incidente grave se estende a dois ou mais dos seguintes cenários:

  • Vários produtos
  • Várias regiões
  • Vários horários
  • Vários clientes

Nos raros casos em que ocorre um incidente grave, agimos com urgência para resolver os problemas.

Durante um incidente grave, o status do problema é comunicado pelo Painel de status do Google Workspace e pelo Painel de integridade de serviço do Google Cloud. Um incidente grave é marcado como Falha temporária do serviço nos painéis de status. Depois que o problema é resolvido, publicamos um relatório público de incidentes com os detalhes dos fatores que contribuíram para o incidente e as medidas que planejamos tomar para evitar que esses incidentes voltem a ocorrer.

No caso de incidentes de escopo menor, um relatório não público pode ser disponibilizado para os clientes.

Ciclo de vida de um incidente

Quando uma degradação do produto é detectada, as equipes de Cloud Customer Care e de engenharia de produto trabalham juntas para resolver o incidente e fornecer atualizações.

O diagrama a seguir mostra as responsabilidades das equipes de engenharia de produto e suporte:

Diagrama do ciclo de vida

Leia mais sobre cada uma dessas responsabilidades nas seções a seguir.

Detecção

O Google Cloud usa monitoramento interno e de caixa preta para detectar incidentes. Para mais informações, consulte o Capítulo 6 do manual Engenharia de confiabilidade do site.

Se você tiver o Suporte Avançado, Padrão ou Premium, crie um caso de suporte no console do Google Cloud para informar um incidente. Caso contrário, use este formulário.

Resposta inicial

Quando um incidente é detectado, a equipe do Customer Care lidera a comunicação com você. A notificação inicial de um incidente geralmente é esparsa e quase sempre é mencionado apenas o nome do produto em questão. Isso ocorre porque priorizamos notificações rápidas em vez de detalhes. Os detalhes serão fornecidos nas atualizações subsequentes.

Para fornecer o máximo de informações possível, sem sobrecarregar você com problemas não relacionados ao seu incidentes, são usados diferentes canais de comunicação, dependendo do escopo e da gravidade de um problema:

Diagrama de comunicação

O Painel de CSH do Google é o primeiro lugar a ser verificado quando descobre que um problema está afetando você. Ele mostra incidentes que afetam muitos clientes. Portanto, se você encontrar um incidente listado, ele provavelmente está relacionado ao seu problema. Para indicar a gravidade, o painel marca os incidentes como interrupção ou falha temporária. Problemas menores, mas ainda generalizados, são postados como avisos temporários.

Quando um produto relevante do Google Cloud relata um problema no painel, você também pode ver um aviso de interrupção no console do Google Cloud. Se um aviso de interrupção aparecer no console do Google Cloud, clique nele para saber mais sobre o status do problema.

Alguns produtos do Google Cloud têm Grupos do Google em que você pode se inscrever para receber anúncios e notificações sobre novos incidentes no painel.

Os problemas conhecidos exibidos na Central de suporte do Google Cloud e na página de suporte do console do Google Cloud são os mais abrangentes e incluem aqueles que afetam menos pessoas em relação ao que é mostrado no painel. Se você suspeita de um problema do Google Cloud, mas não vê nada no painel, verifique aqui.

Os casos de suporte são adequados para problemas que não se qualificam como incidentes ou quando é necessária intervenção humana. Na página de problemas conhecidos, é possível criar um caso com base em um incidente publicado para receber atualizações regulares e conversar com a equipe de suporte.

Investigar

As equipes de engenharia de produto são responsáveis por investigar a causa raiz dos incidentes. O gerenciamento de incidentes geralmente é feito pelos engenheiros de confiabilidade do site, mas também é realizado por engenheiros de software ou outros profissionais, dependendo da situação e do produto. Para mais informações, consulte o Capítulo 12 do manual Engenharia de confiabilidade do site.

Mitigação/correção

Um problema é considerado corrigido somente quando o Google tiver certeza de que as alterações feitas terminarão com o impacto de uma vez por todas. Por exemplo, a correção reverte uma alteração que acionou um incidente.

Enquanto um incidente está em andamento, o Customer Care e a equipe do produto tentam mitigar o problema. A mitigação ocorre quando o impacto ou o escopo de um problema pode ser reduzido, por exemplo, ao fornecer temporariamente mais recursos a um produto com sobrecarga.

Se nenhuma mitigação for possível, a equipe do Customer Care encontrará e informará soluções alternativas. Soluções alternativas são as etapas que você executa para solucionar o problema subjacente, apesar do incidente. Uma exemplo de solução alternativa é o uso de configurações diferentes para uma chamada de API a fim de evitar um caminho de código problemático.

faça o acompanhamento

Durante um incidente, a equipe do Customer Care fornece atualizações regulares. Normalmente, as atualizações fornecem o seguinte:

  • Mais informações sobre o incidente, como mensagens de erro, zonas ou regiões afetadas, quais recursos foram afetados ou o percentual de impacto.

  • O progresso da atenuação, incluindo quaisquer soluções alternativas.

  • Cronogramas de comunicação adaptados ao incidente.

  • Alterações no status, por exemplo, quando um incidente é corrigido.

Post mortem

Todos os incidentes têm um post mortem internamente para que seja entendidos por completo e para identificar melhorias de confiabilidade que o Google pode fazer. Essas melhorias são acompanhadas e implementadas. Para mais informações sobre postmortems no Google, consulte o Capítulo 15 do manual Engenharia de confiabilidade do site.

Relatório de incidentes

Quando os incidentes têm um impacto muito amplo e grave, o Google fornece relatórios de incidentes que descrevem os sintomas, o impacto, a causa raiz, a correção e a prevenção futura de incidentes. Assim como nos post mortems, prestamos atenção especial às etapas adotadas para aprender com o problema e melhorar a confiabilidade. O objetivo do Google ao escrever e divulgar análises posteriores é ser transparente e demonstrar nosso compromisso em criar produtos estáveis para nossos clientes.

Perguntas frequentes

Que tipo de informação de status posso encontrar no Painel de CSH do Google?

O Painel CSH do Google fornece informações de status sobre produtos que fazem parte do Google Cloud. O status pode incluir interrupções de produtos, falhas temporárias ou mensagens informativas sobre um problema temporário.

Onde encontro informações sobre interrupções e falhas temporárias de produtos anteriores?

O Painel de CSH do Google mantém um registro das interrupções e falhas temporárias dos produtos do Google Cloud por até cinco anos. A guia Visão geral do painel mostra o status atual dos produtos por localidade. Para ver informações sobre interrupções e falhas do produto no último ano, clique em Ver histórico no painel. Para visualizar o histórico de interrupções de um produto nos últimos cinco anos, clique na opção Ver mais do produto.

Como posso ver informações de status regionalizado dos produtos do Google Cloud?

O Painel CSH do Google exibe o status de todos os produtos do Google Cloud organizados por região e localidade global. Para ver o status de uma multirregião, clique na guia específica da região.

Posso criar integrações para consumir os dados mostrados no Painel de CSH do Google de forma programática?

Sim, você pode consumir os dados exibidos no Painel CSH do Google das seguintes maneiras:

  • Por feed RSS

  • Em um arquivo de histórico JSON

    Faça o download do esquema para o arquivo JSON aqui.

O feed RSS e o arquivo de histórico JSON fornecem informações sobre o status do incidente que podem ser consumidas por meio de integrações.

E se eu tiver integrações pré-criadas com base no Painel de status do Google Cloud antes da introdução dos relatórios de status regionalizados e da mudança de nome no Painel de integridade de serviços do Google Cloud?

Tanto no feed RSS quanto no arquivo JSON, as informações de status regional são adicionadas às informações que já estavam sendo publicadas antes da introdução dos relatórios de status regionalizados e da mudança no nome do Painel de status do Google Cloud. Portanto, esperamos que as integrações atuais continuem funcionando. No entanto, se você quiser consumir as informações de status regional pelas integrações, precisará modificá-las.

Veja uma descrição detalhada de como as informações regionais são apresentadas no feed RSS e no arquivo JSON:

  • Feed RSS

    As informações de status regional são uma nova adição às informações do feed fornecidas antes da introdução do status regionalizado. Todos os locais informados como afetados são anexados à mensagem RSS.

  • Arquivo JSON

    Antes da atualização do status regional, o Google Cloud publicou um fluxo de incidentes em que cada incidente continha uma lista de produtos afetados e uma lista de atualizações de status para cada um, se houver. Essas atualizações de status continham um campo de string não estruturado que tinha ou não as informações de local.

    Agora o Google Cloud publica um fluxo de incidentes como antes. No entanto, para cada incidente, cada atualização de status contém os seguintes campos novos:

    • updates.affected_locations: contém uma lista estruturada dos locais afetados no momento em que a atualização foi postada. Todos os registros de atualização e most_recent_update contêm esse campo.
    • currently_affected_locations: contém as informações mais recentes sobre os locais que são ativamente afetados pelo incidente. Ao contrário de updates.affected_locations, essa lista fica vazia após o incidente ser resolvido, ou seja, quando end é definido como um valor não vazio.
    • previously_affected_locations: contém uma lista de locais que foram afetados durante um incidente, mas não são atualmente. À medida que o incidente avança, alguns locais podem ter uma resolução de interrupção. Esses locais continuarão existindo no previously_affected_locations field. Depois que o incidente for resolvido (ou seja, quando end for definido como um valor não vazio), esse campo conterá uma lista de todos os locais que foram afetados durante o incidente.

O que fazer se eu estiver enfrentando um problema que não está listado no painel?

O problema pode estar isolado dos projetos ou das instâncias ou afetando um número limitado de clientes. Entre em contato com o Customer Care se tiver algum problema que não esteja listado no painel.

Se você estiver usando o console do Google Cloud, clique na ferramenta Enviar feedback no canto superior direito para relatar problemas.

Quem atualiza o painel?

A equipe global do Customer Care monitora o status dos produtos usando muitos tipos diferentes de indicadores e atualiza o painel em caso de um problema generalizado. Se necessário, ela publicará um relatório de análise detalhado sobre o incidente depois que ele tiver sido resolvido.

Qual é a diferença entre um incidente e uma interrupção?

Embora esses termos sejam frequentemente usados como sinônimos, o Painel CSH do Google e nossas comunicações externas usam incidente para se referir a qualquer período em que o serviço foi afetado e falha temporária para se referir apenas aos casos mais graves, em que um produto não funciona em grande parte.