Google Cloud 架构框架“卓越运营”支柱中的这一原则提供了建议，可帮助您管理与云工作负载相关的突发事件和问题。这包括实施全面的监控和可观测性、建立明确的突发事件响应程序、进行彻底的根本原因分析，以及实施预防措施。此原则中讨论的许多主题在可靠性支柱中都有详细介绍。
原则概览
突发事件管理和问题管理是功能性运维环境的重要组成部分。您对不同严重程度的事故的响应、分类和解决方式可能会对您的运营产生重大影响。您还必须主动且持续地进行调整，以优化可靠性和性能。高效的突发事件和问题管理流程依赖于以下基本要素：
- 持续监控：快速发现和解决问题。
- 自动化：简化任务并提高效率。
- 编排：有效协调和管理云资源。
- 以数据为依据的分析洞见：优化云端运维并做出明智的决策。
这些要素有助于您构建能够应对各种挑战和中断情况的弹性云环境。这些要素还有助于降低发生代价高昂的事故和停机的风险，并帮助您提高业务敏捷性和取得更大的成功。这些基本要素分布在运营准备工作的四个重点领域：员工队伍、流程、工具和治理。
建议
如需有效管理突发事件和问题，请考虑以下部分中的建议。本文档中的每项建议都与一个或多个运营准备重点领域相关。
制定明确的突发事件响应程序
明确角色和责任对于确保有效协调地响应突发事件至关重要。此外，明确的沟通协议和上报路径有助于确保在发生事故时及时有效地分享信息。此建议与以下运营准备重点领域相关：劳动力、流程和工具。
若要制定突发事件响应程序，您需要定义每个团队成员的角色和预期，例如突发事件指挥官、调查人员、沟通人员和技术专家。建立沟通和上报路径包括确定重要联系人、设置沟通渠道，以及在必要时定义将突发事件上报给更高级别管理人员的流程。定期培训和准备有助于确保团队具备有效应对突发事件的知识和技能。
通过在运行手册或手册中记录突发事件响应流程，您可以提供标准化的参考指南，供团队在突发事件期间遵循。运行手册必须概述在突发事件响应流程的每个阶段要采取的步骤，包括沟通、分类、调查和解决。还必须包含相关工具和资源的信息，以及重要人员的联系信息。您必须定期查看和更新 Runbook，确保其保持最新状态并有效运行。
集中管理突发事件
为了在整个突发事件生命周期中进行有效跟踪和管理，不妨考虑使用集中式突发事件管理系统。此建议与以下运营准备工作的重点领域相关：流程和工具。
集中式突发事件管理系统具有以下优势：
- 提高了可见度：通过将所有与事故相关的数据整合到一个位置，团队无需在各种渠道或系统中搜索背景信息。这种方法可以节省时间并减少混乱，还可以让利益相关方全面了解相应事故，包括其状态、影响和进展。
- 更好地协调和协作：集中式系统可提供统一的沟通和任务管理平台。它有助于涉及突发事件响应的不同部门和职能之间进行无缝协作。这种方法可确保所有人都能访问最新信息，并降低沟通不畅和信息不一致的风险。
- 增强问责和所有权：借助集中式突发事件管理系统，贵组织可以将任务分配给特定个人或团队，并确保明确定义和跟踪责任。这种方法有助于提高责任感，并鼓励团队成员主动解决问题，因为团队成员可以轻松监控自己的进度和贡献。
集中式突发事件管理系统必须提供强大的功能来跟踪突发事件、分配任务和管理沟通。借助这些功能，您可以自定义工作流、设置优先级，以及与其他系统（例如监控工具和工单系统）集成。
通过实现集中式突发事件管理系统，您可以优化贵组织的突发事件响应流程、改善协作，并提高可见度。这样可以缩短问题解决时间、减少停机时间并提高客户满意度。这还有助于培养持续改进的文化，因为您可以从过去的事故中学习并找出需要改进的地方。
进行彻底的事故后审核
突发事件发生后，您必须进行详细的突发事件后评估 (PIR)，也称为事后分析，以确定根本原因、促成因素和教训。这项彻底的审核有助于您日后防范类似问题。此建议与以下运营准备重点领域相关：流程和治理。
PIR 流程必须涉及对事故各个方面都有专业知识的多学科团队。该团队必须通过访谈、文件审核和现场检查来收集所有相关信息。必须创建事件时间轴，以确定导致事故的操作顺序。
团队收集所需信息后，必须进行根本原因分析，以确定导致相应事故的因素。此分析必须找出导致事故的直接原因和系统性问题。
除了找出根本原因外，PIR 团队还必须找出可能导致该事故的所有其他促成因素。这些因素可能包括人为错误、设备故障，或沟通中断和缺乏培训等组织因素。
PIR 报告必须记录调查结果，包括事件时间表、根本原因分析和建议采取的措施。该报告对于实施纠正措施和防止问题再次出现非常有用。此报告必须与所有相关利益相关方共享，并且必须用于制定安全培训和程序。
为确保 PIR 流程顺利进行，贵组织必须培养一种无指责文化，以学习和改进为重点，而不是归咎责任。这种文化鼓励个人在无需担心报复的情况下举报事故，让您能够解决系统性问题并做出切实改进。
通过开展彻底的 PIR 并根据调查结果实施纠正措施，您可以显著降低日后发生类似事件的风险。这种主动调查和预防事故的方法有助于为相关人员营造更安全、更高效的工作环境。
维护知识库
知识库包含已知问题、解决方案和问题排查指南，对于事件管理和解决至关重要。团队成员可以使用知识库快速发现和解决常见问题。实现知识库有助于减少上报需求，并提高整体效率。此建议与以下运营准备工作的重点领域相关：劳动力和流程。
知识库的主要优势在于，它让团队可以从过往经验中学习，避免重复犯错。通过记录和分享已知问题的解决方案，团队可以共同了解如何解决常见问题以及突发事件管理方面的最佳实践。使用知识库可以节省时间和精力，有助于标准化流程并确保突发事件解决工作保持一致。
知识库除了有助于缩短问题解决时间之外，还能促进各团队之间的知识共享和协作。借助集中的信息存储库，团队可以轻松访问知识库并为其贡献内容，从而培养持续学习和改进的文化。这种文化鼓励团队分享其专业知识和经验，从而打造更全面、更有价值的知识库。
如需有效创建和管理知识库，请使用适当的工具和技术。Google Workspace 等协作平台非常适合此用途，因为您可以通过这些平台轻松协同创建、修改和共享文档。这些工具还支持版本控制和更改跟踪，可确保知识库保持最新且准确。
让所有相关团队都能轻松访问知识库。为此，您可以将知识库与现有突发事件管理系统集成，也可以提供专用门户或 Intranet 网站。借助随时可用的知识库，团队可以快速访问他们需要的信息，从而高效解决问题。这种可用性有助于缩短停机时间，并最大限度地减少对业务运营的影响。
定期查看和更新知识库，确保其内容保持相关性和实用性。监控突发事件报告、确定常见问题和趋势，并将新解决方案和问题排查指南纳入知识库。最新的知识库有助于您的团队更快、更高效地解决问题。
自动执行突发事件响应
Automation 有助于简化突发事件响应和补救流程。借助它，您可以快速高效地解决安全漏洞和系统故障问题。通过使用 Google Cloud 产品（例如 Cloud Run 函数或 Cloud Run），您可以自动执行通常需要手动操作且耗时的各种任务。此建议与以下运营准备重点领域相关：流程和工具。
自动化突发事件响应具有以下优势：
- 缩短突发事件检测和解决时间：自动化工具可以持续监控系统和应用，实时检测可疑或异常活动，并在无需人工干预的情况下通知利益相关方或做出响应。借助此自动化功能，您可以在潜在威胁或问题演变为重大事故之前加以识别。检测到突发事件时，自动化工具可以触发预定义的补救措施，例如隔离受影响的系统、隔离恶意文件或回滚更改，以将系统恢复到已知的良好状态。
- 减轻安全和运维团队的负担：借助自动化突发事件响应功能，安全和运维团队可以专注于更具战略性的任务。通过自动执行日常和重复性任务（例如收集诊断信息或触发提醒），贵组织可以让人员腾出时间来处理更复杂和更严重的事件。这种自动化操作可以提高整体突发事件响应效果和效率。
- 提高补救流程的一致性和准确性：自动化工具可确保在所有受影响的系统中均采用一致的补救措施，最大限度地降低人为错误或不一致的风险。这样标准化的问题解决流程有助于最大限度地减少事故对用户和企业的影响。