에이전트를 프로덕션으로 이전하기 위한 Google Cloud 컨설팅의 5가지 교훈

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

바이브 코딩은 에이전트를 얼마나 빠르게 가동할 수 있는지 보여주었습니다. 하지만 에이전트를 프로덕션에 배포하는 것은 또 다른 문제입니다.

경영진이 연말 실적 보고서를 준비하는 시점에서 AI가 비즈니스에 실제로 어떤 성과를 가져다주었는지 입증하는 것이 시급한 과제입니다.

Google Cloud 컨설팅의 Delta팀은 전 세계 Fortune 1000대 기업과 협력해 왔습니다. Google Cloud는 성공적인 배포와 중단된 실험의 차이를 직접 목격했으며, 오늘은 리더가 에이전트를 실험실에서 프로덕션으로 옮기는 데 도움이 되는 5가지 교훈을 공유하고자 합니다.

코드 작성 전 '프로덕션에 즉시 사용 가능한' 상태 정의

코딩을 시작하기 전에 기대치를 정의하고 각 마일스톤에서 무엇을 제공할지 계획하세요.

• 개념 증명: 샌드박스 환경에서 공개된 비민감 정보를 사용하여 가벼운 구현으로 사용 사례의 기술적 타당성을 증명합니다. Google Cloud의 참여에서 이 단계는 사용 사례가 이미 정의되어 있다고 가정할 때 일반적으로 약 6주가 소요됩니다.
• 최소 기능 제품: 실험실 환경에서 개발 데이터를 사용하여 핵심 사용자와 중요한 사용자 여정의 해피 패스를 처음부터 끝까지 다룹니다. 사용자 수락 테스트 (UAT)가 포함될 수 있으며 일반적으로 약 12주가 소요됩니다.
• 프로덕션에 즉시 사용 가능한: CI/CD 자동화, FinOps 검토, 보안 검토, 자동화된 테스트 등 에이전트 코드를 둘러싼 모든 것을 통과합니다.

2. 명확한 KPI로 범위 변동 방지

이해관계자가 요구사항을 추가하여 출시일이 미뤄질 수 있으므로 일정을 지키고 팀의 노력을 관리하려면 초기에 범위를 제어하는 것이 중요합니다.

• 좁은 범위에서 시작: 에이전트를 한두 개의 중요한 작업으로 제한합니다. 요약, CRM 업데이트, 분류 등 모든 작업을 한 번에 처리하려고 하면 범위 변동이 발생하기 시작합니다.
• 객관적인 KPI: '유용한 답변'과 같은 모호한 목표를 작업 완료율, 할루시네이션 비율, 지연 시간 상한과 같은 측정 가능한 측정항목으로 대체합니다.
• 단계적 출시: 에이전트가 먼저 일상적인 작업을 처리하도록 하고, 복잡하거나 민감한 작업은 휴먼인더루프 검증을 거친 후 완전한 자동화로 확장합니다.

3. 사용자 테스트에 필요한 시간 할애하기

사용자 수락 테스트 (UAT)는 과소평가되는 경우가 많지만, 에이전트가 비즈니스 요구사항과 사용자의 기대를 충족하는지 확인하는 방법입니다.

UAT는 솔루션의 지능형 핵심에 영향을 미치는 변경사항으로 이어질 수 있으며, 이는 에지 케이스를 테스트하는 동안 발견될 수 있습니다. 수정, 개발, 재테스트를 위한 충분한 시간을 확보하세요.

출시를 순조롭게 진행하기 위해 불가피한 상황에 대비하는 몇 가지 방법을 살펴보겠습니다.

• 비선형 워크플로 예상: 피드백에 따라 팀이 이전 단계로 돌아가 프롬프트, 통합 또는 워크플로를 조정해야 할 수 있습니다.
• 테스트 시간 고려: 내부 직원이 테스터인 경우 일상 업무에서 벗어나 테스트를 수행하게 됩니다. 프로젝트 일정에 이 시간을 반영해야 합니다.
• 프로세스 보호: 프로덕션 경로에서 UAT가 어디에 위치하는지 정확하게 정의합니다. UAT를 제대로 수행하면 일정을 지연시키지 않고도 사용자의 신뢰를 구축할 수 있습니다.

4. 최종 사용자를 조기에 참여시키기

도입률이 낮은 주된 이유 중 하나는 직원이 에이전트가 자신을 대체할 것이라고 우려하기 때문입니다. 하지만 Google Cloud가 제공한 프로젝트에서는 에이전트가 반복적인 작업을 맡아 처리하므로 사람들은 판단이 필요한 작업에 시간을 할애할 수 있습니다. 이는 팀의 참여를 유도하는 데 큰 도움이 됩니다.

예를 들어 최근 Google Cloud는 한 고객이 완료하는 데 한 분기가 걸리던 프로세스를 단 며칠로 단축하도록 지원했습니다. 초기 탐색 및 개발 단계에 직원들을 참여시킴으로써 프로세스를 개선할 수 있는 구체적인 방법을 정의하는 데 도움을 받았습니다. 반복적인 활동은 팀과 함께 구축된 AI 시스템으로 보완되어 팀이 판단력과 전문성이 중요한 부가가치 작업에 더 집중할 수 있게 되었습니다.

처음부터 사람들을 참여시켜 결과에 대한 지분을 부여할 수 있는 몇 가지 방법은 다음과 같습니다.

• 탐색 및 요구사항 수집 단계에 이들을 참여시켜 에이전트가 실제로 겪고 있는 문제를 해결하도록 하세요.
• 개발 과정 전반에서 피드백 루프를 열어두고 개념을 테스트하고, 워크플로를 검증하고, 도구에 대한 신뢰를 쌓으세요.
• 개발 중에는 의견 수렴과 테스트를, 출시 시에는 변경 관리와 교육을 지원할 수 있는 팀 지지자를 파악합니다.

5. 평가를 통해 에이전트의 가치 입증

엔터프라이즈 도입이란 에이전트가 예상대로 작동하고 있음을 증명하는 것을 의미합니다. 회사에 아직 AI에 대한 공식적인 자동 테스트가 없더라도 첫날부터 지속적인 테스트와 평가를 설정하세요.

보안, 재무, 운영팀의 신뢰를 구축하고 가치를 입증하려면 몇 가지 실용적인 단계에 집중하세요.

• 적절한 워크플로 구축: 팀은 프로덕션 워크로드를 승인하기 전에 평가, 테스트, 대체 시나리오를 마련해야 합니다. 에이전트를 평가하는 것은 기존 ML 모델을 평가하는 것보다 더 어렵습니다. 지속적인 반복 계획: 특정 가설에 따라 에이전트의 성능을 테스트하고, 결과를 확인하고, 진행하면서 개선합니다.
• ROI 대비 총 소유 비용 검증: 컴퓨팅, 유지보수, API 수수료를 포함한 총 소유 비용을 계산하고, 커밋하기 전에 예상 절감액 또는 신규 수익과 비교합니다.
• 성능 모니터링: 지연 시간, 인프라 상태, 모델 드리프트, 비용 이상치에 대한 실시간 추적 및 알림을 설정하여 문제가 최종 사용자에게 도달하기 전에 파악합니다.

시작하기

첫 번째 에이전트 출시를 계획 중이거나 이미 실행 중인 에이전트를 강화하려는 경우 Delta팀이 프로덕션에 더 빠르게 도달할 수 있도록 도와드립니다. 시작하려면 Google에 문의하세요.

Google Cloud 컨설팅 서비스에 대해 자세히 알아보고 Google 엔지니어링팀이 에이전트 워크플로를 현대화하고 보호하는 데 어떤 도움을 줄 수 있는지 확인해 보세요.