AI 비용 최적화를 위한 3가지 검증된 전략

* 본 아티클의 원문은 2024년 10월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

얼마나 오랫동안 마케팅팀에서 대규모의 맞춤형 마케팅 콘텐츠 실현을 위해 노력해 왔는지 한번 생각해 보세요. 그런데 생성형 AI로 모든 캠페인, 혜택 및 상호작용을 언제든지 고객별로 맞춤설정할 수 있게 됩니다. 관건은 이를 실현할 자금이 있는가입니다.

무한한 생성형 AI의 잠재력에 비해 예산은 유한합니다. 이 강력한 신기술을 활용하려면 예상치 못한 지출이 가득한 지뢰밭을 지나가야 할 수 있습니다. AI를 구현하고 유지하는 데 드는 전체 비용은 AI에 필요한 컴퓨팅 리소스뿐만 아니라 규모, 모델 복잡성, 데이터 요구사항, 인프라 유지보수, 기존 인력과 같은 다양한 요인에 따라 크게 달라질 수 있습니다.

결과적으로 많은 조직에서 생성형 AI의 비용을 산정하고 그 비즈니스 가치를 정량화하는 것이 어렵다는 사실을 깨닫고 있습니다. 그럼에도 불구하고 비용 최적화는 재무적, 전략적 측면에서 모두 필수적입니다. 비용을 정확하게 예측 및 관리하고, 리소스를 더욱 효과적으로 할당하며, 생성형 AI 이니셔티브의 가치를 측정하는 것은 매우 중요합니다.

Google Cloud는 AI 비용에 대한 이해와 최적화가 미래의 성공을 위한 필수 요소라는 점을 잘 알고 있습니다. 많은 기업의 경영진이 조직의 장기적인 목표 실현을 위한 투자에서 실질적인 가치를 창출하면서도 생성형 AI 구현을 위한 예산을 효과적으로 책정할 방법을 찾고 있다고 말합니다.

이에 Google Gloud 자체 업무뿐만 아니라 고객의 생성형 AI 여정 지원을 위한 세 가지 실용적인 AI 비용 최적화 전략을 소개합니다.

Identify your AI use case(s)

Whether you’re integrating gen AI, or another type of AI technology, a golden rule is making sure you align AI initiatives with your business goals. Though powerful, AI is still just one technology available in your toolbox. Using it in isolation without intention is like driving a car without a map – you’re bound to end up lost or, even worse, at a dead end. To maximize the impact of your investments, it’s critical to identify your AI use cases.

A strong use case should capture input about the ability to solve user pain points while driving alignment with overall strategic vision. Our customers tell us their primary use cases are increasingly focused around developing intelligent AI agents to improve productivity, automate processes, or modernize customer experiences, and we’ve seen hundreds of these solutions come to life in real-world applications over the last year.

Our Google Cloud Consulting team works with customers to identify and prioritize AI use cases that drive the most business impact. We like to start by identifying the specific, measurable business objectives we want to address with AI and work backwards to find a solution that contributes directly to achieving those goals. This process should include determining plans for measuring success, evaluating whether or not AI can actually provide the output needed to solve the identified problem, and ensuring solutions connect to overarching strategic objectives and priorities. As Lee Moore, VP of Google Cloud Consulting, puts it, "We want to ensure that AI is not just a technological implementation, but a strategic enabler for our customers' businesses."

Framing use cases around a particular business problem not only helps prevent wasting resources on projects that don’t deliver significant value but also makes it easier to clearly define the individual elements and next steps needed to implement AI successfully. This approach helps determine a project’s technical feasibility and business viability along with a clear set of goals and criteria to measure success, enabling more effective resource allocation.

AI의 TCO 알아보기

효과적인 AI 비용 최적화의 또 다른 필수적인 측면은 비용, 특히 AI 프로젝트의 규모가 확장됨에 따라 누적될 수 있는 점증적 비용에 대해 전체적인 시야를 확보하는 것입니다. 각 AI 사용 사례의 총소유비용(TCO)을 모델링하면 의사 결정에 필요한 정보를 제공하고, 더 효율적인 모델 또는 라이선스 옵션 탐색, 적절한 하드웨어 규모 설정, 데이터 품질 개선과 같은 최적화 기회를 발견하는 데 도움이 됩니다.

Google Cloud의 접근 방식은 비즈니스 사용 사례를 제품별 사용 사례로 나누어 각각을 특정 생성형 AI 모델에 매핑하는 것입니다. 그런 다음 각 모델을 다양한 비용 구성요소로 세분화하여 이를 참고하면 생성형 AI 프로젝트를 빌드하고 확장하는 데 필요한 미래의 투자 금액을 추정할 수 있습니다. 또한 이 방법은 조직이 다음과 같은 AI 투자의 TCO를 줄이거나 최적화하는 데 활용할 수 있는 다양한 수단을 설명하는 데도 유용합니다.

• 모델 서빙 비용: 모델 서빙을 위한 추론 비용
• 학습 및 조정 비용: 부가적인 모델 학습과 조정에 드는 비용
• 클라우드 호스팅 비용: 클라우드 인프라에서 모델을 실행하는 데 드는 비용
• 학습 데이터 스토리지 및 어댑터 계층 비용: 부가적인 학습 데이터와 그에 따른 어댑터 계층을 위한 스토리지 비용
• 애플리케이션 계층 및 설정 비용: 모델을 실행하기 위한 부가적인 클라우드 서비스 비용
• 운영 지원 비용: 지속적인 AI 모델 지원에 드는 비용

예를 들어 선행 학습된 AI 모델에 드는 비용과 파운데이션 모델을 선택할 때의 비용은 서로 다릅니다. 후자의 경우 커스텀 생성형 AI 모델을 처음부터 빌드, 학습, 배포해야 합니다. 선행 학습된 모델을 선택할 경우에는 TCO에 모델 서빙, 학습, 조정 비용과 클라우드 인프라 비용이 포함될 수 있습니다. 이에 비해 자체 커스텀 생성형 AI 모델을 빌드하고 학습시키는 경우에는 운영 지원, 애플리케이션 계층, 학습과 조정, 모델 서빙과 추론 등 모든 카테고리에 걸쳐 비용이 발생할 가능성이 높습니다.

Google Cloud의 목표는 고객에게 엔터프라이즈 사용 사례에 적합한 최고의 모델을 제공하는 한편, 다양한 니즈와 요구사항에 따라 AI 프로젝트의 비용을 손쉽게 최적화할 수 있도록 지원하는 것입니다.

Google Cloud Vertex AI의 Model Garden에는 160개 이상의 엄선된 퍼스트 파티 모델, 서드 파티 모델, 개방형 모델이 포함되어 있으므로 조직은 각자의 사용 사례, 예산, 성능 니즈에 가장 적합한 모델을 실험하고 선택할 수 있으며 필요에 따라 모델 간에 전환할 수도 있습니다. Google Cloud는 고객이 모든 데이터를 통합하고 이를 혁신적인 AI 기술과 간편하게 연결할 수 있도록 지원하며, 데이터를 저장하고 쿼리할 때 비용을 대폭 절감할 수 있는 강력한 데이터 분석 및 스토리지 서비스를 제공합니다.

Gemini 1.5 Flash는 Gemini 모델 제품군에서 가장 최근에 추가된 모델로, 대규모의 대용량, 고빈도 작업에 최적화되어 있으며 서빙 작업 시 높은 비용 효율성을 제공합니다. 또한 Google Cloud는 동적 워크로드 스케줄러, 컨텍스트 캐싱, 프로비저닝된 처리량과 같은 새로운 기능을 도입하여 요청 비용을 절감하고 생성형 AI 비용의 예측 가능성을 높이는 등 비용을 더욱 절감할 수 있는 새로운 방법을 찾기 위해 혁신을 지속하고 있습니다.

조직은 이러한 다양한 TCO 기능을 효과적으로 활용함으로써 AI 전략을 조정하여 비용을 최적화하고, 효율성을 높이며, 생성형 AI에서 전체적으로 더 많은 가치를 얻을 수 있습니다.

Cloud FinOps 도입

생성형 AI를 도입할 때 직면하는 가장 큰 난관은 클라우드 비용을 관리할 효과적인 방법을 찾는 것입니다. 생성형 AI 모델에는 학습 데이터를 처리, 저장하고 출력을 생성하기 위한 방대한 컴퓨팅 리소스와 데이터 스토리지가 필요합니다. 또한 프로젝트 규모가 커지면서 클라우드 서비스에 대한 수요도 급격히 증가하고, 결과적으로 클라우드 사용량이 늘어 비용이 더욱 불어날 수 있습니다.

비용을 관리하기 위해서는 기술, 재무, 비즈니스팀을 하나로 모아 지속 가능한 재무적 가치를 창출하고 클라우드 투자를 극대화하는 운영 원칙이자 문화적 전환 관행인 Cloud FinOps를 도입하는 것이 중요합니다. 또한 생성형 AI 기술은 FinOps 워크플로를 더욱 강화하여 이러한 관행의 효과를 증폭할 뿐 아니라 조직이 클라우드 비용 최적화 목표를 더욱 신속하게 달성하도록 지원합니다.

일례로 Looker와 같은 비즈니스 인텔리전스(BI) 도구에 생성형 AI 기능을 도입하면 팀에서 BI 데이터를 다루고 탐색하는 방식을 혁신하여 조직의 모든 사용자가 자연어를 사용해 패턴과 트렌드를 발견할 수 있도록 지원할 수 있습니다. 예를 들어 CME Group과 Palo Alto Networks는 Google Cloud를 사용하여 비용 이상 감지 기능을 구현했으며, 이를 통해 예기치 못한 클라우드 지출을 감지하여 조기에 문제를 발견하고 해결함으로써 예상 밖의 비용이 청구되는 사태를 방지하고 있습니다.

Google Cloud는 고객이 인력, 프로세스, 기술 전반에서 생성형 AI를 도입할 준비가 되었는지 여부를 평가할 수 있도록 생성형 AI를 위한 Cloud FinOps 프레임워크를 개발했습니다. 이 프레임워크는 다음과 같은 5가지 핵심 축을 중심으로 합니다.

1. 생성형 AI 지원: 지원 캠페인과 주문형 교육을 통해 기술 및 재무 담당자부터 최고 책임자에 이르기까지 모든 역할에 걸쳐 재무적 관점에서 성공적인 생성형 AI 통합을 보장합니다.
2. 비용 할당: 다양한 비용 구성요소를 할당하고 이 구성요소가 수익에 미치는 영향을 평가하는 등 생성형 AI 모델을 개발하고 배포하는 데 따르는 전체 기간 비용을 생성형 AI의 가치와 함께 파악합니다.
3. 모델 최적화: 모델 데이터와 기능, 학습과 배포 프로세스, 모델 개발 자동화(MLOps)를 지속적으로 모니터링하고 최적화하여 성능을 개선합니다.
4. 모델 가격 책정: 서로 다른 유형의 생성형 AI 모델과 제공업체의 다양한 가격 책정 구조를 이해함으로써 사용할 모델과 이를 구현하는 방법에 관해 더 나은 의사 결정을 내릴 수 있도록 합니다.
5. 가치 보고: 기술에 대한 생성형 AI의 비용 및 가치 측정항목을 보고하여 비즈니스 및 재무팀에 생성형 AI의 가치를 입증함으로써 조직 전반에 걸쳐 생성형 AI를 확장하는 방법에 관해 더욱 정보에 입각해 의사 결정을 내릴 수 있도록 합니다.

Cloud FinOps 원칙과 관행은 조직이 생성형 AI 투자의 가치를 극대화하여 비즈니스 가치 실현과 혁신을 가속화하고, 재무적 책임성을 강화하고, 클라우드 사용량과 비용을 최적화하며, 무분별한 클라우드 지출을 방지하는 데 도움이 됩니다.

수익 증대

AI 환경은 방대 할 수 있지만 예산은 한정되어 있습니다. 리더는 복잡한 AI 비용을 면밀히 살펴 정보에 입각한 의사 결정을 내리는 데 능숙해야 합니다. 그래야 조직의 이니셔티브를 지속하며 생성형 AI의 잠재력을 최대한 활용할 수 있습니다. 사용 사례를 이해하고, AI 제품 및 기능의 비용을 관리하는 데 익숙해지며, 조직 내에서 Cloud FinOps 관행을 중심으로 하는 문화를 촉진하는 것은 모두 AI를 배포할 때 비용을 대폭 낮추고 궁극적으로 더 큰 투자 수익을 달성하는 데 도움이 되는 전략입니다.

Google Cloud 컨설팅팀은 전 세계 고객이 AI 기술을 도입하고 비즈니스 효과를 달성할 수 있도록 지원합니다. 귀사를 위한 혁신과 변혁 서비스에 대해 자세히 알아보세요.