토크노믹스: 스마트한 팀이 AI에 더 많은 비용을 지출하는 이유

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

몇 달 전, 팀원들과 함께 예산 검토 회의에 참석했는데, 사후 분석이 중심이었습니다.

한 고객사의 AI 지출이 한 달 만에 50% 이상 급증했고, 리더들은 그 이유를 알고 싶어 했습니다. 가장 큰 원인은 무엇이었을까요? 어떤 팀, 어떤 프로젝트, 어떤 에이전트였을까요? 조직에서 AI를 도입할 당시 가드레일이나 프레임워크가 마련되어 있지 않았기 때문에 지출에 대해 명확하거나 확실한 답을 알 수 없었습니다. 재무팀은 과거 데이터를 뒤져보며 추측할 수밖에 없었습니다.

조직들이 AI 비용으로 고심하면서 업계 전반에서 이러한 상황이 흔해지고 있습니다. AI 리더보드나 '토큰맥싱'과 같은 개념이 인기를 끌고 있지만, 이러한 개념은 업무에서 AI가 지닌 진정한 잠재력에서 주의를 분산시키는 경우가 많습니다.

저희 사례에서도 비용의 규모 자체는 핵심이 아니었습니다. 문제는 이 회사의 지출이 너무 많다는 것이 아니라, 기술 지출에 일반적으로 수반되는 가시성이나 신중함 없이 너무 지출에 열중했다는 것입니다.

이러한 측정이 쉽거나 간단한 것은 아닙니다. 정확한 AI 예측은 이러한 새로운 도구와 마찬가지로 새로운 접근방식을 취합니다. 그리고 모든 업계의 거의 모든 기업이 AI 도입을 서두르며 그에 따른 비용의 균형을 맞추기 위해 경쟁하고 있기 때문에, 리더십과 재무팀은 경쟁력을 유지하기 위해서는 투자해야 한다는 압박감에 갇힌 듯한 느낌을 받을 수 있습니다. 하지만 전속력으로 달리는 중에는 방향을 바꾸기 어렵습니다.

AI를 통해 앞서 나가는 기업들이 지출을 멈추지 않는 이유가 바로 여기에 있습니다. 대신 이러한 기업들은 각 지출이 어떤 결과를 가져오는지 더 면밀하고 신중하게 추적하고 평가하는 방식으로 변화하고 있습니다. 이러한 가시성이야말로 의도와 목적을 가지고 더 많은 비용을 지출할 수 있게 해주는 요소입니다.

한마디로 '토크노믹스'를 수용한 것입니다.

비용 단위가 바뀌었습니다.

수년 동안 기술 지출은 계획을 세울 수 있는 것이었습니다. 라이선스와 인원수는 정적이고 예측 가능합니다. 사용자 라이선스를 구매하면 가격을 알 수 있으며, 라이선스 청구서로 인해 누가 가장 많은 비용을 썼는지 찾아다니는 일도 없습니다.

AI의 토큰 가격은 다릅니다. AI 컴퓨팅의 기본 단위인 토큰은 텍스트 또는 데이터의 조각으로, 대략 글자 4개에 해당합니다. 모든 프롬프트와 대답에는 전기 계량기의 킬로와트시(kWh)처럼 실시간 요금이 부과됩니다. 이전 모델은 팀에 전구가 몇 개 필요한지만 알면 되는 것과 같았지만, 이제는 누가 전등 스위치를 켜는지, 얼마나 자주 켜는지, 필라멘트(정확히는 토큰)를 켤 때 비즈니스에 가치 있는 것을 비추고 있는지까지 이해해야 하는 것으로 비유할 수 있습니다.

또한 모델은 턴 간에 메모리를 유지하지 않아 매번 전체 대화를 다시 읽어야 하므로 작업이 더 복잡해질수록 비용이 증가할 수 있습니다. 간단한 챗봇 대화에도 수천 개의 토큰이 사용될 수 있습니다. 엔지니어링 작업을 수행하는 에이전트는 수백만 개의 토큰을 사용할 수 있습니다. 기술은 동일하지만, 사용량은 천 배까지 차이가 날 수 있는 것입니다.

꾸준하고 예측 가능한 지출을 위해 설계된 도구로는 이처럼 변동성이 큰 비용을 관리하는 것은 거의 불가능합니다.

기존 플레이북을 다시 작성해야 하는 이유

Cloud FinOps는 컴퓨팅 시간 중심인 환경, 즉 워크로드를 예약하고, 지출을 예측하고, 매월 대략적으로 일정한 청구서를 받을 수 있는 환경에서 발전했습니다. 에이전트 AI는 이러한 가정을 뒤흔듭니다. 이제 비용은 모델이 전달하는 컨텍스트의 양과 에이전트가 작업을 완료하는 데 걸리는 루프 수에 따라 달라지며, 동일한 작업에 동일한 비용이 청구되는 경우는 거의 없습니다. 기존에 재무팀이 의존해 온 결정론적 도구는 이러한 용도로 만들어진 것이 아닙니다.

경험이 풍부한 FinOps팀도 원시 청구서에 표시되는 정보가 얼마나 적은지 놀라곤 합니다. 토큰 인보이스는 눈에 보이는 빙산의 일각일 뿐입니다. 눈에 보이는 전체 기술 계층(토큰과 라이선스, 플랫폼, 컴퓨팅)은 실제 총 비용의 약 3분의 1에 불과한 경우가 많습니다.

그 아래에는 청구서에 항목별로 표시되지 않는 부분들이 있습니다. 시스템을 빌드하고 통합하는 작업, 시스템을 안전하게 실행하기 위한 거버넌스와 제어, 여전히 에이전트가 생성하는 내용을 검토하는 인력, 모든 것을 최신 상태로 유지하기 위한 유지보수 작업 등입니다. 많은 AI 이니셔티브에서 이러한 레이어는 토큰 자체보다 더 많은 비용을 차지하며, 청구서에는 전혀 표시되지 않기 때문에 전체 그림을 미리 모델링하는 방법으로만 비용을 파악할 수 있습니다.

심지어 청구서에 표시되는 지출도 그 자체만으로는 설명이 되지 않습니다. 각 요금을 모든 에이전트, 모델, 도구가 실제로 수행한 작업과 연결하는 엔드 투 엔드 추적 기능이 없으면 어떤 요소가 비용을 발생시켰는지 알 수 없습니다.

토큰 수에서 결과당 비용으로

기업이 자체 데이터에 기반하여 답변을 제공하는 대규모 검색 증강 생성(RAG) 파이프라인을 프로덕션으로 이전하는 상황을 상상해 보세요. 비용이 급증하자 리더십은 원시 인프라 항목을 보고 당황합니다.

그러다 팀에서 해당 비용에 비즈니스 측정항목을 적용하여 분석하면 회의실 분위기가 달라집니다.

예를 들어, 토큰 사용량이 20% 증가하고 고객 지원 처리 시간이 40% 감소한 것이 오버레이로 표시된다고 가정해 보겠습니다. 같은 비용이라도 이제는 사람들이 이해할 수 있기 때문에 의미가 다릅니다.

비용 관리는 결국 달러당 투자 수익을 극대화하기 위해 어디에, 어떻게 지출해야 하는지를 아는 데 달려 있습니다. 기업은 다음 세 단계를 거쳐 이 목표를 달성할 수 있습니다.

1. AI 지출을 가시화합니다. 모든 지출 내역을 파악하세요.
2. 단위 경제성을 정의합니다. 상호작용당 실제 비용을 파악하세요.
3. 지출을 비즈니스 가치에 연결합니다. 비용으로 실제로 무엇을 얻었는지 파악하세요.

토큰 청구서는 지출한 금액만을 알려줍니다. 결과당 비용은 지출의 이유를 알려줍니다. 회사가 '이 투자로 무엇을 얻었는가?'라는 질문에 답할 수 있게 되면 더 예리한 투자 결정을 내릴 수 있습니다.

엔터프라이즈 에이전트 Fleet의 규모를 지속 가능하게 확장하려면 예산을 신중하게 책정해야 합니다. 에이전트 실행에 드는 일일 비용과 에이전트 개선을 위한 비용을 별도로 책정해야 합니다. 두 가지를 분리하는 팀은 유지 관리에 모든 것을 쏟아붓게 되는 '유지 관리의 덫'을 피할 수 있습니다.

에이전트를 만드는 데는 많은 비용이 들지 않지만, 에지 케이스나 프롬프트 드리프트가 발생할 때 필요한 수동 유지보수는 100배 더 어려운 곡선으로 확장됩니다. 최적화 예산은 자율적인 자체 진화를 지원하여 이 문제를 해결하므로 시스템이 수동 엔지니어링 개입 없이도 드리프트에 적응할 수 있습니다.

체계적인 팀이 더 많은 비용을 지출하는 이유

가장 앞서 있는 팀들은 결과당 비용을 측정할 수 있게 되면서 더 많은 비용을 지출하는 경우가 많습니다. CFO는 돈을 쓰는 것을 싫어하지 않습니다. 그들이 싫어하는 것은 정량화할 수 없고 관리되지 않는 재무 위험입니다. 위험을 제거하고 수익을 입증하면 지출에 대한 통제를 완화할 수 있습니다. ROI가 명확해지면 CFO가 오히려 지출을 늘리도록 권장할 수도 있습니다.

한 기술 기업은 수익, 기능 도입, 사용자 성장 및 참여, 콘텐츠 조회수 등 그들이 가장 중요하게 생각하는 측정항목과 비교하여 토큰 소비에 대한 수익을 측정해 달라고 Google Cloud에 요청했습니다. 이러한 접근을 통해 이 기업은 AI 비용에 대한 우려를 해소하고 예산을 더 많이 투자해야 할 세그먼트와 기능을 파악할 수 있었습니다.

Google Cloud와 협력 중인 한 대규모 다국적 의료 조직에서도 이러한 원칙을 확인할 수 있습니다. 이 조직은 멀티 에이전트 시스템 전반에서 AI 사용 사례를 약 5배 확장할 준비를 하고 있습니다. 이 정도 규모에서는 쿼리당 비용을 추정하기가 정말 어렵기 때문에 팀은 확장에 앞서 가시성 레이어를 먼저 구축했습니다. 이를 위해 모든 하위 에이전트와 도구 호출에서 각 모델이 소비한 토큰까지 비용과 지연 시간을 추적하는 기여 분석을 적용했습니다.

이제 준비가 되었습니다. 쿼리당 비용을 이전보다 약 5배 빠르게 추정하고, 영업팀과 딜리버리팀이 계획을 세울 수 있는 기준을 공유합니다. 다음 단계에 들어가기 전에 비용을 미리 알 수 있게 된 것입니다. 이 회사는 나중에 막대한 비용이 드는 사후 분석을 하는 대신 선제적인 처방을 선택한 것입니다.

개발자에게 자유로운 개발 환경 제공

비용 기여 분석 및 거버넌스를 조기에 구축하는 팀은 개발자에게 적절한 비용 제어 기능을 갖춘 무제한 액세스를 안전하게 제공할 수 있습니다. 훌륭한 거버넌스는 확신을 가지고 지출할 수 있게 합니다.

이제 경쟁 우위는 AI를 단순히 빠르게 도입하는 것이 아니라 적절한 비용 관리 구조와 우수한 규율을 바탕으로 빠르게 도입하는 데서 비롯됩니다.

에이전트형 AI 사용 사례에 대한 전체 비용 모델을 정의하고 빌드하여 가시성을 가치로 전환하고자 한다면 Delta가 도와드리겠습니다. Google Cloud 컨설팅의 전진 배치 엔지니어링 실무팀은 비즈니스 가치를 극대화하는 데 중점을 두고 있으며, 수많은 조직이 AI 지출을 효과적으로 관리하도록 지원해 왔습니다.