예측 가능한 BigQuery AI 비용: 생성형 AI 함수의 비용 관리 기능 출시

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

BigQuery의 생성형 AI 함수(AI.GENERATE, AI.IF, AI.CLASSIFY, AI.SCORE 등)를 사용하면 대규모 언어 모델(LLM)을 SQL에 직접 가져올 수 있어 하나의 쿼리로 수백만 건의 고객 지원 티켓을 분류하거나 각 제품 리뷰의 감정을 점수화할 수 있습니다. 하지만 이러한 함수는 토큰 사용량에 따라 요금이 청구되므로 대규모 데이터 세트에 적용할 때는 예산을 사전에 관리하는 것이 중요합니다. 

Google Cloud는 최근 BigQuery 생성형 AI 함수를 위한 토큰 기반 비용 관리 기능을 정식 버전(GA)으로 출시했습니다. 이 기능을 사용하면 관리자가 일일 할당량을 통해 AI 토큰 소비량에 대한 셀프서비스 가드레일을 설정할 수 있으므로 팀은 정해진 예산 범위 내에서 혁신을 추진할 수 있습니다. 이 블로그에서는 BigQuery 생성형 AI 함수의 비용 관리 기능을 개괄적으로 살펴보고 몇 가지 실용적인 예시와 함께 시작하는 데 도움이 되는 리소스를 소개합니다. 그럼 자세히 살펴보겠습니다.  

비용 관리를 위한 할당량 설정

Google Cloud Identity and Access Management(IAM) 할당량 시스템을 통해 관리되는 4가지 일일 할당량을 사용하면 프로젝트와 사용자별로 토큰 소비량을 제어할 수 있습니다. 사용자별 한도는 조직 전체가 아니라 각 프로젝트 내의 개별 사용자에게 적용됩니다.

주요 세부정보:

• 할당량은 전역에 적용됩니다. 모든 리전의 사용량이 합산되므로 모니터링하지 않는 리전에서 예상치 못한 비용이 누적되는 것을 방지할 수 있습니다.

• 출력 할당량에는 '사고' 토큰이 포함됩니다. 추론 토큰은 Gemini 플랫폼 요금 체계와 동일하게 출력 토큰 할당량에 합산됩니다.

어떤 함수에 적용되나요?

할당량은 LLM 기반의 생성 작업을 수행하는 다음 BigQuery 함수에 적용됩니다.

• AI.GENERATE

• AI.GENERATE_TABLE

• AI.GENERATE_TEXT(별칭: ML.GENERATE_TEXT)

• AI.CLASSIFY

• AI.IF

• AI.SCORE

• AI.AGG

적용되지 않는 함수: AI.GENERATE_EMBEDDING(ML.GENERATE_EMBEDDING으로도 사용 가능) 및 AI.EMBED와 같은 임베딩 함수는 비용이 훨씬 저렴한 다른 모델에서 실행되기 때문에 이러한 할당량이 적용되지 않습니다.

할당량 관리

관리자는 별도의 지원 케이스를 제출하지 않고도 워크로드의 변화에 따라 Google Cloud 콘솔에서 직접 할당량을 확인하고 조정할 수 있습니다.

1. IAM 및 관리자 → 할당량 및 시스템 한도로 이동합니다.

2. 서비스별로 필터링하고 BigQuery API를 선택합니다.

3. 이름 열을 기준으로 정렬하여 4개의 AI 할당량을 목록 상단에 표시합니다

4. 변경할 할당량(예: 일일 AI 입력 토큰)을 찾습니다.

5. 점 3개로 된 메뉴를 열고 할당량 수정을 선택합니다.

여기에서 다음 작업을 수행할 수 있습니다.

• 비용을 더 엄격하게 통제하려면 할당량을 낮춥니다. 이 변경사항은 승인 없이 즉시 적용됩니다.

• 사용량을 늘리려면 동일한 페이지에서 할당량 상향을 요청합니다. 많은 요청이 자동으로 승인되지만 큰 폭의 상향 요청은 간단한 검토 절차를 거칠 수 있습니다.

할당량을 관리하려면 소유자, 편집자, 할당량 관리자(roles/servicemanagement.quotaAdmin), 서비스 사용량 관리자(roles/serviceusage.serviceUsageAdmin) 중 하나의 역할이 필요합니다.

자동화를 선호하는 경우 Cloud Quotas API, gcloud CLI, Terraform을 통해 이러한 할당량을 프로그래매틱 방식으로 관리하여 여러 프로젝트에 일관된 가드레일을 적용할 수 있습니다.

사용량 모니터링

할당량 및 시스템 한도 페이지에서는 한도를 설정하는 것 외에도 과거 토큰 소비량을 확인할 수 있으므로 사용량 급증을 빠르게 감지하고 예산을 적정 수준으로 조정할 수 있습니다. 이러한 추세를 분석하면 새로운 생성형 AI 워크로드와 데이터 파이프라인이 전체 토큰 사용량에 어떤 영향을 미치는지 파악할 수 있습니다.

단계별 안내는 토큰 할당량으로 비용 관리에 대한 BigQuery 문서를 참조하세요.

토큰 할당량과 결제 지출 한도 비교

토큰 할당량이 Google Cloud의 유일한 비용 관리 수단은 아닙니다.

• 토큰 할당량(여기에서 소개된 기능)은 AI에 특화된 사전 예방적 관리 수단입니다. BigQuery는 쿼리 실행 중 토큰 사용량을 추적하고 각각 설정된 프로젝트별 한도와 사용자별 한도에 가까워지면 작업을 중단합니다.

• Cloud Billing 지출 한도는 달러 단위로 프로젝트 및 서비스 기준으로 적용되며 설정한 기준 금액에 도달하면 사용을 자동으로 차단할 수 있습니다. 지출 한도는 정확한 사용량 제어보다는 전반적인 재무적 안전장치로 작동하며, 제한 조치가 즉시 적용되지는 않으므로 일부 초과 비용이 발생할 수 있습니다.

AI 비용 관리를 위한 1차 방어 수단으로 토큰 할당량을 사용하고 프로젝트 전반에 대한 안전장치로 지출 한도를 활용하는 것이 좋습니다.

할당량 적용 방식

할당량은 쿼리가 한도를 초과하여 계속 실행되도록 허용하는 대신 작업을 중단하는 방식으로 적용됩니다. 쿼리에 필요한 할당량이 이미 소진된 경우에만 쿼리가 사전에 거부되면서 QuotaExceeded 오류가 발생합니다. 그렇지 않으면 쿼리가 실행되며, 실행 도중 할당량이 소진되면 BigQuery는 새로운 LLM 호출 전송을 중단합니다.

• max_error_ratio를 지원하는 함수(예: AI.IF)는 처리되지 않은 행의 비율이 한도 내로 유지되면 부분 결과를 반환하고, 그렇지 않으면 실패합니다.

• 범용 함수(예: AI.GENERATE) 쿼리는 계속 성공합니다. 건너뛴 행에는 생성된 값이 표시되지 않으며 status 필드에 할당량 초과 오류가 표시됩니다.

자세한 내용은 문서의 할당량 적용 동작을 참조하세요.

AI.COUNT_TOKENS를 사용한 입력 데이터 크기 측정

적절한 할당량 값을 선택하려면 워크로드가 모델에 얼마나 많은 텍스트를 전송하는지 파악하는 것이 좋습니다. 이때 AI.COUNT_TOKENS 함수가 도움이 됩니다.

AI.COUNT_TOKENS는 요금이 청구되는 생성 호출을 수행하지 않고 모델의 토크나이저가 텍스트 문자열에서 생성하는 토큰 개수를 반환합니다. 이 함수를 열에 실행하면 입력 데이터의 토큰 수를 측정할 수 있습니다.

이 수치는 입력 토큰 사용량의 최소 기준선이며 출력 토큰이나 사고 토큰, 각 AI 함수가 입력 데이터에 추가하는 요청 사항, 텍스트가 아닌 입력(이미지 등)은 포함되지 않습니다. 이 값은 다음과 같은 용도로 사용할 수 있습니다.

• 워크로드를 실행하기 전에 입력 데이터의 토큰 사용량을 추정합니다.

• 실제 입력 및 출력 사용량을 측정하는 소규모 샘플 실행과 함께 할당량을 적절하게 조정합니다.

• 모델에 대해 게시된 Gemini 플랫폼 가격 책정을 사용하여 토큰 사용량을 비용(달러)으로 환산합니다.

토큰 사용량을 예산으로 환산하는 계산 예시

Gemini 3.1 Flash-Lite 모델을 사용하면서 프로젝트의 일일 AI 지출을 $100 정도로 유지하려고 한다고 가정해 보겠습니다. 현재 공개된 가격은 다음과 같습니다(BigQuery는 배치 방식으로 처리하므로 50% 할인이 적용됨).

• 입력 토큰: 토큰 100만 개당 $0.125

• 출력 토큰(응답+추론): 토큰 100만 개당 $0.75

소규모 샘플 실행 결과 입력 토큰(I)과 출력 토큰(O)의 평균 비율이 100:1이라면 다음과 같이 일일 예산을 계산할 수 있습니다.

이 식을 풀면 하루에 약 7억 5,400만 개의 입력 토큰과 754만 개의 출력 토큰을 사용할 수 있는 셈입니다. 일일 AI 입력 토큰과 일일 AI 출력 토큰을 이 값으로 설정하면 프로젝트의 일일 지출을 약 100달러 수준으로 유지할 수 있습니다. 프로젝트에서 가격이 서로 다른 여러 모델을 사용하는 경우에는 모델별로 예산을 책정하거나 요율을 혼합해 계산해야 합니다.

AI 비용 관리를 위한 권장사항

• 사용자당 할당량부터 시작하세요. 한 명의 사용자 또는 제어할 수 없는 실험으로 인해 프로젝트 예산이 소진되는 것을 방지할 수 있습니다.

• 확장하기 전에 사용량을 측정하세요. AI.COUNT_TOKENS로 입력 데이터 크기를 측정하세요. 그런 다음 소규모 샘플을 실행하고 사용량 그래프를 확인한 후 한도를 설정하세요.

• 출력 토큰에도 주의하세요. 출력 토큰은 비용이 더 많이 듭니다. 함수에서 max_output_tokens를 지원한다면 이를 설정하여 생성 길이를 제한하세요.

• 모니터링하고 반복 수정하세요. 실제 사용량과 예산의 변화에 따라 한도를 조정하세요.

시작하기

지금 토큰 기반 비용 관리 기능을 사용할 수 있습니다. 시작하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 IAM 및 관리자 → 할당량 및 시스템 한도를 열고 BigQuery API로 필터링합니다.

2. 4가지 AI 관련 토큰 할당량을 검토하고 예산에 맞게 한도를 설정합니다.

3. AI.COUNT_TOKENS를 사용하여 입력 데이터의 크기를 측정합니다.

자세한 내용은 생성형 AI 비용 관리에 관한 문서를 참조하세요.

토큰 기반 가드레일을 설정하면 조직에서 요구하는 수준의 비용 예측 가능성을 확보하면서 BigQuery의 생성형 AI 기능을 활용할 수 있습니다.