몇 주에서 몇 분으로: 데이터 파이프라인에 도래한 에이전트 시대

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

데이터 파이프라인은 현대 기업의 중추이지만, 이를 조정하는 데 진입 장벽이 존재하여 많은 데이터 전문가가 이 중요한 기능을 사용할 수 없는 형국입니다. Google Cloud는 Google Cloud NEXT 2026에서 오케스트레이션 파이프라인 프레임워크를 소개한 데 이어, 이러한 상황을 근본적으로 변화시키고 있습니다.

Google Cloud는 실무자가 이 강력한 프레임워크를 편리하게 사용할 수 있도록, 선호하는 IDE 또는 CLI(예: VS Code, Claude Code, Codex)에 바로 통합되는 데이터 엔지니어링 및 데이터 과학 도구로 구성된 무료 오픈소스 통합 컬렉션인 Data Agent Kit를 제공합니다.

Data Agent Kit는 두 가지 방식으로 오케스트레이션 파이프라인 프레임워크를 워크플로에 자연스럽게 끼워 넣습니다. 첫째, 포괄적인 파이프라인 관리를 위한 전용 데이터 엔지니어링 탭을 제공합니다. 둘째, 자연어를 사용하여 프로덕션급 Apache Airflow® DAG를 작성 및 배포하고 관련 문제를 해결하도록 설계된 전문화된 에이전트형 스킬이 포함되어 있습니다.

이러한 특화된 에이전트 스킬을 선언적 YAML DSL과 결합하면 분석가부터 머신러닝 엔지니어에 이르는 모든 데이터 담당자가 복잡한 Python Airflow 상용구를 우회할 수 있습니다. 이 프레임워크는 상위 수준의 조정 로직을 기본 컴퓨팅 실행에서 분리하여 데이터 조직 전체가 강력한 MLOps 기능에 쉽게 접근할 수 있게 해 줍니다.

이 게시물에서는 모범적인 MLOps 사용 사례를 통해 이를 얼마나 쉽게 달성할 수 있는지 살펴봅니다.

환경 설정하기

첫 번째 조정 파이프라인을 작성하기 전에, 먼저 로컬 개발 환경을 설정해야 합니다. 시작하는 데 2분도 걸리지 않습니다.

1. 확장 프로그램 설치 및 구성

VS Code, VS Code 포크, Antigravity, Claude Code, Antigravity CLI, Codex 등 원하는 IDE 또는 CLI에 확장 프로그램을 설치합니다. Google Cloud 계정으로 인증하려면 공식 문서의 단계별 설정 가이드인 Google Cloud Data Agent Kit 설치 가이드를 참고하세요.

2. 조정 파이프라인 스킬 확인

설치가 완료되면 필요한 에이전트 스킬이 활성화되어 있는지 확인합니다.

1. VS Code 작업 표시줄에서 'Google Cloud Data Agent Kit' 패널을 엽니다.

2. '설정(Settings)'으로 이동한 다음 '스킬(Skills)'을 선택합니다.

3. ‘gcp-pipelines-orchestration’ 스킬이 사용 설정되어 있는지 확인합니다.

이 스킬은 에이전트에게 파이프라인 문법, 변수 대체, 보안 비밀 관리, Airflow 실행에 대한 자동화된 사고 진단과 관련된 심층적인 컨텍스트 지식을 제공합니다.

3. 첫 번째 파이프라인 빌드

자연어 프롬프트를 사용하여 VS Code 호환 IDE 내에서 바로 조정 파이프라인을 작성, 빌드, 검증하려면 공식 빌드 가이드인 파이프라인 빌드 가이드를 참고하세요.

비즈니스 문제 예시: 선제적인 공급망 관리

비즈니스 문제의 예시를 살펴보겠습니다. 물류 및 소매 부문에서 고객 만족도는 정확한 배송 예상 시간에 달려 있습니다. 주문이 예고 없이 지연되면 고객 이탈이 급증하고 지원 비용이 증가할 수 있습니다.

이를 해결하기 위해 Google Cloud는 창고 위치, 고객 위치, 주문 특징을 기반으로 정확한 배송 기간(일 단위)을 예측하는 엔드 투 엔드 MLOps 아키텍처를 구축하고 있습니다. 배송 전에 이러한 지연을 예측함으로써 운영팀은 서비스수준계약(SLA) 위반이 발생하기 전에 고객에게 선제적으로 상황을 알리거나 배송 등급을 자동으로 업그레이드할 수 있습니다.

Google Cloud는 이 아키텍처를 완전히 재현할 수 있도록 BigQuery의 공개 데이터 세트인 bigquery-public-data.thelook_ecommerce를 사용합니다. 데모를 위해 이 정적 데이터 세트를 학습 세트와 추론 세트로 분할했습니다. 실제 시나리오에서는 새로 들어오는 데이터에 대해 추론이 수행됩니다. 이 데이터 세트는 실제 운영상의 복잡성을 보여줍니다.

• 지리정보 데이터: 고객 주소(users)와 유통 센터(distribution_centers)의 위도 및 경도

• 시계열 데이터: 세분화된 주문 수명 주기 타임스탬프(created_at, shipped_at, delivered_at)

• 주문 속성: 제품 카테고리, 가격, 처리 상태(orders, order_items)

이 데이터 세트를 BigQuery, Managed Service for Apache Spark 서버리스, Gemini Enterprise Agent Platform, dbt와 결합하여 학습, 일일 배치 추론, 모델 드리프트 평가를 처리하는 자동화된 자가 복구 MLOps 루프를 빌드하는 방법을 보여드리겠습니다.

에이전트형 워크플로: 프롬프트에서 파이프라인까지 몇 분 만에 완료

확장 프로그램을 구성하면 DAG 작성을 위한 상용구 Python을 완전히 우회할 수 있습니다. VS Code 내에서 Data Agent Kit 채팅을 열고 지속적인 MLOps 피드백 루프를 정의하는 단일 자연어 프롬프트를 제공했습니다.

참고: 이 블로그 게시물을 위해 특별히 반복성을 염두에 둔 상세한 프롬프트를 작성했습니다. 실제 시나리오에서는 파이프라인별로, 더 자연스러운 대화 방식을 사용해 동일한 결과를 얻을 수 있습니다. 전체 프롬프트와 생성된 모든 파일은 Orchestration-pipelines GitHub 저장소에서 확인할 수 있습니다. 

참고: 오케스트레이션 파이프라인 스킬을 갖춘 프런티어 모델은 하나의 단계만으로도 전체 워크플로를 스캐폴딩할 수 있지만, LLM 응답은 모델 버전, 작업공간 컨텍스트, 토큰 깊이에 따라 자연스럽게 달라집니다. 1차 시도에서 특정 파라미터, 데이터 세트 경로 또는 종속 항목이 누락된 경우, 간단한 후속 프롬프트를 제공하면 됩니다.

몇 분 만에 Data Agent Kit가 기본 PySpark 스크립트, dbt 구성, 세 가지 선언적 YAML 파이프라인을 생성했습니다.

아래에 생성된 YAML 파이프라인과 시각적 다이어그램이 나와 있습니다. 이 파이프라인은 오케스트레이션 파이프라인 기능을 보여주기 위해 설계된 간소화된 예시입니다. 실제로 권장되는 프로덕션 MLOps 설정은 특정 사용 사례와 운영 요구사항에 따라 달라집니다.

파이프라인 1: 학습 엔진

이 파이프라인은 고성능 컴퓨팅 엔진 역할을 합니다. 에이전트는 BigQuery를 먼저 쿼리하여 완료된 과거 주문을 추출하는 YAML 정의를 생성했습니다. 그런 다음 Managed Spark 서버리스 클러스터를 동적으로 프로비저닝하여 지리적 거리를 계산하고 프로덕션용 모델을 학습시킵니다. 마지막으로, 학습된 모델을 Gemini Enterprise Agent Platform Model Registry에 푸시합니다.

파이프라인 2: 일일 추론

일상적인 운영 워크플로를 위한 이 경량 파이프라인은 학습된 모델을 현재 배송 중인 모든 주문 건에 적용합니다. BigQuery 작업을 통해 데이터 세트를 쿼리하고, Gemini Enterprise Agent Platform을 통해 추론 작업을 실행하고, 결과를 BigQuery 테이블에 다시 작성하여 고객 지원팀에 SLA 위반 가능성이 있는 주문 건을 알려줍니다.

파이프라인 3: 자동 평가 및 브랜칭

일일 평가 파이프라인은 자동화된 품질 게이트 역할을 합니다. dbt 모델을 트리거하여 예측 데이터와 실제 배송 타임스탬프를 조인한 다음, 절대 오차와 SLA 위반 건수를 산출합니다.

파이프라인은 기본 로직을 사용하여 이러한 측정항목을 자동으로 평가합니다. 모델의 오류율이 허용 가능한 기준점을 초과하면 조건부로 'training-pipeline'을 트리거하여 새로운 모델을 생성합니다.

Managed Service for Apache Airflow에 자동 배포

파이프라인 로직을 작성하는 것은 절반의 성공에 불과합니다. 이를 프로덕션에 안전하게, 그리고 확실하게 배포하는 과정에서 데이터팀은 많은 시간을 허비해 왔습니다.

오케스트레이션 파이프라인을 사용하면 표준 CI/CD 방식을 통해 배포가 간소화됩니다. Data Agent Kit는 배포 스크립트를 수동으로 작성하거나 복잡한 환경 경계를 구성하는 대신 작업공간에 필요한 지속적 통합 워크플로(예: GitHub Actions)를 자동으로 생성합니다.

즉, 커밋을 클릭하기만 하면 프레임워크가 오케스트레이션 파이프라인 번들을 원활하게 패키징하고 Managed Airflow 환경에 바로 배포합니다.

이러한 자동화된 워크플로를 기존 CI/CD 파이프라인에 통합하는 방법에 대한 포괄적인 가이드는 공식 가이드인 오케스트레이션 파이프라인 배포를 참고하세요.

2일 차 운영: 모니터링 및 에이전트형 문제 해결

이러한 파이프라인을 유지관리하는 것은 빌드 과정만큼이나 직관적입니다. Data Agent Kit는 조정 컨트롤 플레인을 IDE에 바로 가져오는 방식으로, 브라우저 탭 간에 지속적으로 컨텍스트를 전환할 필요 없이 Managed Airflow 실행을 실시간으로 모니터링할 수 있도록 지원합니다.

인프라 문제나 데이터 문제는 필연적으로 발생합니다. 예를 들어, 계절적 데이터 급증으로 인해 Managed Spark 클러스터에서 메모리 부족 예외가 발생하거나 BigQuery 할당량에 도달할 수 있습니다. 이러한 문제를 해결하기 위해 더 이상 수천 줄의 원시 실행 로그를 뒤질 필요가 없습니다.

파이프라인이 실패하면 Data Agent Kit가 즉시 사용 가능한 에이전트형 문제 해결 기능을 제공합니다. IDE에서 '문제 해결' 버튼을 클릭하면 데이터 엔지니어링 에이전트가 실패 컨텍스트를 분석합니다. 에이전트가 인프라 할당량 한도와 코드 수준 버그를 정확하게 구분하여 근본 원인 요약을 즉시 제공하고 인라인 수정(예: 컴퓨팅 템플릿 수직 확장)을 제안해 줍니다.

요약: 가치 실현 시간 단축

과거 데이터 추출, dbt 변환 실행, Managed Spark ML 컴퓨팅 프로비저닝, 모델 레지스트리 및 추론을 위한 Gemini Enterprise Agent Platform 통합, 교차 DAG 조건부 트리거 구성까지, 복원력이 우수한 MLOps 아키텍처를 빌드하기 위해서는 플랫폼 엔지니어링팀이 몇 주에 걸쳐 복잡한 Python Operator 로직을 작성해야 했습니다.

오케스트레이션 파이프라인과 Data Agent Kit를 사용하면 이 전체 수명 주기를 단 몇 분 만에 작성하고, 배포하고, 유지보수할 수 있습니다. Google Cloud는 상용구 인프라 코드를 선언적인 에이전트 지원 표준으로 대체하여, 데이터 조직이 파이프라인을 조정하는 데 드는 시간을 줄이고 실질적인 비즈니스 가치를 창출하는 데 더 많은 시간을 투자할 수 있도록 지원합니다.

지금 시작해 보세요.

• 오케스트레이션 파이프라인 문서를 살펴보세요.

• 원하는 IDE 또는 CLI에 Data Agent Kit를 설치하고 작업공간을 구성하세요.

• Google Cloud의 최근 블로그 게시물인 Data Agent Kit를 통해 IDE 또는 CLI에 데이터 스킬과 도구 도입에서 더 광범위한 생태계에 대해 자세히 알아보세요.

• Data Agent Kit 문서에서 참조 아키텍처를 살펴보세요.