비정형 데이터 워크플로 현대화: Alteryx Live Query와 Google Cloud BigQuery의 만남

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

Alteryx One Live Query와 Google Cloud BigQuery는 연결되지 않은 도구에 대한 의존도를 줄이고, 데이터 이동을 최소화하며, 웨어하우스 네이티브 실행을 지원함으로써 기업이 복잡한 비정형 데이터를 대규모로 처리하는 방식을 재정의합니다.

Live Query는 비즈니스 사용자가 코드 한 줄 작성하지 않고도 정교한 데이터 파이프라인을 빌드할 수 있는 직관적인 브라우저 기반 환경을 제공합니다. BigQuery의 확장성과 성능이 결합된 이 솔루션은 안전한 SQL 푸시다운을 지원합니다. 즉, 데이터 변환 로직이 네트워크를 통해 이동하는 대신 웨어하우스 내에서 직접 실행됩니다. 이러한 시너지 효과는 문서가 많은 워크플로에서 특히 강력합니다. Live Query는 Gemini와 같은 Google의 고급 AI 및 머신러닝 모델을 조정하여 BigQuery 환경의 엄격한 데이터 거버넌스와 보안을 유지하면서 PDF와 이미지에서 인텔리전스를 추출할 수 있습니다.

인보이스 PDF 처리부터 Live Query를 통한 BigQuery 예외 보고 관리까지

재무 및 운영팀은 산더미처럼 쌓인 공급업체 인보이스에 파묻혀 고군분투하는 경우가 많습니다. 이러한 문서는 데이터가 일관되지 않고 인보이스 번호 형식도 제각각인 PDF 형태로 제공되므로, 수작업 시 오류가 발생할 위험이 매우 큽니다. 기존에는 데이터팀이 수동으로 데이터를 추출하거나 여러 단편화된 도구를 조합해 데이터를 웨어하우스로 이동해야 했습니다. 하지만 이 방식은 시간이 많이 소요될 뿐만 아니라 데이터 중복이나 금액 불일치가 발생하기 쉽다는 단점이 있습니다.

BigQuery용 Live Query를 통합하면 이제 인보이스의 전체 수명 주기를 자동화할 수 있습니다. 데이터팀은 BigQuery 생태계 내에서 직접 PDF를 처리하고, 주요 필드를 추출하고, 결과를 표준화함으로써 문서 내의 이상치나 데이터 문제와 같은 예외를 더 빠르게 식별할 수 있습니다. 동시에 BigQuery의 세분화된 액세스 정책을 통해 구성된 제어된 엔터프라이즈 데이터가 웨어하우스를 벗어나지 않도록 보장할 수 있습니다.

솔루션 개요: 추출, 분류, 검증, 라우팅, 게시

Live Query 솔루션의 작동 방식을 자세히 살펴보겠습니다. 인보이스 PDF는 Google Cloud Storage에 비정형 문서 형태로 저장됩니다. Live Query 워크플로에서 문서 추출 도구는 Gemini 또는 Document AI와 같이 사용자가 선택한 모델을 사용하여 정형 필드를 추출합니다. 추출된 결과는 정확한 매칭을 위해 표준화 과정을 거치며, BigQuery에 이미 안전하게 저장되어 관리되고 있는 기존 인보이스 레코드와 비교됩니다. 

이 자동화된 워크플로는 수동 개입을 최소화하여 문서 처리부터 의사 결정까지 전 과정을 매끄럽게 연결하도록 설계되었습니다. 엔터프라이즈 규모에서 이 패턴은 단순히 몇 개의 PDF를 처리하는 것이 아니라, 수백만 개의 비정형 문서에 대한 분석과 AI를 지원하면서 조정 로직을 BigQuery와 일치시키는 것입니다. 

이 솔루션은 AI 기반 추출과 BigQuery 네이티브 실행을 결합하여 다음과 같은 이점을 제공합니다.

• 더 높은 직접 전송 처리율: 수동 처리를 줄이고 더 많은 인보이스를 자동으로 처리할 수 있습니다.

• 더 빠른 데이터 조정 및 수동 예외 처리 감소: 프로세스 초기 단계에서 추출된 인보이스를 BigQuery 데이터와 비교함으로써, 팀에서 중복이나 불일치 항목을 더 빠르게 식별하고 수동 검토가 필요한 인보이스 수를 줄일 수 있습니다.

• 감사 가능성 강화: 소스부터 운영 결과물에 이르기까지 데이터의 흐름을 명확하게 추적하고 관리합니다.

• 데이터 이동 최소화: 데이터를 BigQuery 내에 유지하면서 기본 제공 기능을 활용해 보안, 거버넌스, 제어 기능을 강화합니다.

아키텍처: Google Cloud 클라우드 네이티브 패턴

전체적인 프로세스를 살펴보면, 인보이스 PDF는 Cloud Storage에 스테이징된 후 브라우저의 Live Query 워크플로를 통해 처리됩니다. 이후 BigQuery에 이미 저장되어 관리되고 있는 인보이스 내역과 대조를 거쳐, 재무팀에서 즉시 활용할 수 있는 운영 결과물로 기록됩니다. 이 아키텍처 패턴의 핵심적인 장점은 워크플로 작성이 브라우저에서 이루어지는 반면, 변환 및 조정 로직은 제어되는 데이터 환경에 대해 플랫폼 서비스를 통해 실행된다는 것입니다.

Live Query 아키텍처는 웨어하우스급 대규모 처리와 거버넌스 기반의 실행을 실현하기 위해 설계되었습니다. 안전한 SQL 푸시다운을 사용하여 BigQuery에서 직접 변환 및 조정 로직을 실행하고, Gemini와 통합하여 문서 추출, 분류, 요약과 같은 고급 AI 기능을 제공합니다.

1. Live Query(브라우저): 사용자가 브라우저에서 시각적으로 워크플로를 작성하고 문서 추출, 분류, 정리, 검증, 라우팅 로직을 구성합니다.

2. Alteryx One Platform Services: Transformation Service는 브라우저 워크플로와 고객 데이터 환경 간의 요청 처리, 실행 계획, 결과 검색을 조정합니다. 또한 이 서비스는 워크플로 실행 전반에 걸쳐 추적 가능성과 관측 가능성을 추가하여 운영 모니터링과 감사 가능성을 모두 강화합니다.

3. 고객 Google Cloud: 인보이스 PDF는 Google Cloud Storage(GCS)에 스테이징되고, 이전 인보이스 데이터는 BigQuery에서 계속 관리되며, AI 기반 추출은 해당 환경에서 실행되고, 워크플로 결과물이 BigQuery에 다시 기록됩니다.

이 패턴에서 브라우저는 작성 레이어이고, Alteryx One Platform Services는 조정 레이어이며, Google Cloud는 거버넌스 기반이 데이터 및 실행 레이어 역할을 합니다. 이를 통해 Live Query에서 워크플로 로직을 시각적으로 작성할 수 있으며, 실행은 BigQuery의 거버넌스가 적용된 데이터 및 웨어하우스 규모의 처리 성능에 맞춰 이뤄집니다.

Live Query 워크플로 둘러보기: PDF에서 인사이트 도출까지

인보이스를 예로 들어 Live Query 워크플로가 비정형 PDF를 어떻게 처리하는지 자세히 살펴보겠습니다.

인보이스 PDF 수집

워크플로는 원시 PDF 파일이 저장된 Google Cloud Storage의 디렉터리 입력을 가리키는 것으로 시작됩니다. 실제로 이 단계는 단순히 폴더를 지정하는 수준에 그치지 않습니다. PDF의 위치를 나열하고 파일의 절대 경로, 크기, 생성/수정 타임스탬프 같은 파일 수준의 메타데이터를 반환하여, 워크플로가 후속 추출 단계에 정확한 문서 세트를 안정적으로 전달할 수 있도록 돕습니다.

주요 필드 추출

Alteryx의 Document Extract 도구를 사용하면 워크플로가 Google Cloud Storage에 저장된 PDF 인보이스를 처리하여 정형 또는 반정형 결과를 BigQuery로 직접 추출합니다. 추출 단계에서는 워크플로 구성에 따라 Document AI 또는 Gemini AI 중 사용자가 선택한 모델을 활용합니다. 이 도구는 내부적으로 입력 문서 URI를 기반으로 임시 외부 객체 테이블을 생성한 후, Document AI 모델의 경우 ML.PROCESS_DOCUMENT를, Gemini AI 모델의 경우 AI.GENERATE를 호출하여 적절한 함수를 실행합니다. 이 워크플로에서는 Gemini 경로가 사용되며, AI.GENERATE가 요청된 인보이스 필드를 추출하여 후속 Live Query 워크플로로 반환합니다. 

대화형 설계 단계에서 Live Query는 미리보기를 위해 문서 URI 중 일부만 선별하여 처리하는 반면, 실제 런타임 실행 시에는 인보이스 PDF 전체 집합을 처리합니다.

추출된 콘텐츠 분류

추출 후 워크플로는 Alteryx의 Classify(분류) 도구를 사용하여 추출된 인보이스 텍스트에 제로샷 분류를 적용합니다. 이 사용 사례에서는 BigQuery의 AI.CLASSIFY를 사용하여 항목 콘텐츠를 산업용품 또는 사무용품과 같은 사전 정의된 비즈니스 카테고리로 분류합니다. 이 과정을 통해 다운스트림 워크플로에 새로운 예측 라벨 열이 추가됩니다. 이렇게 추가된 비즈니스 컨텍스트 덕분에 추출된 데이터는 다운스트림 조정, 예외 처리, 보고 단계에서 더 유용하게 활용될 수 있습니다.

데이터 정규화

추출된 인보이스 번호를 정리하고 표준화하여 공백이나 일관되지 않은 형식과 같은 사소한 차이 때문에 조정 과정에서 중복 항목이 누락되지 않도록 합니다.

이전 데이터와 비교

워크플로는 정규화된 현재 인보이스 레코드를 BigQuery에 이미 상주하는 이전 인보이스 데이터와 조인합니다. 이 조정 단계에서는 기존 내역에 이미 존재하는 인보이스 번호와 일치하는 레코드를 식별하여 중복 가능성이 있는 항목으로 플래그를 지정합니다.

예외 플래그 지정

그런 다음 수식 단계에서 나머지 레코드에 비즈니스 규칙 로직을 적용합니다. 이러한 규칙은 워크플로마다 다를 수 있으며 금액 불일치, 필수 필드 누락, 잘못된 합계 또는 기타 재무 관련 예외 사항에 대한 검토 항목을 포함할 수 있습니다. 이 예시에서는 하나의 규칙이 invoice_amount가 net_amount + tax_amount와 일치하는지 확인하고 불일치하는 경우 검토를 위해 플래그를 지정합니다.

운영 결과물 생성

워크플로는 두 가지 운영 결과물을 생성합니다. 하나는 과거 레코드와 일치하고 잠재적인 중복으로 플래그가 지정된 인보이스이고, 다른 하나는 검증되고 필요한 경우 예외 라벨이 지정되고 미지급 인보이스 처리를 위해 준비된 일치하지 않는 현재 인보이스입니다.

그 결과, 단순히 데이터를 추출하는 데 그치지 않고 재무팀이 즉시 검토하고 조치를 취할 수 있는 거버넌스 기반의 운영 결과물을 얻을 수 있습니다.

요약: 거버넌스가 적용된 문서 기반 의사 결정 워크플로

두 회사의 공동 고객은 비즈니스 프로세스를 개선하는 데 도움이 되는 이러한 새로운 기능에 대해 큰 기대를 하고 있습니다. 

“Alteryx One: Google 에디션에서 가장 인상 깊었던 점은 Google Cloud 환경에 자연스럽게 녹아든다는 것이었습니다. 비즈니스 사용자가 직관적이고 제어 가능한 환경을 통해 BigQuery 데이터를 활용할 수 있게 함으로써, 분석에 대한 접근성을 높일 수 있는 기회를 갖게 되어 기쁩니다.” - Michael Wyant, Papa Johns 엔터프라이즈 데이터 및 기업 솔루션 부문 부사장

이 사용 사례는 단순한 추출 도구를 넘어, 비정형 문서를 실행 가능한 운영 결과물로 변환하는 강력한 Google Cloud 네이티브 패턴을 제시합니다. 웨어하우스 데이터를 별도의 준비 도구로 이동할 필요 없이, 워크플로 내에서 스토리지, 추출, 조정 및 출력 생성의 전 과정을 BigQuery에 이미 저장된 거버넌스 기반 엔터프라이즈 데이터와 일관되게 유지할 수 있습니다. Alteryx One Live Query의 직관적인 설계와 BigQuery의 확장성 및 AI 기능을 결합하면 재무팀은 수작업을 줄이고 예외 처리를 가속화하며 더 가치 있는 전략적 이니셔티브에 집중할 수 있습니다.