Document AI 개요

이 문서는 Document AI 사용에 대한 기본 개념을 설명하는 가이드입니다. 다른 문서 또는 빠른 시작으로 이동하기 전에 이 페이지를 읽어야 합니다.

문서 처리 워크플로 자동화

전 세계 기업은 정보를 저장하고 전달하기 위해 문서에 크게 의존합니다. 이 정보는 유용하게 사용하려면 디지털화해야 하는 경우가 많습니다. 하지만 이는 일반적으로 시간이 많이 소요되는 수동 프로세스를 통해 이루어집니다.

예를 들면 다음과 같습니다.

  • e-Reader용 도서 디지털화
  • 의사 사무실에서 의료 접수 양식을 처리합니다.
  • 영수증 및 인보이스를 파싱하여 경비 보고서의 유효성을 검사합니다.
  • ID 카드를 기반으로 신원을 인증합니다.
  • 대출 승인을 위해 세금 양식에서 소득 정보를 추출합니다.
  • 주요 비즈니스 계약 조건에 대한 계약을 이해합니다.

이러한 각 워크플로에는 문서에서 원시 텍스트를 가져온 다음 필요한 데이터 (필드 또는 항목)에 해당하는 특정 텍스트를 추출하는 작업이 포함됩니다. 하지만 각 문서 유형의 구조와 레이아웃은 다르며 필드 패턴은 특정 사용 사례에 따라 다릅니다.

Document AI 구성요소

Document AI는 문서에서 비정형 데이터를 가져와서 데이터베이스에 적합한 특정 필드와 같은 정형 데이터로 변환하는 문서 처리 및 이해 플랫폼으로, 데이터의 이해, 분석, 사용을 쉽게 만들어 줍니다.

Document AI는 전문적인 머신러닝 지식 없이 확장 가능한 엔드 투 엔드 클라우드 기반 문서 처리 애플리케이션을 만드는 데 도움이 되도록 생성형 AI를 사용하여 Vertex AI 내의 제품 위에 구축됩니다.

Document AI를 사용하면 다음 작업을 할 수 있습니다.

  • OCR을 사용하여 문서를 디지털화하여 텍스트, 레이아웃, 다양한 부가기능(예: 이미지 품질 감지(가독성용), 기울기 보정(완전 자동))을 가져옵니다.
  • 문서 파일에서 텍스트 및 레이아웃 정보를 추출하고 항목을 정규화합니다.
  • 구조화된 양식과 일반 테이블에서 키-값 쌍 (kvp)을 식별합니다. 예를 들어 Name: Jill Smith은 KVP입니다.
  • 문서 유형을 분류하여 추출 및 저장과 같은 다운스트림 프로세스를 실행합니다.
  • 문서를 유형별로 분할하고 분류합니다. 예를 들어 실제 문서가 여러 개 있는 PDF 파일이 있습니다.
  • 자동 라벨링, 스키마 관리, 문서 및 예측 검토와 같은 데이터 세트 관리 기능을 사용하여 미세 조정 및 모델 평가에 사용할 데이터 세트를 준비합니다.
  • Cloud Storage, BigQuery, Vertex AI Search와 같은 제품과 통합하여 문서와 메타데이터를 저장, 검색, 정리, 관리, 분석할 수 있습니다.

이 다이어그램은 Document AI에서 지원하는 모든 주요 문서 처리 단계와 각 단계가 서로 연결되는 방식을 보여줍니다.

docai-overview-1

프로세서

Document AI 프로세서는 문서 파일과 문서 처리 및 이해 작업을 실행하는 머신러닝 모델 사이에 있습니다. 문서를 분류, 분할, 파싱 또는 분석하는 데 사용할 수 있습니다.

각 Google Cloud 프로젝트는 자체 프로세서 인스턴스를 만들어야 합니다.

프로세서는 다음 카테고리 중 하나에 속합니다.

  • 디지털화: OCR
  • 추출: 맞춤 추출기, 양식 파서, 레이아웃 파서, 사전 학습된 파서
  • 분류: 맞춤 분류기 및 맞춤 분할기

Document AI에 사용할 수 있는 모든 프로세서 유형에 관한 정보는 전체 프로세서 및 세부정보 목록을 참고하세요.

어떤 프로세서를 사용해야 하나요?

특정 애플리케이션에 사용할 프로세서 유형을 결정하려면 다음 일반 가이드라인을 참고하세요.

카테고리 사용 사례 프로세서 유형
디지털화 문서에서 텍스트 및 레이아웃 정보를 추출합니다. Enterprise Document OCR
문서의 스캔된 이미지 품질 (가독성)을 분석합니다. 이미지 품질 분석 이 사용 설정된 Enterprise Document OCR
맞춤 프로세서 기준을 충족하지 않는 맞춤 문서에서 항목을 추출합니다.
추출 문서의 구조화된 양식에서 표 또는 kvp를 추출합니다. 양식 파서
문서에서 텍스트, 표, 목록과 같은 요소를 추출하고 컨텍스트 인식 청크를 반환합니다. 레이아웃 파서
맞춤 프로세서 기준을 충족하는 맞춤 문서에서 항목을 추출합니다. 맞춤 추출기 만들기
특정 문서 유형에서 항목을 추출합니다. 사전 학습된 프로세서 (업트레이닝하여 품질을 개선)
분류 문서를 분류합니다. 맞춤 분류기 만들기
문서 분할 맞춤 분할기 만들기

이 다이어그램은 각 사용 사례에 가장 적합한 프로세서를 결정하는 데 도움이 됩니다.

docai-overview-2

Document AI 프로세서 사용

Document AI를 사용하여 문서 처리를 시작하는 주요 단계는 다음과 같습니다.

  1. 사용 사례에 적합한 프로세서를 선택합니다.

  2. Google Cloud 콘솔 또는 Document AI API를 사용하여 프로세서 만들기

    • Document AI는 문서를 전송할 수 있는 예측 엔드포인트를 만듭니다.

    • 자세한 내용은 프로세서 만들기를 참고하세요.

  3. 처음부터 학습 및 테스트 데이터를 사용하여 프로세서를 학습시키거나 기존 프로세서 위에 새 (사전 학습된) 프로세서 버전을 업트레이닝합니다.

  4. 처리를 위해 문서를 보냅니다.