맞춤 기반 추출

커스텀 모델 학습 및 추출을 사용하면 생성형 AI를 사용하지 않고도 문서에 맞게 설계된 자체 모델을 빌드할 수 있습니다. 생성형 AI를 사용하지 않고 학습된 모델의 모든 측면을 제어하려는 경우에 적합합니다.

데이터 세트 구성

프로세서 버전을 학습시키거나 업트레이닝하거나 평가하려면 문서 데이터 세트가 필요합니다. Document AI 프로세서는 사람처럼 예시를 통해 학습합니다. 데이터 세트는 성능 측면에서 프로세서 안정성을 지원합니다.

학습 데이터 세트

모델과 정확도를 개선하려면 문서에 대한 데이터 세트를 학습시키세요. 모델은 정답이 있는 문서로 구성됩니다. 새 모델을 학습시키려면 문서가 3개 이상 필요합니다.

정답은 사람이 결정한 대로 올바르게 라벨이 지정된 데이터입니다.

테스트 데이터 세트

테스트 데이터 세트는 모델이 F1 점수 (정확도)를 생성하는 데 사용하는 데이터 세트입니다. 정답이 있는 문서로 구성됩니다. 모델이 얼마나 자주 올바른지 확인하기 위해 정답을 사용하여 모델의 예측 (모델에서 추출된 필드)을 올바른 답변과 비교합니다. 테스트 데이터 세트에는 문서가 3개 이상 있어야 합니다.

시작하기 전에

아직 수행하지 않았다면 결제와 Document AI API를 사용 설정합니다.

커스텀 모델 빌드 및 평가

먼저 맞춤 프로세서를 빌드한 후 평가합니다.

1. 프로세서를 만들고 추출할 필드를 정의합니다. 추출 품질에 영향을 미치므로 중요합니다.

   참고: 기본 프로세서는 파운데이션 모델입니다.

2. 데이터 세트 위치 설정: 기본 옵션 폴더 Google 관리를 선택합니다. 이는 프로세서 생성 직후 자동으로 실행될 수 있습니다.

3. 빌드 탭으로 이동하여 자동 라벨 지정이 사용 설정된 문서 가져오기를 선택합니다 (기반 모델을 사용한 자동 라벨 지정 참고). 커스텀 모델을 학습하려면 학습 세트에 10개 이상의 문서와 테스트 세트에 10개 이상의 문서가 필요합니다.

4. 모델 학습:

   1. 새 버전 학습을 선택하고 프로세서 버전에 이름을 지정합니다.
   2. 고급 옵션 표시로 이동하여 모델 기반 옵션을 선택합니다.

   

   참고: 학습이 완료되는 데 다소 시간이 걸릴 수 있습니다.

5. 평가:

   • 평가 및 테스트로 이동하여 방금 학습한 버전을 선택한 다음 전체 평가 보기를 선택합니다.

   

   • 이제 전체 문서와 각 필드의 f1, 정밀도, 재현율과 같은 측정항목이 표시됩니다.
   • 성능이 프로덕션 목표를 충족하는지 확인합니다. 충족하지 않으면 학습 및 테스트 세트를 재평가합니다. 일반적으로 파싱이 잘 되지 않는 문서를 학습 테스트 세트에 추가합니다.

6. 새 버전을 기본값으로 설정합니다.

   1. 버전 관리로 이동합니다.
   2. 메뉴로 이동한 다음 기본값으로 설정을 선택합니다.

   

이제 모델이 배포되었으며 이 프로세서로 전송된 문서가 맞춤 버전을 사용합니다. 추가 학습이 필요한지 확인하기 위해 모델의 성능을 평가하려고 합니다.

평가 참조

평가 엔진은 일치검색과 유사 검색을 모두 실행할 수 있습니다. 정확한 일치의 경우 추출된 값이 정답과 정확하게 일치해야 하며, 그렇지 않으면 누락으로 간주됩니다.

대소문자 차이와 같은 약간의 차이가 있는 퍼지 일치 추출은 여전히 일치로 간주됩니다. 이 설정은 평가 화면에서 변경할 수 있습니다.

파운데이션 모델을 사용한 자동 라벨 지정

기반 모델은 다양한 문서 유형의 필드를 정확하게 추출할 수 있지만, 특정 문서 구조에 대한 모델의 정확성을 개선하기 위해 추가 학습 데이터를 제공할 수도 있습니다.

Document AI는 사용자가 정의한 라벨 이름과 이전 주석을 사용하여 자동 라벨 지정으로 대규모 문서에 라벨을 지정합니다.

1. 커스텀 프로세서를 만든 후 시작하기 탭으로 이동합니다.
2. 새 필드 만들기를 선택합니다.
3. 설명이 포함된 이름을 입력하고 설명 필드를 작성합니다. 속성 설명을 사용하면 각 항목에 추가 컨텍스트, 통계, 사전 지식을 제공하여 추출 정확도와 성능을 개선할 수 있습니다.

참고: 속성 설명의 좋은 예로는 위치 정보와 속성 값의 텍스트 패턴이 있습니다. 이러한 정보는 문서에서 혼동을 일으킬 수 있는 잠재적 소스를 명확히 하고, 특정 문서 구조나 콘텐츠 변형과 관계없이 더 안정적이고 일관된 추출을 보장하는 규칙으로 모델을 안내하는 데 도움이 됩니다.

1. 빌드 탭으로 이동한 다음 문서 가져오기를 선택합니다.

   

2. 문서의 경로와 문서를 가져올 세트를 선택합니다. 자동 라벨 지정 체크박스를 선택하고 기반 모델을 선택합니다.

3. 빌드 탭에서 데이터 세트 관리를 선택합니다. 가져온 문서가 표시됩니다. 문서 중 하나를 선택합니다.

   

이제 모델의 예측이 보라색으로 강조 표시됩니다.

1. 모델에서 예측한 각 라벨을 검토하고 올바른지 확인합니다. 누락된 필드가 있으면 해당 필드도 추가합니다.

참고: 모든 필드가 최대한 정확해야 합니다. 그렇지 않으면 모델 성능이 결과에 영향을 미칠 수 있습니다. 라벨 지정에 대한 자세한 내용을 확인하세요.

1. 문서를 검토한 후 라벨이 지정된 것으로 표시를 선택합니다. 이제 모델에서 문서를 사용할 수 있습니다. 문서가 테스트 또는 학습 세트에 있는지 확인합니다.