맞춤 기반 추출

커스텀 모델 학습 및 추출을 사용하면 생성형 AI를 사용하지 않고도 문서에 맞게 설계된 자체 모델을 빌드할 수 있습니다. 생성형 AI를 사용하지 않고 학습된 모델의 모든 측면을 제어하려는 경우에 적합합니다.

데이터 세트 구성

프로세서 버전을 학습시키거나 업트레이닝하거나 평가하려면 문서 데이터 세트가 필요합니다. Document AI 프로세서는 인간과 마찬가지로 예시에서 학습합니다. 데이터 세트는 성능 측면에서 프로세서 안정성을 개선합니다.

학습 데이터 세트

모델과 정확성을 개선하려면 문서에서 데이터 세트를 학습합니다. 모델은 정답이 있는 문서로 구성됩니다. 새 모델을 학습시키려면 문서가 3개 이상 필요합니다.

정답은 사람이 결정한 대로 올바르게 라벨이 지정된 데이터입니다.

테스트 데이터 세트

테스트 데이터 세트는 모델에서 F1 점수 (정확성)를 생성하는 데 사용됩니다. 정답이 포함된 문서로 구성됩니다. 모델이 얼마나 정확한지 확인하기 위해 정답을 사용하여 모델의 예측 (모델에서 추출한 필드)을 올바른 답변과 비교합니다. 테스트 데이터 세트에는 문서가 3개 이상 있어야 합니다.

시작하기 전에

아직 하지 않았다면 결제와 Document AI API를 사용 설정합니다.

커스텀 모델 빌드 및 평가

먼저 맞춤 프로세서를 빌드한 다음 평가합니다.

1. 추출할 프로세서를 만들고 필드를 정의합니다. 추출 품질에 영향을 미치므로 이 작업은 중요합니다.

   참고: 기본 프로세서는 기반 모델입니다.

2. 데이터 세트 위치 설정: 기본 옵션 폴더 Google 관리를 선택합니다. 이는 프로세서를 만든 직후에 자동으로 실행될 수 있습니다.

3. Build 탭으로 이동하여 자동 라벨 지정이 사용 설정된 Import Documents를 선택합니다 (기반 모델을 사용한 자동 라벨 지정 참고). 커스텀 모델을 학습하려면 학습 세트에 최소 10개의 문서와 테스트 세트에 10개의 문서가 필요합니다.

4. 모델 학습:

   1. 새 버전 학습을 선택하고 프로세서 버전의 이름을 지정합니다.
   2. 고급 옵션 표시로 이동하여 모델 기반 옵션을 선택합니다.

   

   참고: 학습이 완료되는 데 다소 시간이 걸립니다.

5. 평가:

   • 평가 및 테스트로 이동하여 방금 학습한 버전을 선택한 다음 전체 평가 보기를 선택합니다.

   

   • 이제 전체 문서 및 각 필드의 f1, 정밀도, 재현율과 같은 측정항목이 표시됩니다.
   • 성능이 프로덕션 목표를 충족하는지 결정합니다. 충족하지 않으면 학습 및 테스트 세트를 재평가합니다. 일반적으로 잘 파싱되지 않는 문서를 학습 테스트 세트에 추가합니다.

6. 새 버전을 기본값으로 설정합니다.

   1. 버전 관리로 이동합니다.
   2. 메뉴로 이동한 다음 기본값으로 설정을 선택합니다.

   

이제 모델이 배포되었으며 이 프로세서로 전송된 문서에서 맞춤 버전을 사용합니다. 모델의 성능을 평가하여 추가 학습이 필요한지 확인하려 합니다.

평가 참조

평가 엔진은 일치검색 또는 유사 검색을 모두 실행할 수 있습니다. 정확한 일치의 경우 추출된 값이 실제 값과 정확하게 일치해야 하며 그렇지 않으면 누락으로 집계됩니다.

대소문자 차이와 같은 약간의 차이가 있는 퍼지 일치 추출도 일치로 간주됩니다. 평가 화면에서 변경할 수 있습니다.

기반 모델을 사용한 자동 라벨 지정

기반 모델은 다양한 문서 유형의 필드를 정확하게 추출할 수 있지만, 특정 문서 구조에 대한 모델의 정확성을 개선하기 위해 추가 학습 데이터를 제공할 수도 있습니다.

Document AI는 사용자가 정의한 라벨 이름과 이전 주석을 사용하여 자동 라벨 지정을 통해 대규모 문서에 라벨을 지정합니다.

1. 맞춤 프로세서를 만들었으면 시작하기 탭으로 이동합니다.
2. 새 필드 만들기를 선택합니다.
3. 설명이 포함된 이름을 지정하고 설명 입력란을 작성합니다. 속성 설명을 사용하면 각 항목에 추가 컨텍스트, 통계, 사전 지식을 제공하여 추출 정확도와 성능을 개선할 수 있습니다.

참고: 속성 설명의 좋은 예로는 속성 값의 위치 정보와 텍스트 패턴이 있습니다. 이러한 정보는 문서에서 혼동을 야기할 수 있는 잠재적 소스를 구분하는 데 도움이 되며, 특정 문서 구조나 콘텐츠 변형과 관계없이 더 안정적이고 일관된 추출을 보장하는 규칙으로 모델을 안내합니다.

1. Build(빌드) 탭으로 이동한 다음 Import documents(문서 가져오기)를 선택합니다.

   

2. 문서의 경로와 문서를 가져올 세트를 선택합니다. 자동 라벨 지정 체크박스를 선택하고 기반 모델을 선택합니다.

3. Build 탭에서 데이터 세트 관리를 선택합니다. 가져온 문서가 표시됩니다. 문서 중 하나를 선택합니다.

   

이제 모델의 예측이 보라색으로 강조 표시됩니다.

1. 모델이 예측한 각 라벨을 검토하고 올바른지 확인합니다. 누락된 입력란이 있으면 입력란도 추가합니다.

참고: 모든 필드가 최대한 정확해야 합니다. 그렇지 않으면 모델 성능이 결과에 영향을 줄 수 있습니다. 라벨 지정에 대한 자세한 내용

1. 문서가 검토되면 라벨이 지정된 것으로 표시를 선택합니다. 이제 모델에서 문서를 사용할 수 있습니다. 문서가 테스트 또는 학습 세트에 있는지 확인합니다.