Google Cloud 콘솔에서 커스텀 문서 분류기 만들기

커스텀 분류기는 문서를 분류하도록 설계되었으며 자체 문서와 커스텀 클래스를 사용하여 처음부터 빌드됩니다

Google Cloud 콘솔에서 커스텀 분류기 만들기

문서에 특히 적합하고 데이터로 학습 및 평가되는 커스텀 분류기를 만들 수 있습니다. 이 프로세서는 사용자가 정의한 클래스 집합에서 문서 클래스를 식별합니다. 그런 다음 이 학습된 프로세서를 추가 문서에 사용할 수 있습니다. 일반적으로 다른 유형의 문서에서 커스텀 분류기를 사용한 다음 ID를 사용하여 문서를 추출 프로세서에 전달하여 항목을 추출합니다.

커스텀 분류기를 만들고 사용하는 일반적인 워크플로는 다음과 같습니다.

  1. Document AI에서 커스텀 분류기를 만듭니다.
  2. 비어 있는 Cloud Storage 버킷을 사용하여 데이터 세트를 만듭니다.
  3. 문서를 가져옵니다.
  4. Document AI Workbench 또는 라벨 지정 태스크를 사용하여 문서에 수동으로 주석을 추가합니다.
  5. 문서를 학습 및 테스트 세트에 할당합니다.
  6. 프로세서를 학습시킵니다.
  7. 프로세서를 평가합니다.
  8. 프로세서를 배포합니다.
  9. 프로세서를 테스트합니다.
  10. 문서에 프로세서를 사용합니다.

워크플로에 적합한 고유 구성을 선택할 수 있습니다.

Google Cloud 콘솔에서 이 태스크에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

시작하기 전에

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Document AI, Cloud Storage APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Document AI, Cloud Storage APIs.

    Enable the APIs

    8.

프로세서 만들기

1. Google Cloud 콘솔로 이동한 다음 다음을 선택합니다. Workbench

  1. 커스텀 문서 분류기의 경우 프로세서 만들기를 선택합니다.

    custom-classifier-1

  2. 프로세서 만들기 메뉴에서 프로세서 이름(예: my-custom-document-classifier)을 입력합니다.

    custom-classifier-2

  3. 가장 가까운 리전을 선택합니다.

  4. 만들기를 선택합니다. 프로세서 세부정보 탭이 표시됩니다.

데이터 세트 구성

새 프로세서를 학습시키려면 학습 및 테스트 데이터로 데이터 세트를 만들어야 프로세서가 분할 및 분류할 문서를 식별할 수 있습니다.

이 데이터 세트에는 새 위치가 필요합니다. 이 위치는 빈 Cloud Storage 버킷 또는 폴더일 수도 있고 허용된 내부 관리 위치일 수도 있습니다.

프로세서 세부정보 탭이 나타나면 다음을 수행할 수 있습니다.

  • Cloud Storage를 사용하려면 Google 관리형 스토리지를 선택합니다.
  • 고객 관리 암호화 키(CMEK)를 사용하기 위해 자체 스토리지를 사용하려면 자체 스토리지 위치 지정을 선택하고 이후 절차를 따릅니다.

custom-classifier-3

데이터 세트를 위한 Cloud Storage 버킷 만들기

  1. 처리기의 학습 탭을 선택합니다.

  2. 데이터 세트 위치 설정을 선택합니다. 빈 Cloud Storage 버킷 또는 폴더를 선택하거나 만들라는 메시지가 표시됩니다.

    custom-classifier-4

  3. 찾아보기를 선택하여 폴더 선택을 엽니다.

  4. 새 버킷 만들기 아이콘을 클릭하고 표시되는 메시지에 따라 새 버킷을 만듭니다. Cloud Storage 버킷 만들기에 대한 자세한 내용은 Cloud Storage 버킷을 참조하세요.

    참고: 버킷은 폴더를 중첩할 수 있는 최상위 스토리지 항목입니다. 버킷을 만들고 선택하는 대신 기존 버킷 안에 빈 폴더를 만들고 선택할 수도 있습니다. 자세한 내용은 Cloud Storage 시뮬레이션된 폴더를 참조하세요.

    버킷을 만들면 해당 버킷의 폴더 선택 페이지가 표시됩니다.

  5. 버킷의 폴더 선택 페이지에서 대화상자 하단의 선택 버튼을 선택합니다.

    custom-classifier-5

  6. 대상 경로에 선택한 버킷 이름이 입력되어 있는지 확인합니다. 데이터 세트 만들기를 선택합니다. 데이터 세트를 만드는 데 몇 분 정도 걸릴 수 있습니다.

데이터 세트에 문서 가져오기

다음으로는 문서를 데이터 세트로 가져옵니다.

  1. 학습 탭에서 문서 가져오기를 선택합니다.

    custom-classifier-6

  2. 이 예시에서는 소스 경로에 이 버킷 이름을 입력합니다. 문서 하나에 직접 연결됩니다.

    cloud-samples-data/documentai/Custom/Patents/PDF/computer_vision_20.pdf

  3. 데이터 분할로 할당되지 않음을 선택합니다. 이 폴더의 문서는 테스트 또는 학습 세트에 할당되지 않습니다. 자동 라벨링을 사용하여 가져오기는 선택하지 않은 상태로 둡니다.

  4. 가져오기를 선택합니다. Document AI는 문서를 버킷에서 데이터 세트로 읽습니다. 가져오기가 완료된 후에는 가져오기 버킷을 수정하거나 버킷에서 데이터를 읽지 않습니다.

문서를 가져올 때 가져오기 시에 학습 또는 테스트 세트에 문서를 할당하거나 나중에 할당할 수 있습니다.

가져온 문서를 삭제하려면 학습 탭에서 해당 문서를 선택하고 삭제를 선택합니다.

가져올 데이터를 준비하는 방법을 자세히 알아보려면 데이터 준비 가이드를 참고하세요.

프로세서 스키마 정의

문서를 데이터 세트로 가져오기 전이나 가져온 후에 프로세서 스키마를 만들 수 있습니다. 스키마는 문서에 주석을 추가하는 데 사용할 라벨을 제공합니다.

  1. 학습 탭에서 왼쪽 하단에 있는 스키마 수정을 선택합니다. 라벨 관리 페이지가 열립니다.

  2. 라벨 만들기를 선택합니다.

  3. 라벨 이름을 입력합니다. 데이터 유형을 선택합니다. 만들기를 선택합니다. 스키마 생성 및 수정에 관한 자세한 안내는 프로세서 스키마 정의를 참고하세요.

  1. 프로세서 스키마에 대한 다음과 같은 각 라벨을 만듭니다.

    이름 데이터 유형
    computer_vision 문서 유형
    crypto 문서 유형
    med_tech 문서 유형
    other 문서 유형

  2. 라벨이 완료되면 저장을 선택합니다.

    custom-classifier-7

문서 라벨 지정

문서에서 텍스트를 선택하고 라벨을 적용하는 프로세스를 주석이라고 합니다.

  1. 학습 탭으로 돌아가서 문서를 선택하여 라벨 관리 콘솔을 엽니다.

  2. 문서 유형 드롭다운에서 문서에 적합한 라벨을 선택합니다.

  3. 제공된 샘플 문서를 사용하는 경우 computer_vision을 선택합니다.

    라벨이 지정된 완성된 문서는 다음과 같습니다. custom-classifier-8

  4. 문서에 주석을 달았으면 라벨이 지정된 것으로 표시를 선택합니다.

    학습 탭의 왼쪽 패널에 문서 1개에 라벨이 지정되었다고 표시됩니다.

학습 세트에 주석이 달린 문서 할당

이제 이 예시 문서에 라벨을 지정했으므로 이를 학습 세트에 할당할 수 있습니다.

  1. 학습 탭에서 모두 선택 체크박스를 선택합니다.

  2. 세트에 할당 목록에서 학습을 선택합니다.

왼쪽 패널에 문서 1개가 학습 세트에 할당되었다고 표시됩니다.

미리 라벨이 지정된 데이터를 학습 및 테스트 세트로 가져오기

이 가이드에서는 미리 라벨이 지정된 데이터가 제공됩니다.

자체 프로젝트를 진행하는 경우 데이터에 라벨을 지정하는 방법을 결정해야 합니다. 라벨 지정 옵션을 참고하세요. Document AI 커스텀 프로세서에는 학습 세트와 테스트 세트에 최소 10개의 문서와 각 세트의 각 라벨 인스턴스가 10개 필요합니다. 최상의 성능을 위해서는 각 세트에 문서 50개 이상, 라벨의 인스턴스 50개 이상을 포함하는 것이 좋습니다. 일반적으로 학습 데이터가 많을수록 정확성이 커집니다.

  1. 문서 가져오기를 선택합니다.

  2. 소스 경로에 다음 경로를 입력합니다. 이 버킷에는 문서 JSON 형식으로 라벨이 미리 지정된 문서가 포함되어 있습니다.

    cloud-samples-data/documentai/Custom/Patents/JSON/Classification-InventionType

  3. 데이터 분할 목록에서 자동 분할을 선택합니다. 이렇게 하면 문서가 학습 세트에서는 80%, 테스트 세트에서는 20%로 자동 분할됩니다. 라벨 적용 섹션은 무시합니다.

  4. 가져오기를 선택합니다. 가져오기를 완료하는 데 몇 분 정도 걸릴 수 있습니다.

가져오기가 완료되면 학습 탭에 문서가 표시됩니다.

선택사항: 가져오기 시 문서 라벨 일괄 지정

스키마를 구성한 후 가져오기 시 특정 디렉터리에 있는 모든 문서에 라벨을 지정하여 라벨 지정 시간을 절약할 수 있습니다.

커스텀 분류기

  1. 문서 가져오기를 선택합니다.

  2. 소스 경로에 다음 경로를 입력합니다. 이 버킷에는 라벨이 지정되지 않은 PDF 형식의 문서가 포함되어 있습니다.

    cloud-samples-data/documentai/Custom/Patents/PDF-CDC-BatchLabel

  3. 데이터 분할 목록에서 자동 분할을 선택합니다. 이렇게 하면 문서가 학습 세트에서는 80%, 테스트 세트에서는 20%로 자동 분할됩니다.

  4. 라벨 적용 섹션에서 라벨 선택을 선택합니다.

  5. 이 샘플 문서의 경우 other를 선택합니다.

  6. 가져오기를 선택하고 프로세스가 완료될 때까지 기다립니다. 이 페이지를 나갔다가 다시 돌아와도 됩니다. 완료되면 학습 탭에서 라벨이 적용된 문서를 찾습니다.

프로세서 학습

이제 학습 데이터와 테스트 데이터를 가져왔으므로 프로세서를 학습시킬 수 있습니다. 학습에 몇 시간이 걸릴 수 있으므로 학습을 시작하기 전에 적절한 데이터와 라벨을 프로세서에 설정했는지 확인하세요.

  1. 새 버전 학습을 선택합니다.

  2. 버전 이름 필드에 이 프로세서 버전의 이름(예: my-cdc-version-1)을 입력합니다.

  3. (선택사항) 문서 라벨에 대한 정보를 보려면 라벨 통계 보기를 선택합니다. 이렇게 하면 적용 범위를 결정하는 데 도움이 됩니다. 닫기를 선택하여 학습 설정으로 돌아갑니다.

  4. 학습 시작을 선택합니다. 오른쪽 패널에서 상태를 확인할 수 있습니다.

프로세서 버전 배포

  1. 학습이 완료되면 버전 관리 탭으로 이동합니다. 방금 학습한 버전에 대한 세부정보를 볼 수 있습니다.

  2. 배포할 버전 오른쪽에 있는 3개의 수직 점을 선택하고 버전 배포를 선택합니다.

  3. 팝업 창에서 배포를 선택합니다.

    배포를 완료하는 데 몇 분 정도 걸립니다.

프로세서 평가 및 테스트

  1. 배포가 완료되면 평가 및 테스트 탭으로 이동합니다.

    이 페이지에서 F1 점수, 전체 문서의 정밀도 및 재현율, 개별 라벨을 포함한 평가 측정항목을 확인할 수 있습니다. 평가 및 통계에 관한 자세한 내용은 프로세서 평가를 참고하세요.

  2. 이전 학습 또는 테스트에 포함되지 않은 문서를 다운로드하여 프로세서 버전을 평가하는 데 사용할 수 있습니다. 자체 데이터를 사용하는 경우에는 이러한 목적을 위해 따로 보관된 문서를 사용하게 됩니다.

    PDF 다운로드

  3. 테스트 문서 업로드를 선택하고 방금 다운로드한 문서를 선택합니다.

    커스텀 문서 분류기 분석 페이지가 열립니다. 출력은 문서가 얼마나 잘 분류되었는지를 보여줍니다.

    다른 테스트 세트 또는 프로세서 버전을 대상으로 평가를 다시 실행할 수도 있습니다.

선택 사항: 새로 가져온 문서를 자동으로 라벨 지정

학습된 프로세서 버전을 배포한 후 자동 라벨 지정을 사용해 새 문서를 가져올 때 라벨 지정 시간을 절약할 수 있습니다.

  1. 학습 페이지에서 문서 가져오기를 클릭합니다.

  2. 다음 Cloud Storage 경로를 복사하여 붙여넣습니다. 이 디렉터리에는 라벨 지정이 되지 않은 특허 PDF가 5개 있습니다. 데이터 분할 드롭다운 목록에서 학습을 선택합니다.

    cloud-samples-data/documentai/Custom/Patents/PDF-CDC-AutoLabel

  3. 라벨 적용 섹션에서 자동 라벨 지정을 선택합니다.

  4. 기존 프로세서 버전을 선택하여 문서에 라벨을 지정합니다.

    • 예: 2af620b2fd4d1fcf

  5. 가져오기를 선택하고 프로세스가 완료될 때까지 기다립니다. 이 페이지를 나갔다가 다시 돌아와도 됩니다. 완료되면 학습 페이지의 자동 라벨 지정됨 섹션에 문서가 표시됩니다.

  6. 자동 라벨 지정 문서를 라벨 지정됨으로 표시하지 않고 학습 또는 테스트용으로 사용할 수는 없습니다. 자동 라벨 지정 문서를 보려면 자동 라벨 지정 섹션으로 이동하세요.

  7. 첫 번째 문서를 선택하여 라벨 지정 콘솔로 이동합니다.

  8. 라벨이 올바른지 확인합니다. 잘못된 경우 조정합니다.

  9. 완료되면 라벨이 지정된 것으로 표시를 선택합니다.

  10. 자동으로 라벨이 지정된 각 문서에 대해 라벨 확인을 반복한 다음 학습 페이지로 돌아가 학습에 데이터를 사용합니다.

프로세서 사용

커스텀 문서 분류기 프로세서를 만들고 학습시켰습니다.

다른 프로세서 버전과 마찬가지로 커스텀 학습 프로세서 버전을 관리할 수 있습니다. 자세한 내용은 프로세서 버전 관리를 참조하세요.

커스텀 프로세서에 처리 요청을 보낼 수 있으며 응답은 다른 분류기 프로세서와 동일하게 처리할 수 있습니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

불필요한 Google Cloud 요금이 청구되지 않도록 하려면 Google Cloud 콘솔을 사용하여 필요하지 않은 프로세서와 프로젝트를 삭제합니다.

Document AI 학습용으로 만든 새 프로젝트가 더 이상 필요 없는 경우 프로젝트를 삭제하세요.

기존 Google Cloud 프로젝트를 사용한 경우 계정에 요금이 청구되지 않도록 만든 리소스를 삭제합니다.

  1. Google Cloud 콘솔 탐색 메뉴에서 Document AI를 선택한 다음 내 프로세서를 선택합니다.

  2. 삭제하려는 프로세서와 동일한 행에서 작업 더보기를 선택합니다.

  3. 프로세서 삭제를 선택하고 프로세서 이름을 입력한 다음 삭제를 다시 선택하여 확인합니다.

다음 단계

다음
커스텀 분할기