라벨링 관리자 UI 및 라벨러 워크벤치
관리자 UI
관리자 UI를 사용하면 관리자1가 라벨러가 태스크2에서 수행하는 작업을 관리할 수 있습니다. 관리자는 이 UI를 사용하여 라벨 지정자를 추가 또는 삭제하고, 작업을 할당 또는 할당 해제하고, 작업 진행 상황과 각 라벨 지정자의 실적에 관한 분석을 모니터링할 수 있습니다.
왼쪽에는 사용자가 관리자인 모든 Google Cloud 프로젝트 사용 설정 라벨러 풀3의 목록이 표시됩니다. 라벨러 풀 이름 오른쪽에 있는 숫자는 해당 풀의 라벨러 수입니다. 그 오른쪽에는 UI의 기본 콘텐츠가 있으며, 이 콘텐츠는 다음 4개의 탭으로 구성됩니다.
작업
태스크 표는 라벨러 풀의 프로젝트에 있는 모든 태스크를 보여주는 뷰입니다. Google Cloud 작업에 관한 몇 가지 기본 통계가 포함되어 있으며 작업을 일시중지하는 기능과 작업에 라벨러를 할당하는 빠른 경로를 제공합니다.
필터
데이터 그리드 위에는 데이터 그리드에 표시할 할 일을 결정하는 필터 컨트롤 세트가 있습니다.
- 이름으로 할 일 검색: 입력한 이름이 포함된 결과로 필터링합니다. 자동 완성 기능이 포함되어 있습니다.
- 진행 중: 이 옵션을 선택하면 일시중지, 완료 또는 할당 취소되지 않은 모든 할 일이 결과에 포함됩니다. 이 기능은 기본적으로 사용 설정되어 있습니다.
- 일시중지됨: 이 옵션을 선택하면 일시중지된 모든 할 일이 결과에 포함됩니다.
- 완료됨: 선택하면 아직 질문이 대기열에 추가되지 않았거나 대기열에 추가된 모든 질문에 답변이 제공되었기 때문에 사용 가능한 질문이 없는 모든 완료된 할 일이 결과에 포함됩니다.
- 할당되지 않음: 이 옵션을 선택하면 할당된 라벨러가 없는 모든 태스크가 결과에 포함됩니다.
선택한 필터가 없으면 오류가 발생하며 페이지에서 관리자에게 필터를 선택하라는 메시지를 표시합니다. 체크박스가 선택 해제된 경우 체크박스의 조건과 일치하는 태스크는 선택된 체크박스의 조건 중 하나와 일치하는 경우를 제외하고 제외됩니다. 예를 들어 태스크가 일시중지되어 있으면서도 할당되지 않은 경우 일시중지 체크박스가 선택되어 있거나 할당되지 않음 체크박스가 선택되어 있으면 태스크가 표시됩니다 (둘 다 선택된 경우도 포함). 일시중지됨 체크박스와 할당되지 않음 체크박스가 모두 선택되지 않은 경우 이 결과는 표시되지 않습니다.
데이터 그리드
- 첫 번째 열에는 각 행의 체크박스가 있습니다. 관리자가 이러한 체크박스를 하나 이상 선택한 다음 표 위의 할당 관리 버튼을 클릭하면 할당 페이지로 이동하며 선택한 할당이 이미 할당 필터에 채워집니다.
- '할 일' 열에는 할 일의 이름이 표시됩니다. 태스크를 만드는 사용자가 설정하며 내부 식별자 (예: 'cloud_data_67523fe89343')가 아닌 사람이 읽을 수 있는 이름 (예: '이력서 분류')입니다.
- Objective(목표) 열에는 목표 이름이 포함됩니다. 이 이름은 작업 유형(이미지 분류, 텍스트 분류 등)을 나타냅니다.
- '최근 큐에 추가됨' 열에는 가장 최근 질문이 큐에 추가된 날짜가 포함됩니다 (아직 태스크에 질문이 추가되지 않은 경우 비어 있음).
- '할당됨' 열에는 현재 할당된 라벨러 수가 표시됩니다. 또한 관리자가 라벨 지정자를 재할당할 수 있는 대화상자에 액세스할 수 있습니다. 관리자는 이 대화상자에서 할당할 수 없습니다. 할당하려면 '할당' 페이지를 사용해야 합니다.
- '사용 가능한 질문/현재 대기 중인 질문' 열에는 현재 태스크에서 라벨러가 처리할 수 있는 질문 수와 현재 태스크에서 대기 중인 총 질문 수를 나타내는 비율이 표시됩니다.
- 진행률 열에는 위 비율이 그래프와 비율로 표시됩니다. 위 스크린샷의 표 하단 행에서 볼 수 있듯이 작업이 일시중지되어 있는지 (질문 표시 불가)도 표시됩니다.
- 작업 열에는 할 일과 관련하여 수행할 수 있는 추가 작업이 포함된 메뉴가 있습니다.
- 일시중지: 현재 태스크가 일시중지되지 않은 경우에만 사용할 수 있으며, 이 버튼을 누르면 태스크가 일시중지됩니다.
- 재개: 현재 작업이 일시중지된 경우에만 사용할 수 있으며 작업을 재개합니다.
- 과제: 과제 페이지로 연결되는 바로가기이며 필터에서 처음에 과제가 선택됩니다.
데이터 표 위에는 페이지 레이아웃 컨트롤이 있습니다. 관리자는 이 컨트롤을 사용하여 페이지당 더 많은 결과를 표시하고 결과 페이지 간에 이동할 수 있습니다.
라벨러
라벨러 표는 라벨러 풀의 모든 라벨러를 보여주는 뷰입니다. 라벨러에 관한 몇 가지 기본 통계와 라벨러를 Tasks에 빠르게 할당하는 방법이 포함되어 있습니다.
필터
데이터 그리드 위에 있는 필터 상자는 입력된 이메일이 포함된 결과로 필터링합니다. 이메일이 여러 개인 경우 쉼표로 구분할 수 있습니다.
라벨러 추가
추가 버튼을 누르면 관리자가 라벨러를 하나 이상 풀에 추가할 수 있는 대화상자가 열립니다. 이메일 주소를 여러 개 입력할 수 있으며, 이때 쉼표로 구분합니다. 언어 코드 (예: 'en', 'de')를 쉼표로 구분하여 입력할 수도 있습니다. 동일한 사용자 (이메일)가 여러 라벨러 풀에 표시될 수 있으며 각 풀에 다른 할당이 있을 수 있습니다.
대화상자에 추가된 라벨러와 추가되지 않은 라벨러의 요약이 표시됩니다. 체크표시는 라벨러가 추가되었음을 의미하며, 빨간색 X는 라벨러를 추가할 수 없음을 의미합니다 (예: 풀에 이미 존재하기 때문에).
데이터 그리드
- 첫 번째 열에는 각 행의 체크박스가 있습니다. 관리자가 이러한 체크박스를 하나 이상 선택한 다음 표 위의 할당 관리 버튼을 클릭하면 할당 페이지로 이동하며 선택한 라벨러가 이미 라벨러 필터에 채워집니다.
- 이메일 열에는 라벨 지정자의 이메일 주소가 표시됩니다.
- Tasks assigned(할당된 작업) 열에는 라벨러에게 할당된 작업 수가 표시됩니다. 또한 관리자가 하나 이상의 작업에서 라벨 지정 도구를 할당 해제할 수 있는 대화상자에 액세스할 수 있습니다. 관리자는 이 대화상자에서 할당할 수 없습니다. 관리자가 할당하려면 '할당' 페이지를 사용해야 합니다.
- 'Languages'(언어) 열에는 라벨러가 연결된 언어가 표시됩니다. 이러한 값은 질문이 큐에 추가될 때의 구성에 따라 라벨러가 임대할 수 있는 질문에 영향을 줄 수 있습니다.
- 작업 열에는 할 일과 관련하여 수행할 수 있는 추가 작업이 포함된 메뉴가 있습니다.
- 할당: 할당 페이지로 바로 이동하며, 필터에서 라벨러가 처음에 선택됩니다.
- 삭제: 현재 라벨러 풀에서 라벨러를 삭제합니다.
데이터 표 위에는 페이지 레이아웃 컨트롤이 있습니다. 관리자는 이 컨트롤을 사용하여 페이지당 더 많은 결과를 표시하고 결과 페이지 간에 이동할 수 있습니다.
할당
할당 페이지를 사용하면 관리자가 라벨러 풀의 라벨러에 할당된 태스크를 관리할 수 있습니다.
필터
과제 그리드의 콘텐츠는 두 가지 필터 기준에 따라 결정됩니다. Y축에 표시되는 항목을 결정하는 라벨러 필터와 X축에 표시되는 항목을 결정하는 작업 필터입니다.
라벨러 필터
- 작업 선택 도구: 관리자는 이 필드를 사용하여 하나 이상의 작업을 선택할 수 있습니다. 그리드에 표시되는 라벨러 세트에는 이러한 태스크에 할당된 모든 라벨러가 포함됩니다.
- 이메일 필터: 관리자는 이 필드를 사용하여 쉼표로 구분된 하나 이상의 이메일 주소를 지정할 수 있습니다. 그리드에 표시되는 라벨 지정자 세트에는 이러한 이메일 주소가 있는 모든 라벨 지정자가 포함됩니다.
이 두 필터 중 하나 또는 둘 다 사용할 수 있지만 하나 이상은 사용해야 합니다.
작업 필터
- 작업 선택 도구: 관리자는 이 필드를 사용하여 하나 이상의 작업을 선택할 수 있습니다. 그리드에 표시되는 태스크 세트에는 선택한 모든 태스크가 포함됩니다.
- 추가 필터:
- 일시중지된 모든 할 일: 이 체크박스가 선택되어 있으면 표시되는 할 일 목록에 일시중지된 할 일도 포함됩니다.
- 완료된 모든 과제: 이 옵션을 선택하면 완료된 과제 (작업할 수 있는 질문이 없음)도 표시됩니다.
- 할당되지 않은 모든 태스크: 이 체크박스를 선택하면 라벨러에게 할당되지 않은 태스크도 표시됩니다.
- 진행 중인 모든 작업: 이 체크박스가 선택되어 있으면 표시되는 Tasks(할 일)에 '진행 중인'(일시중지, 완료 또는 할당 취소되지 않음) 태스크도 포함됩니다.
이러한 필터를 원하는 대로 조합하여 사용할 수 있지만 하나 이상은 사용해야 합니다. 이러한 필터는 서로 독립적입니다. 라벨러 필터에서 선택한 옵션은 Tasks 필터에서 선택한 옵션에 영향을 미치지 않으며 그 반대의 경우도 마찬가지입니다.
과제 그리드
그리드에는 선택한 필터 기준의 결과가 표시됩니다. 라벨러는 Y축을, 할 일은 X축을 구성합니다. 관리자는 각 셀의 체크박스를 선택하여 해당 라벨러를 해당 작업에 할당하거나 체크박스를 선택 해제하여 해당 라벨러를 해당 작업에서 할당 해제할 수 있습니다.
각 행 헤더 및 열 헤더 셀의 메뉴에서도 몇 가지 단축키를 사용할 수 있습니다 (세로 점 3개가 있는 버튼을 클릭하면 메뉴가 열림). 예를 들어 관리자가 라벨러 헤더 셀에서 메뉴를 열면 관리자는 모든 작업에서 해당 라벨러를 한 번에 할당하거나 할당 해제할 수 있습니다. 관리자는 삭제 메뉴 옵션을 사용하여 행 또는 열을 숨기거나 현재 라벨러에게 할당된 작업/현재 작업에 할당된 라벨러를 볼 수도 있습니다. 행과 열을 채울 때 관리자는 사용 가능한 바로가기를 사용하여 할당 그리드에서 특정 라벨러 또는 작업을 삭제할 수 있습니다. 삭제된 태스크 또는 라벨러의 할당 상태에는 영향을 미치지 않습니다. 삭제된 할 일 또는 라벨러는 상단의 각 필터를 사용하여 그리드에 다시 표시할 수 있습니다. 변경사항을 커밋한 후 과제를 수정하는 데는 과제 그리드에 있는 Tasks 및 Labeler만 사용됩니다.
과제를 변경하면 페이지 상단에 있는 변경사항 커밋 버튼이 사용 설정됩니다. 변경사항 삭제 버튼도 사용할 수 있습니다. 이 버튼을 클릭하면 커밋되지 않은 과제 변경사항이 모두 재설정됩니다.
변경사항 커밋 버튼을 클릭하면 관리자에게 과제에 적용될 모든 변경사항 목록이 표시됩니다. 관리자가 변경사항을 검토한 후 변경사항을 중단하거나 커밋할 수 있습니다. 변경사항을 중단하면 과제 페이지로 돌아가서 과제 수정을 계속할 수 있습니다. 변경사항을 커밋하면 과제가 커밋되고 과제 페이지로 돌아갑니다.
관리자가 변경사항 목록 페이지에서 '커밋'을 클릭할 때까지 그리드에서 적용한 변경사항은 저장되지 않습니다.
라벨러 워크벤치
라벨러 워크벤치는 라벨러가 질문에 라벨을 지정하는 데 사용하는 인터페이스입니다. 상담사가 받는 질문은 관리자가 할당한 상담사가 속한 상담사 풀에 따라 다릅니다.
질문 받기
워크벤치가 로드되면 라벨러가 라벨을 지정할 질문을 자동으로 가져옵니다. 다음과 같은 몇 가지 이유로 연결에 실패할 수 있습니다.
- 라벨러가 현재 라벨러 풀의 할당된 작업이 없습니다 (워크벤치에서 한 번에 하나의 라벨러 풀을 사용함). 다른 라벨러 풀에 라벨러에게 질문할 수 있는 질문이 있을 수 있습니다.
- 라벨 지정자가 하나 이상의 Tasks에 할당되었지만 현재 해당 Tasks에 해당 라벨 지정자가 사용할 수 있는 질문이 없습니다. 다음과 같은 이유로 이 문제가 발생할 수 있습니다.
- 대기열에 추가된 질문 없음
- 모든 질문이 복제 기준을 충족함
- 복제 중인 질문은 모두 해당 시점에 작업 중인 다른 라벨 지정자에게 임대되었습니다.
- 사용 가능한 모든 질문에는 라벨러가 없는 언어가 연결되어 있습니다.
- 음반사가 이미 답변할 수 있는 모든 질문에 답변했습니다. 복제가 완료될 때까지 다른 라벨 지정자가 이러한 질문을 계속 사용할 수 있습니다.
- 라벨러가 이 질문의 이전 인스턴스에 답변을 제출했기 때문에 사용 가능한 질문에 답변할 수 없습니다. 다른 음반사에서는 이러한 질문을 계속 사용할 수 있습니다.
워크벤치가 로드된 후 라벨러에 질문이 더 이상 없을 수 있습니다. 이 경우 라벨러가 질문을 다시 가져오려고 시도할 수 있는 버튼이 표시됩니다 (위와 동일한 잠재적 오류가 적용됨).
질문 작업
라벨러에게 질문이 임대되면 워크벤치에 표시됩니다. 구체적인 모양은 대기열에 추가된 질문과 작업이 사용하도록 구성된 UI에 따라 다릅니다.
워크벤치에서 질문 할당이 만료될 때까지 타이머가 시작됩니다. 타이머가 완료되면 질문이 만료되고 다른 평가자에게 할당되어 현재 재생목록을 계속 진행할 수 있도록 워크벤치에서 삭제됩니다.
라벨러가 질문에 대한 답변을 제출하면 워크벤치에 사용 가능한 다음 질문이 자동으로 로드됩니다. 그렇지 않으면 음반사가 위에 표시된 질문 더보기 버튼을 사용하여 추가 질문을 요청해야 합니다.
제출 상태
워크벤치에는 라벨러가 답변 제출의 상태(제출이 성공했는지, 실패했는지, 아직 진행 중인지)를 확인할 수 있는 몇 가지 위치가 있습니다.
알림 대화상자
이 대화상자에는 라벨러가 제출한 답변의 상태가 표시됩니다.
- 왼쪽의 아이콘과 숫자 (주황색 시계)는 아직 제출 중인 답변을 나타냅니다.
- 가운데 아이콘 (빨간색 삼각형)은 제출에 실패한 답변을 나타냅니다. 제출 실패는 서버 오류 또는 클라이언트의 인터넷 연결 문제로 인해 발생할 수 있습니다.
- 오른쪽의 아이콘은 제출된 답변을 나타냅니다.
개수는 브라우저에 유지되지 않습니다. 워크벤치를 닫았다가 다시 열거나 페이지를 새로고침하면 카운터가 0으로 재설정됩니다.
도구 더보기
기본 툴바 끝에 있는 버튼에서 열리는 메뉴에서 사용할 수 있는 몇 가지 추가 도구가 있습니다.
옵션은 다음과 같습니다.
- 건너뛰기: 과제에서 건너뛰기가 사용 설정된 경우 현재 질문을 건너뜁니다. 이는 일반적으로 UI에 표시된 질문이 손상된 경우에 사용되지만 개별 관리자가 질문을 건너뛸 시기에 관한 안내를 라벨 지정자에게 제공할 수도 있습니다. 건너뛰기는 답변으로 집계되며 건너뛴 이유를 나타내는 추가 메타데이터와 함께 저장됩니다.
- 답변 찾기: 답변 페이지로 이동합니다. 이 페이지에서 라벨 지정자가 질문 ID를 검색하여 질문에 대한 답변을 확인할 수 있습니다. 라벨 지정자는 자신의 답변만 볼 수 있지만 라벨 지정자 풀의 관리자는 모든 답변을 볼 수 있습니다.
질문 대기열
또한 라벨러가 답변을 제출한 질문의 대기열도 있습니다.
이 경우 첫 번째 답변은 제출되었지만 다음 답변은 제출되지 않았습니다. 다음 답변이 제출되었으며, 네 번째 풍선은 현재 로드된 질문과 남은 시간을 나타냅니다. 마지막 풍선에는 라벨러에게 임대할 수 있는 질문 수가 표시됩니다. 이렇게 하면 라벨러가 라벨을 지정할 질문이 거의 남지 않았음을 알 수 있고 관리자에게 알릴 수 있습니다.
라벨러는 해당하는 풍선을 클릭하여 이전 질문으로 돌아갈 수 있습니다. 질문이 만료되지 않은 경우 라벨러가 답변을 변경하여 다시 제출할 수 있습니다. 최신 답변만 저장되며 이전 답변은 덮어쓰기됩니다. 답변 제출이 최종인 경우 일부 태스크에서는 이 기능을 사용하지 않도록 안내할 수 있습니다.
추가 도구 툴바
워크벤치용 추가 도구가 포함된 툴바가 있습니다. 기본적으로 숨겨져 있지만 필요한 경우 펼칠 수 있습니다.
여기에서 사용할 수 있는 버튼은 세 가지입니다.
- 전체 화면: 플러그인이 전체 화면 모드로 열립니다. 이렇게 하면 워크벤치만 표시되고 브라우저 UI와 운영체제 툴바는 숨겨집니다. 라벨러는 Esc 키를 누르거나 동일한 버튼을 다시 클릭하여 이 모드를 종료할 수 있습니다.
- 새로고침: 현재 표시된 플러그인을 새로고침합니다. 페이지를 새로고침하면 소요 시간 및 제출된 답변과 같은 일부 상태가 삭제될 수 있고 라벨러가 페이지를 새로고침해도 동일한 질문이 다시 표시되지 않을 수 있으므로 대부분의 경우 브라우저에서 페이지를 새로고침하는 것보다 낫습니다.
- 질문 정보: 현재 표시된 질문에 관한 몇 가지 정보(예: 질문 ID, 플러그인 이름)가 표시됩니다. 이 정보는 작업 관리자의 안내에 따라 특정 질문과 관련된 문제를 신고할 때 유용할 수 있습니다.
분석 페이지
분석 페이지에서는 라벨러가 최근에 참여한 내용을 확인할 수 있습니다.
상단에는 참여율 그래프가 표시됩니다. 아래는 동일한 정보를 표 형식으로 표시한 것입니다. 라벨러는 사전 정의된 몇 가지 기간 중에서 선택하여 데이터를 볼 수 있습니다. 툴바에서 분석 버튼을 클릭하면 분석 페이지에 액세스할 수 있습니다.
플러그인 공간 만들기
플러그인이 사용할 수 있는 공간의 양을 조정할 수 있는 몇 가지 컨트롤이 있습니다.
상단 버튼 (대각선 화살표)을 클릭하면 Google 계정 전환 도구가 포함된 바로 위에 있는 One Google Bar의 표시 여부가 전환됩니다. 하단 버튼 (아래쪽 화살표)을 클릭하면 추가 도구 툴바의 표시 여부가 전환됩니다. 전체 화면 모드와 함께 사용하면 두 개의 툴바를 모두 숨기도록 전환하면 플러그인이 거의 전체 화면을 차지하게 됩니다.