관리자 UI
관리자 UI를 사용하면 관리자1가 작업2에서 라벨러의 작업을 관리할 수 있습니다. 관리자는 이 UI를 사용하여 라벨러를 추가 또는 삭제하고, 작업을 할당 또는 할당 해제하고, 작업 진행 상황과 각 라벨러의 실적에 관한 분석을 모니터링할 수 있습니다.
왼쪽에는 사용자가 관리자인 모든 Google Cloud 프로젝트 지원 라벨러 풀3이 표시됩니다. 라벨러 풀 이름 오른쪽에 있는 숫자는 해당 풀의 라벨러 수입니다. 오른쪽에는 UI의 기본 콘텐츠가 있으며, 이는 다음 네 개의 탭으로 구성됩니다.
작업
작업 표는 라벨러 풀의 Google Cloud 프로젝트에 있는 모든 작업의 보기입니다. 작업에 관한 몇 가지 기본 통계가 포함되어 있으며, 작업을 일시중지하고 라벨러를 작업에 할당하는 빠른 경로를 제공합니다.
필터
데이터 그리드 위에는 데이터 그리드에 표시되는 작업을 결정하는 필터 컨트롤이 있습니다.
- 이름으로 작업 검색: 입력한 이름이 포함된 결과로 필터링합니다. 자동 완성 기능이 포함됩니다.
- 진행 중: 이 옵션을 선택하면 일시중지, 완료 또는 할당 해제되지 않은 모든 작업이 결과에 포함됩니다. 이 기능은 기본적으로 사용 설정되어 있습니다.
- 일시중지됨: 선택하면 결과에 일시중지된 모든 작업이 포함됩니다.
- 완료됨: 선택하면 결과에 완료된 모든 작업이 포함됩니다. 즉, 아직 대기열에 추가된 질문이 없거나 대기열에 추가된 모든 질문에 답변했기 때문에 사용 가능한 질문이 없는 작업이 포함됩니다.
- 할당되지 않음: 이 옵션을 선택하면 라벨러가 할당되지 않은 모든 작업이 결과에 포함됩니다.
필터를 선택하지 않으면 오류가 발생하며 페이지에 관리자가 필터를 선택하라는 메시지가 표시됩니다. 체크박스가 선택 해제된 경우 체크박스의 조건과 일치하는 할 일은 체크된 체크박스의 조건과 일치하지 않는 한 제외됩니다. 예를 들어 작업이 일시중지되고 할당되지 않은 경우 일시중지 체크박스 또는 할당되지 않음 체크박스 (또는 둘 다)가 선택되면 표시됩니다. 일시중지 체크박스와 할당되지 않음 체크박스가 모두 선택되지 않으면 이 결과가 표시되지 않습니다.
데이터 그리드
- 첫 번째 열에는 각 행의 체크박스가 포함됩니다. 관리자가 이러한 체크박스를 하나 이상 선택한 다음 표 위의 할당 관리 버튼을 클릭하면 할당 페이지로 이동하며, 선택한 작업이 이미 작업 필터에 채워져 있습니다.
- 작업 열에 작업 이름이 표시됩니다. 이 값은 작업을 만든 사용자가 설정하며 내부 식별자 (예: 'cloud_data_67523fe89343')와는 달리 사람이 읽을 수 있는 이름 (예: '이력서 분류')입니다.
- 목표 열에는 목표 이름이 포함됩니다. 목표 이름은 작업의 종류 (이미지 분류, 텍스트 분류 등)를 설명합니다.
- '마지막으로 대기열에 추가됨' 열에는 가장 최근 질문이 대기열에 추가된 날짜가 포함됩니다 (아직 작업에 대기열에 추가된 질문이 없는 경우 비어 있음).
- 할당됨 열에는 현재 작업에 할당된 라벨러 수가 표시됩니다. 또한 관리자가 라벨러를 할당 해제할 수 있는 대화상자에 액세스할 수 있습니다. 관리자는 이 대화상자에서 할당할 수 없습니다. 할당하려면 할당 페이지를 사용해야 합니다.
- '사용 가능/대기열에 추가된 질문' 열에는 현재 라벨러가 작업할 수 있는 질문 수와 현재 작업에 대기열에 추가된 총 질문 수의 비율이 표시됩니다.
- 진행률 열에는 위 비율이 그래픽 및 백분율 기반으로 표시됩니다. 또한 위의 스크린샷에 표시된 표의 하단 행과 같이 작업이 일시중지되었는지 (질문이 제공되지 않음)도 표시됩니다.
- 작업 열에는 작업에 대해 수행할 수 있는 몇 가지 추가 작업이 포함된 메뉴가 있습니다.
- 일시중지: 태스크가 현재 일시중지되어 있지 않은 경우에만 사용할 수 있으며, 태스크를 일시중지합니다.
- 다시 시작: 작업이 현재 일시중지된 경우에만 사용할 수 있으며, 작업을 다시 시작합니다.
- 과제: 필터에서 과제가 처음 선택된 상태로 과제 페이지로 연결되는 바로가기를 제공합니다.
데이터 표 위에는 페이지당 더 많은 결과를 표시하고 결과 페이지 간에 이동할 수 있는 페이지 나누기 컨트롤이 있습니다.
라벨러
라벨러 표는 라벨러 풀에 있는 모든 라벨러를 보여주는 뷰입니다. 라벨러에 관한 몇 가지 기본 통계와 라벨러를 작업에 빠르게 할당하는 방법이 포함되어 있습니다.
필터
데이터 그리드 위에는 입력된 이메일이 있는 결과로 필터링하는 필터 상자가 있습니다. 이메일이 여러 개인 경우 쉼표로 구분할 수 있습니다.
라벨러 추가
추가 버튼을 클릭하면 관리자가 풀에 하나 이상의 라벨러를 추가할 수 있는 대화상자가 열립니다. 쉼표로 구분하여 여러 이메일 주소를 입력할 수 있습니다. 언어 코드 (예: 'en', 'de')를 쉼표로 구분하여 입력할 수도 있습니다. 동일한 사용자 (이메일)가 여러 라벨러 풀에 표시될 수 있으며 각 풀에서 서로 다른 할당을 가질 수 있습니다.
대화상자에 추가되었거나 추가되지 않은 라벨러의 요약이 표시됩니다. 체크표시는 라벨러가 성공적으로 추가되었음을 의미하고, 빨간색 X는 라벨러를 추가할 수 없음을 의미합니다 (예: 풀에 이미 존재하기 때문).
데이터 그리드
- 첫 번째 열에는 각 행의 체크박스가 포함됩니다. 관리자가 이러한 체크박스를 하나 이상 선택한 다음 표 위의 할당 관리 버튼을 클릭하면 할당 페이지로 이동하며, 선택한 라벨러가 이미 라벨러 필터에 입력되어 있습니다.
- Email(이메일) 열에는 라벨러의 이메일 주소가 표시됩니다.
- '할당된 작업' 열에는 라벨러가 할당된 작업 수가 표시됩니다. 또한 관리자가 하나 이상의 작업에서 라벨러를 할당 해제할 수 있는 대화상자에 대한 액세스 권한도 제공합니다. 관리자는 이 대화상자에서 할당할 수 없습니다. 관리자가 작업을 할당하려면 할당 페이지를 사용해야 합니다.
- '언어' 열에는 라벨러와 연결된 언어가 표시됩니다. 이러한 값은 질문이 대기열에 추가될 때의 질문 구성에 따라 라벨러에게 임대될 수 있는 질문에 영향을 줄 수 있습니다.
- 작업 열에는 작업에 대해 수행할 수 있는 몇 가지 추가 작업이 포함된 메뉴가 있습니다.
- 할당: 필터에서 라벨러가 처음 선택된 상태로 할당 페이지로 연결되는 바로가기를 제공합니다.
- 삭제: 현재 라벨러 풀에서 라벨러를 삭제합니다.
데이터 표 위에는 페이지당 더 많은 결과를 표시하고 결과 페이지 간에 이동할 수 있는 페이지 나누기 컨트롤이 있습니다.
할당
할당 페이지를 통해 관리자는 라벨러 풀의 라벨러에 대한 태스크 할당을 관리할 수 있습니다.
필터
할당 그리드의 콘텐츠는 두 가지 필터 기준에 따라 결정됩니다. Y축에 표시되는 항목을 결정하는 라벨 지정자 필터와 X축에 표시되는 항목을 결정하는 작업 필터입니다.
라벨러 필터
- 작업 선택기: 관리자는 이 필드를 사용하여 하나 이상의 작업을 선택할 수 있습니다. 그리드에 표시되는 라벨러 세트에는 이러한 태스크 중 하나에 할당된 모든 라벨러가 포함됩니다.
- 이메일 필터: 이 필드를 사용하여 관리자는 쉼표로 구분된 하나 이상의 이메일 주소를 지정할 수 있습니다. 그리드에 표시되는 라벨러 세트에는 이러한 이메일 주소가 있는 모든 라벨러가 포함됩니다.
이러한 필터 중 하나 또는 둘 다 사용할 수 있지만 하나 이상은 사용해야 합니다.
작업 필터
- 작업 선택기: 관리자는 이 필드를 사용하여 하나 이상의 작업을 선택할 수 있습니다. 그리드에 표시되는 태스크 집합에는 선택한 모든 태스크가 포함됩니다.
- 추가 필터:
- 일시중지된 모든 할 일: 이 옵션을 선택하면 표시되는 할 일에 일시중지된 할 일도 포함됩니다.
- 모든 완료된 작업: 이 옵션을 선택하면 완료된 작업 (작업할 수 있는 질문이 없음)도 표시되는 작업에 포함됩니다.
- 할당되지 않은 모든 작업: 이 옵션을 선택하면 표시되는 작업에 라벨러에게 할당되지 않은 작업도 포함됩니다.
- 모든 진행 중인 작업: 이 체크박스를 선택하면 표시되는 작업에 '진행 중' (일시중지, 완료 또는 할당되지 않음)인 작업도 포함됩니다.
이러한 필터는 원하는 대로 조합하여 사용할 수 있지만 하나 이상은 사용해야 합니다. 이러한 필터는 서로 독립적입니다. 라벨러 필터에서 선택한 옵션은 작업 필터에서 선택한 옵션에 영향을 미치지 않으며 그 반대의 경우도 마찬가지입니다.
과제 그리드
그리드에 선택한 필터 기준의 결과가 표시됩니다. 라벨러는 Y축을 구성하고 작업은 X축을 구성합니다. 각 셀에서 관리자는 체크박스를 선택하여 해당 라벨러를 해당 작업에 할당하거나 체크박스를 선택 해제하여 해당 라벨러를 해당 작업에서 할당 해제할 수 있습니다.
각 행 헤더 및 열 헤더 셀의 메뉴에서도 일부 단축키를 사용할 수 있습니다 (세로 점 3개로 된 버튼을 클릭하면 메뉴가 열림). 예를 들어 관리자가 라벨러 헤더 셀에서 메뉴를 열면 모든 작업에서 해당 라벨러를 한 번에 할당하거나 할당 해제할 수 있습니다. 관리자는 삭제 메뉴 옵션을 사용하여 행 또는 열을 숨기거나, 라벨러가 현재 할당된 작업 또는 작업에 현재 할당된 라벨러를 볼 수도 있습니다. 행과 열을 채울 때 관리자는 사용 가능한 단축키를 사용하여 할당 그리드에서 특정 라벨러 또는 작업을 삭제할 수 있습니다. 이는 삭제된 작업 또는 라벨러의 할당 상태에 영향을 미치지 않습니다. 삭제된 작업 또는 라벨러는 상단의 해당 필터를 사용하여 그리드에 다시 표시할 수 있습니다. 변경사항을 커밋한 후에는 과제 그리드에 있는 작업과 라벨러만 사용하여 과제를 수정합니다.
과제에 대한 변경사항이 적용되면 페이지 상단의 변경사항 커밋 버튼이 사용 설정됩니다. 변경사항 삭제 버튼도 사용할 수 있습니다. 이 버튼을 클릭하면 커밋되지 않은 할당 변경사항이 재설정됩니다.
변경사항 커밋 버튼을 클릭하면 관리자에게 과제에 적용될 모든 변경사항 목록이 표시됩니다. 관리자가 변경사항을 검토한 후 변경사항을 중단하거나 커밋할 수 있습니다. 변경사항을 중단하면 과제 페이지로 돌아가 과제를 계속 수정할 수 있습니다. 변경사항을 커밋하면 과제가 커밋되고 과제 페이지로 돌아갑니다.
관리자가 변경사항 목록 페이지에서 커밋을 클릭할 때까지 그리드에서 변경한 내용은 저장되지 않습니다.
라벨러 워크벤치
라벨러 워크벤치는 라벨러가 질문에 라벨을 지정하는 데 사용하는 인터페이스입니다. 작업자가 받는 질문은 관리자가 할당한 작업자 풀에 따라 달라집니다.
질문 받기
작업대가 로드되면 라벨러가 라벨을 지정할 질문을 자동으로 가져오려고 시도합니다. 다음과 같은 이유로 실패할 수 있습니다.
- 현재 라벨러 풀에 라벨러가 할당되지 않았습니다 (워크벤치는 한 번에 하나의 라벨러 풀을 사용함). 다른 라벨러 풀에서 라벨러가 사용할 수 있는 질문이 있을 수 있습니다.
- 라벨러가 하나 이상의 작업에 할당되었지만 현재 해당 라벨러가 사용할 수 있는 질문이 작업에 없습니다. 다음과 같은 이유로 인해 발생할 수 있습니다.
- 대기열에 추가된 질문이 없습니다.
- 모든 질문이 복제를 충족함
- 남은 복제 작업이 있는 모든 질문은 당시 해당 작업을 진행 중인 다른 라벨러에게 임대되었습니다.
- 사용 가능한 모든 질문에 라벨러가 보유하지 않은 언어가 연결되어 있습니다.
- 라벨러가 이미 사용 가능한 모든 질문에 답변했습니다. 복제가 완료될 때까지는 다른 라벨러가 이러한 질문을 계속 사용할 수 있습니다.
- 라벨러가 이 질문의 이전 인스턴스에 답변을 제출했기 때문에 사용 가능한 질문에 답변할 수 없습니다. 이러한 질문은 다른 라벨러에게 계속 제공될 수 있습니다.
작업대가 로드된 후 라벨러의 질문이 부족할 수 있습니다. 이 경우 라벨러가 질문을 다시 가져올 수 있는 버튼이 표시됩니다 (위와 동일한 잠재적 오류가 발생할 수 있음).
질문 작업
라벨러에게 질문이 임대되면 워크벤치에 표시됩니다. 구체적인 모양은 대기열에 추가된 질문과 작업이 사용하도록 구성된 UI에 따라 달라집니다.
질문 할당이 만료될 때까지 워크벤치에서 타이머가 시작됩니다. 타이머가 완료되면 질문이 만료되고 다른 평가자에게 할당되고 대기열이 계속 유지되도록 워크벤치에서 삭제됩니다.
라벨러가 질문에 대한 답변을 제출하면 워크벤치에 사용 가능한 다음 질문이 자동으로 로드됩니다. 그렇지 않으면 라벨러가 위에 표시된 질문 더 가져오기 버튼을 사용하여 질문을 더 요청해야 합니다.
제출 상태
라벨러는 워크벤치에서 답변 제출 상태(제출 성공, 실패, 진행 중 여부)를 확인할 수 있습니다.
알림 대화상자
이 대화상자에는 라벨러가 제출한 대답의 상태가 표시됩니다.
- 왼쪽의 아이콘과 숫자 (주황색 시계)는 아직 제출 중인 답변을 나타냅니다.
- 가운데 아이콘 (빨간색 삼각형)은 제출에 실패한 답변을 나타냅니다. 제출 실패는 서버 오류 또는 클라이언트의 인터넷 연결 문제로 인해 발생할 수 있습니다.
- 오른쪽의 아이콘은 제출된 답변을 나타냅니다.
개수는 브라우저에 유지되지 않습니다. 워크벤치를 닫았다가 다시 열거나 페이지를 새로고침하면 카운터가 0으로 재설정됩니다.
도구 더보기
기본 툴바 끝에 있는 버튼에서 열리는 메뉴에는 몇 가지 추가 도구가 있습니다.
옵션은 다음과 같습니다.
- 건너뛰기: 태스크에서 건너뛰기가 사용 설정된 경우 현재 질문을 건너뜁니다. 이는 일반적으로 UI에 표시된 질문이 잘못된 경우에 사용되지만 개별 관리자가 질문을 건너뛸 시기에 관해 라벨러에게 지침을 제공할 수 있습니다. 건너뛰기는 답변으로 간주되며 건너뛰었음을 나타내는 추가 메타데이터와 이유가 함께 저장됩니다.
- 답변 찾기: 질문 ID를 검색하여 라벨러가 질문에 대한 답변을 볼 수 있는 답변 페이지로 이동합니다. 라벨러는 자신의 답변만 볼 수 있지만 라벨러 풀의 관리자는 모든 답변을 볼 수 있습니다.
질문 대기열
라벨러가 답변을 제출한 질문의 대기열도 있습니다.
이 경우 첫 번째 답변은 제출되었지만 다음 답변은 제출되지 않았습니다. 다음 답변이 제출되었으며 네 번째 풍선은 현재 로드된 질문과 남은 시간을 나타냅니다. 마지막 풍선에는 라벨러에게 임대할 수 있는 질문 수가 표시됩니다. 이를 통해 라벨러는 라벨링할 질문이 거의 소진되었음을 알 수 있으며 관리자에게 알릴 수 있습니다.
라벨러는 해당 풍선을 클릭하여 이전 질문으로 돌아갈 수 있습니다. 질문이 만료되지 않은 경우 라벨러는 답변을 변경하고 다시 제출할 수 있습니다. 최신 답변만 저장되며 이전 답변은 덮어쓰여집니다. 답안 제출이 완료된 경우 이 기능을 사용하지 않도록 안내될 수 있습니다.
추가 도구 툴바
작업대에 사용할 수 있는 추가 도구가 포함된 툴바가 있습니다. 기본적으로 숨겨져 있지만 필요한 경우 확장할 수 있습니다.
여기에는 세 가지 버튼이 있습니다.
- 전체 화면: 플러그인이 전체 화면 모드로 열리도록 합니다. 그러면 워크벤치만 표시되고 브라우저 UI와 운영체제 툴바는 숨겨집니다. 라벨러는 Esc 키를 누르거나 동일한 버튼을 다시 클릭하여 이 모드를 종료할 수 있습니다.
- 새로고침: 현재 표시된 플러그인을 새로고침합니다. 페이지를 새로고침하면 사용한 시간, 제출된 답변과 같은 일부 상태가 지워질 수 있고 페이지를 새로고침할 때 라벨러에게 동일한 질문이 다시 표시된다고 보장할 수 없으므로 대부분의 경우 브라우저에서 페이지를 새로고침하는 것보다 낫습니다.
- 질문 정보: 현재 표시된 질문에 관한 정보(예: 질문 ID, 플러그인 이름)가 표시됩니다. 작업 관리자 안내에 따라 이 정보를 기록해 두면 특정 질문과 관련된 문제를 신고할 때 유용할 수 있습니다.
분석 페이지
애널리틱스 페이지에는 라벨러의 최근 기여가 표시됩니다.
상단에는 기여율 그래프가 있습니다. 아래에는 동일한 정보가 표 형식으로 표시됩니다. 라벨러는 사전 정의된 몇 가지 시간 범위 중에서 선택하여 데이터를 볼 수 있습니다. 분석 페이지는 툴바에서 분석 버튼을 클릭하여 액세스할 수 있습니다.
플러그인을 위한 공간 만들기
플러그인에서 사용할 수 있는 공간을 조정할 수 있는 몇 가지 컨트롤이 있습니다.
상단 버튼 (대각선 화살표)은 Google 계정 전환기가 포함된 바로 위의 막대인 One Google Bar의 표시 여부를 전환합니다. 하단 버튼 (아래쪽 화살표)은 추가 도구 툴바의 표시 여부를 전환합니다. 전체 화면 모드와 함께 사용하면 두 도구 모음을 모두 숨겨 플러그인에 거의 전체 화면이 제공됩니다.