이 페이지에서는 projects.locations.datasets.annotationStores.evaluate 메서드를 사용하여 머신러닝 알고리즘에 의해 생성된 주석 레코드의 품질을 평가하는 방법을 설명합니다.
개요
evaluate 메서드는 동일 주석 저장소(eval_store)의 주석 레코드를 동일한 리소스를 설명하는 수동 주석 처리된 실측 주석 저장소(golden_store)와 비교합니다.
주석 리소스는 각 저장소의 AnnotationSource에 정의됩니다.
eval_store 또는 golden_store의 주석 레코드는 projects.locations.datasets.annotationStores.annotations.create 또는 다음에 의해 개별적으로 생성될 수 있습니다.
AnnotationConfig객체와 함께datasets.deidentify호출- 통화
projects.locations.datasets.annotationStores.import
평가 요구사항
평가를 수행하려면 다음 조건을 충족해야 합니다.
eval_store에서AnnotationSource에 정의된 주석이 달린 각 리소스에는 각 주석 유형에 대한 주석 레코드가 하나만 있을 수 있습니다.SensitiveTextAnnotation는 주석이 달린 리소스에서 가져온quote를 저장해야 합니다.datasets.deidentify를 사용하여 주석 레코드를 생성한 경우AnnotationConfig의store_quote를true로 설정합니다.
평가 출력
evaluate 메서드는 BigQuery에 평가 측정항목을 보고합니다. 이 메서드는 지정된 BigQuery 테이블에서 다음 스키마를 사용하여 행을 출력합니다.
| 필드 이름 | 유형 | 모드 | 설명 |
|---|---|---|---|
opTimestamp |
TIMESTAMP |
NULLABLE |
메서드가 호출된 타임스탬프 |
opName |
STRING |
NULLABLE |
장기 실행 작업(LRO) 평가의 이름 |
evalStore |
STRING |
NULLABLE |
eval_store 이름 |
goldenStore |
STRING |
NULLABLE |
golden_store 이름 |
goldenCount |
INTEGER |
NULLABLE |
golden_store의 주석 레코드 수 |
matchedCount
|
INTEGER
|
NULLABLE
|
golden_store의 주석 레코드와 일치하는 eval_store의 주석 레코드 수 |
averageResults |
RECORD |
NULLABLE |
모든 infoType의 평균 결과 |
averageResults.sensitiveTextMetrics |
RECORD
|
NULLABLE
|
SensitiveTextAnnotation에 대한 평균 결과 |
averageResults.sensitiveTextMetrics.truePositives |
INTEGER
|
NULLABLE
|
올바른 예측 수 |
averageResults.sensitiveTextMetrics.falsePositives |
INTEGER
|
NULLABLE
|
잘못된 예측 수 |
averageResults.sensitiveTextMetrics.falseNegatives |
INTEGER
|
NULLABLE
|
누락된 예측 수 |
averageResults.sensitiveTextMetrics.precision |
FLOAT
|
NULLABLE
|
truePositives / (truePositives + falsePositives),범위는 [0..1]부터이며 여기서 1.0는 모든 올바른 예측을 나타냅니다. |
averageResults.sensitiveTextMetrics.recall |
FLOAT
|
NULLABLE
|
truePositives / (truePositives + falseNegatives),의 범위는 [0..1]부터이며 여기서 1.0는 누락된 예측이 없음을 나타냅니다. |
averageResults.sensitiveTextMetrics.fScore |
FLOAT
|
NULLABLE
|
2 * precision * recall / (precision + recall),정밀도와 재현율의 조화 평균은 [0..1]부터이며 여기서 1.0는 완벽한 예측을 나타냅니다. |
infoResults |
RECORD |
REPEATED |
averageResults와 비슷하지만 infoType별로 세분화 |
infoResults.sensitiveTextMetrics |
RECORD
|
NULLABLE
|
SensitiveTextAnnotation에 대한 infoType 결과
|
infoResults.sensitiveTextMetrics.infoType |
STRING
|
NULLABLE
|
infoType 카테고리 |
infoResults.sensitiveTextMetrics.truePositives |
INTEGER
|
NULLABLE
|
올바른 예측 수 |
infoResults.sensitiveTextMetrics.falsePositives |
INTEGER
|
NULLABLE
|
잘못된 예측 수 |
infoResults.sensitiveTextMetrics.falseNegatives |
INTEGER
|
NULLABLE
|
누락된 예측 수 |
infoResults.sensitiveTextMetrics.precision |
FLOAT
|
NULLABLE
|
truePositives / (truePositives + falsePositives),범위는 [0..1]부터이며 여기서 1.0는 모든 올바른 예측을 나타냅니다. |
infoResults.sensitiveTextMetrics.recall |
FLOAT
|
NULLABLE
|
truePositives / (truePositives + falseNegatives),의 범위는 [0..1]부터이며 여기서 1.0는 누락된 예측이 없음을 나타냅니다. |
infoResults.sensitiveTextMetrics.fScore |
FLOAT
|
NULLABLE
|
2 * precision * recall / (precision + recall),정밀도와 재현율의 조화 평균은 [0..1]부터이며 여기서 1.0는 완벽한 예측을 나타냅니다. |
메서드의 자세한 정의는 EvaluateAnnotationStore를 참조하세요.