AutoML 모델 평가

Vertex AI는 정밀도와 재현율 측정항목과 같은 모델의 성능을 결정하는 데 도움이 되는 모델 평가 측정항목을 제공합니다. Vertex AI는 테스트 세트를 사용하여 평가 측정항목을 계산합니다.

모델 평가 측정항목 사용 방법

모델 평가 측정항목은 테스트 세트에서 모델의 성능을 정량적으로 측정합니다. 이러한 측정항목을 해석하고 사용하는 방법은 비즈니스 니즈와 모델이 해결하도록 학습한 문제에 따라 달라집니다. 예를 들어 거짓음성보다 거짓양성의 톨러레이션(toleration)이 더 낮을 수도 있고 그 반대일 수도 있습니다. 이러한 유형의 질문은 집중해야 할 측정항목에 영향을 줍니다.

모델의 반복을 통해 성능을 개선하는 방법에 대한 자세한 내용은 모델의 반복을 참조하세요.

예시

다음 시나리오는 평가 측정항목을 사용하여 AutoML 모델의 성능을 확인하는 방법을 설명합니다.

이미지의 개인정보 보호

예를 들어 이미지에서 민감한 정보를 자동으로 감지하여 흐리게 처리하는 시스템을 만든다고 가정해 보겠습니다. 이 경우 거짓양성은 캘린더의 숫자처럼 흐리게 처리할 필요가 없지만 흐리게 처리되는 것입니다. 이는 불편하지만 문제가 되지는 않습니다.

흐리게 처리된 날짜 그래픽

이 경우 거짓음성은 신용카드 번호처럼 흐리게 처리되어야 하는 대상이 흐리게 처리되지 않는 것으로, 신원 도용으로 이어질 수 있습니다.

신용카드 번호 그래픽

이 경우 재현율에 초점을 맞출 수 있습니다. 재현율은 예측 전체에서 얼마나 누락되었는지를 측정합니다. 재현율이 높으면 거짓양성 수가 증가(정밀도 감소)하지만 거짓음성 수는 감소합니다. 즉, 모델에 관련성 있는 객체가 많이 포함되지만 관련성이 없는 객체도 많이 포함될 가능성이 높습니다.

스팸 필터링

스팸 이메일 메시지를 스팸이 아닌 이메일 메시지로부터 자동으로 필터링하는 시스템을 만들고 싶다고 가정해 보겠습니다. 이 경우 거짓음성은 필터링하지 못하고 받은 편지함에서 보게 되는 스팸 메일입니다. 이는 사용자에게 다소 불편할 수 있습니다.

스팸 이메일 그래픽

이 경우 거짓양성은 스팸으로 잘못 표시되어 받은 편지함에서 삭제되는 이메일입니다. 중요한 이메일의 경우에는 사용자에게 부정적인 영향을 미칠 수 있습니다.

정상 이메일 그래픽

이 경우에는 총 예측 수 중 올바른 예측 수를 나타내는 정밀도에 초점을 맞출 수 있습니다. 고정밀도 모델은 가장 관련성이 높은 예시만 라벨을 지정할 가능성이 높으므로, 해당 라벨이 학습 데이터에서 일반적인 경우에 유용합니다.

Vertex AI에서 반환하는 평가 측정항목

Vertex AI는 정밀도, 재현율, 신뢰도 임곗값과 같은 여러 가지 평가 측정항목을 반환합니다. Vertex AI가 반환하는 측정항목은 모델의 목표에 따라 다릅니다. 예를 들어 Vertex AI는 이미지 객체 감지 모델과 비교해서 이미지 분류 모델에 대한 다양한 평가 측정항목을 제공합니다.

Cloud Storage 위치에서 다운로드할 수 있는 스키마 파일은 Vertex AI가 각 목표에 제공하는 평가 측정항목을 결정합니다. 다음 탭에서는 스키마 파일의 링크를 제공하고 각 모델 목표에 대한 평가 측정항목을 설명합니다.

이미지

객체 감지

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

IoU 임곗값: 반환할 예측을 결정하는 Intersection over union 임곗값입니다. 모델이 이 값 이상인 예측을 반환합니다. 임곗값이 높을수록 예측된 경계 상자 값이 실제 경계 상자 값에 더 근접해야 합니다.
평균 정밀도의 평균: 평균 정밀도라고도 합니다. 이 값의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높습니다.
신뢰도 임곗값: 반환할 예측을 결정하는 신뢰도 점수입니다. 모델이 이 값 이상인 예측을 반환합니다. 신뢰도 임곗값이 높을수록 정밀도는 높아지지만 재현율이 낮아집니다. Vertex AI는 다양한 임곗값으로 신뢰도 측정항목을 반환하여 임곗값이 정밀도와 재현율에 미치는 영향을 보여줍니다.
재현율: 모델이 올바르게 예측한 이 클래스의 예측 비율입니다. 참양성률이라고도 합니다.
정밀도: 모델이 생성한 올바른 분류 예측의 비율입니다.
F1 점수: 정밀도와 재현율의 조화 평균입니다. F1은 정밀도와 재현율 사이의 균형을 찾고 있고 클래스 분포가 균등하지 않을 때 유용한 측정항목입니다.
경계 상자 평균 정밀도의 평균: 경계 상자 평가의 단일 측정항목: meanAveragePrecision은 모든 boundingBoxMetrics에 대한 평균입니다.

테이블 형식

예측

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

MAE: 평균 절대 오차(MAE)는 타겟 값과 예측 값의 절대차 평균입니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
RMSE: 평균 제곱근 오차는 타겟 값과 예측 값 간의 평균 제곱 차이에 대한 제곱근입니다. RMSE는 MAE보다 이상점에 더 민감합니다. 따라서 큰 오차가 염려된다면 RMSE이 더 유용한 평가 측정항목입니다. MAE에서처럼, 값이 작을수록 모델 품질이 높음을 의미합니다(0은 완벽한 예측자를 나타냅니다).
RMSLE: 평균 제곱근 대수 오차 측정항목은 RMSE와 유사합니다. 단, RMSLE는 예측 값과 실제 값+1의 자연 로그를 사용합니다. RMSLE는 과대 예측이 아닌 과소 예측에 더 높은 페널티를 적용합니다. 또한 작은 예측 값보다 큰 예측 값의 초과 값에 더 높은 페널티를 적용하지 않을 때 유용한 측정항목이 될 수 있습니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다. RMSLE 평가 측정항목은 모든 라벨 및 예측 값이 음수가 아닌 경우에만 반환됩니다.
r^2: r 제곱(r^2)은 라벨과 예측 값 사이의 피어슨 상관 계수 제곱입니다. 이 측정항목의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높다는 것을 나타냅니다.
MAPE: 평균 절대 백분율 오차(MAPE)는 라벨과 예측 값의 절대오차 백분율 평균입니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
타겟 열에 0 값이 포함된 경우 MAPE가 표시되지 않습니다. 이 경우 MAPE는 정의되지 않습니다.
WAPE: 가중치가 적용된 절대 백분율 오차(WAPE)는 모델에서 예측한 값과 관찰한 값 간에 관찰된 값의 전반적인 차이입니다. RMSE와 달리 WAPE는 개별 차이보다는 전체 차이에 가중치가 적용되며 낮은 값 또는 간헐적 값의 영향을 크게 받을 수 있습니다. 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
RMSPE: 평균 제곱근 오차(RMPSE)는 절댓값이 아닌 실제 값의 RMSE로 표시됩니다. 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
분위수: 관찰된 값이 예측 값보다 낮을 확률을 나타내는 분위수의 백분율입니다. 예를 들어 0.2 분위수에서 관측된 값은 전체 시간의 20%만큼 예측값보다 낮을 것으로 예상됩니다. 최적화 목표에 minimize-quantile-loss를 지정하면 Vertex AI가 이 측정항목을 제공합니다.
관찰된 분위수: 지정된 분위수의 예측 값보다 작은 실제 값의 비율을 표시합니다. 최적화 목표에 minimize-quantile-loss를 지정하면 Vertex AI가 이 측정항목을 제공합니다.
확장 핀볼 손실: 특정 분위수에서의 확장 핀볼 손실입니다. 값이 작을수록 특정 분위수에서 모델의 품질이 높다는 것을 나타냅니다. 최적화 목표에 minimize-quantile-loss를 지정하면 Vertex AI가 이 측정항목을 제공합니다.

회귀

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

MAE: 평균 절대 오차(MAE)는 타겟 값과 예측 값의 절대차 평균입니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
RMSE: 평균 제곱근 오차는 타겟 값과 예측 값 간의 평균 제곱 차이에 대한 제곱근입니다. RMSE는 MAE보다 이상점에 더 민감합니다. 따라서 큰 오차가 염려된다면 RMSE이 더 유용한 평가 측정항목입니다. MAE에서처럼, 값이 작을수록 모델 품질이 높음을 의미합니다(0은 완벽한 예측자를 나타냅니다).
RMSLE: 평균 제곱근 대수 오차 측정항목은 RMSE와 유사합니다. 단, RMSLE는 예측 값과 실제 값+1의 자연 로그를 사용합니다. RMSLE는 과대 예측이 아닌 과소 예측에 더 높은 페널티를 적용합니다. 또한 작은 예측 값보다 큰 예측 값의 초과 값에 더 높은 페널티를 적용하지 않을 때 유용한 측정항목이 될 수 있습니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다. RMSLE 평가 측정항목은 모든 라벨 및 예측 값이 음수가 아닌 경우에만 반환됩니다.
r^2: r 제곱(r^2)은 라벨과 예측 값 사이의 피어슨 상관 계수 제곱입니다. 이 측정항목의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높다는 것을 나타냅니다.
MAPE: 평균 절대 백분율 오차(MAPE)는 라벨과 예측 값의 절대오차 백분율 평균입니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
타겟 열에 0 값이 포함된 경우 MAPE가 표시되지 않습니다. 이 경우 MAPE는 정의되지 않습니다.
모델 특성 기여 분석: Vertex AI는 각 특성이 모델에 미치는 영향을 보여줍니다. 이 값은 각 특성의 백분율로 제공됩니다. 비율이 높을수록 특성이 모델 학습에 더 큰 영향을 미칩니다. 이 정보를 검토하여 가장 중요한 모든 특성이 데이터 및 비즈니스 문제에 적합한지 확인해야 합니다.

텍스트

항목 추출

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

신뢰도 임곗값: 반환할 예측을 결정하는 신뢰도 점수입니다. 모델이 이 값 이상인 예측을 반환합니다. 신뢰도 임곗값이 높을수록 정밀도는 높아지지만 재현율이 낮아집니다. Vertex AI는 다양한 임곗값으로 신뢰도 측정항목을 반환하여 임곗값이 정밀도와 재현율에 미치는 영향을 보여줍니다.
재현율: 모델이 올바르게 예측한 이 클래스의 예측 비율입니다. 참양성률이라고도 합니다.
정밀도: 모델이 생성한 올바른 분류 예측의 비율입니다.
F1 점수: 정밀도와 재현율의 조화 평균입니다. F1은 정밀도와 재현율 사이의 균형을 찾고 있고 클래스 분포가 균등하지 않을 때 유용한 측정항목입니다.
혼동 행렬: 혼동 행렬은 모델이 결과를 올바르게 예측한 빈도를 보여줍니다. 잘못 예측된 결과의 경우 행렬에는 모델이 대신 예측한 항목이 표시됩니다. 혼동 행렬을 통해 모델의 두 결과가 '혼동'되는 위치를 파악할 수 있습니다.

감정 분석

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

재현율: 모델이 올바르게 예측한 이 클래스의 예측 비율입니다. 참양성률이라고도 합니다.
정밀도: 모델이 생성한 올바른 분류 예측의 비율입니다.
F1 점수: 정밀도와 재현율의 조화 평균입니다. F1은 정밀도와 재현율 사이의 균형을 찾고 있고 클래스 분포가 균등하지 않을 때 유용한 측정항목입니다.
MAE: 평균 절대 오차(MAE)는 타겟 값과 예측 값의 절대차 평균입니다. 이 측정항목의 범위는 0부터 무한대이며 값이 작을수록 모델의 품질이 높다는 것을 나타냅니다.
MSE: 평균 제곱 오차(MSE)는 모델 또는 에스티메이터에서 예측한 값과 관찰한 값 간의 차이를 측정합니다. 값이 작을수록 모델이 정확하다는 의미입니다.
선형 가중치 카파 및 2차 가중치 카파는 모델에서 지정된 감정 값이 수동 평가자가 지정한 감정 값과 얼마나 일치하는지를 결정합니다. 값이 클수록 모델이 정확한 것입니다.
혼동 행렬: 혼동 행렬은 모델이 결과를 올바르게 예측한 빈도를 보여줍니다. 잘못 예측된 결과의 경우 행렬에는 모델이 대신 예측한 항목이 표시됩니다. 혼동 행렬을 통해 모델의 두 결과가 '혼동'되는 위치를 파악할 수 있습니다.

동영상

동작 인식

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

AuPRC: 평균 정밀도라고도 하는 정밀도-재현율(PR) 곡선 아래의 면적입니다. 이 값의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높습니다.
정밀도 범위: 예측의 타임스탬프는 이 기간 내에 포함되어야 하며, 참양성으로 간주됩니다. 정밀도 범위의 중심은 이 특정 범위를 사용하는 길이를 사용하는 정답 작업의 타임스탬프입니다. 값은 동영상 시작 부분부터 측정한 시간(초)으로 표시되며 끝에 's'가 추가됩니다. 비율은 마이크로초 단위의 정밀도까지 허용됩니다.
평균 정밀도의 평균: 평균 정밀도라고도 합니다. 이 값의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높습니다.
신뢰도 임곗값: 반환할 예측을 결정하는 신뢰도 점수입니다. 모델이 이 값 이상인 예측을 반환합니다. 신뢰도 임곗값이 높을수록 정밀도는 높아지지만 재현율이 낮아집니다. Vertex AI는 다양한 임곗값으로 신뢰도 측정항목을 반환하여 임곗값이 정밀도와 재현율에 미치는 영향을 보여줍니다.
재현율: 모델이 올바르게 예측한 이 클래스의 예측 비율입니다. 참양성률이라고도 합니다.
정밀도: 모델이 생성한 올바른 분류 예측의 비율입니다.
F1 점수: 정밀도와 재현율의 조화 평균입니다. F1은 정밀도와 재현율 사이의 균형을 찾고 있고 클래스 분포가 균등하지 않을 때 유용한 측정항목입니다.

객체 추적

다음 Cloud Storage 위치에서 스키마 파일을 보고 다운로드할 수 있습니다.
gs://google-cloud-aiplatform/schema/modelevaluation/

AuPRC: 평균 정밀도라고도 하는 정밀도-재현율(PR) 곡선 아래의 면적입니다. 이 값의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높습니다.
IoU 임곗값: 반환할 예측을 결정하는 Intersection over union 임곗값입니다. 모델이 이 값 이상인 예측을 반환합니다. 임곗값이 높을수록 예측된 경계 상자 값이 실제 경계 상자 값에 더 근접해야 합니다.
평균 정밀도의 평균: 평균 정밀도라고도 합니다. 이 값의 범위는 0부터 1까지이며 값이 클수록 모델의 품질이 높습니다.
신뢰도 임곗값: 반환할 예측을 결정하는 신뢰도 점수입니다. 모델이 이 값 이상인 예측을 반환합니다. 신뢰도 임곗값이 높을수록 정밀도는 높아지지만 재현율이 낮아집니다. Vertex AI는 다양한 임곗값으로 신뢰도 측정항목을 반환하여 임곗값이 정밀도와 재현율에 미치는 영향을 보여줍니다.
재현율: 모델이 올바르게 예측한 이 클래스의 예측 비율입니다. 참양성률이라고도 합니다.
정밀도: 모델이 생성한 올바른 분류 예측의 비율입니다.
F1 점수: 정밀도와 재현율의 조화 평균입니다. F1은 정밀도와 재현율 사이의 균형을 찾고 있고 클래스 분포가 균등하지 않을 때 유용한 측정항목입니다.
경계 상자 평균 정밀도의 평균: 경계 상자 평가의 단일 측정항목: meanAveragePrecision은 모든 boundingBoxMetrics에 대한 평균입니다.

평가 측정항목 가져오기

모델의 평가 측정항목 집계 집합과 일부 목표의 경우 특정 클래스 또는 라벨의 평가 측정항목을 가져올 수 있습니다. 특정 클래스 또는 라벨의 평가 측정항목을 평가 슬라이스라고도 합니다. 다음 콘텐츠는 Google Cloud 콘솔 또는 API를 사용하여 집계 평가 측정항목과 평가 슬라이스를 가져오는 방법을 설명합니다.

콘솔

Google Cloud 콘솔의 Vertex AI 섹션에서 모델 페이지로 이동합니다.

모델 페이지로 이동
리전 드롭다운에서 모델이 있는 리전을 선택합니다.
모델 목록에서 모델을 클릭하여 모델의 평가 탭을 엽니다.

평가 탭에서 평균 정밀도 및 재현율과 같은 모델의 집계 평가 측정항목을 볼 수 있습니다.

모델 목표에 평가 슬라이스가 있으면 콘솔에 라벨 목록이 표시됩니다. 다음 예시와 같이 라벨을 클릭하여 해당 라벨의 평가 측정항목을 볼 수 있습니다.

API

평가 측정항목을 가져오기 위한 API 요청은 각 데이터 유형 및 목표마다 동일하지만 출력은 서로 다릅니다. 다음 샘플은 동일한 요청을 표시하지만 응답은 다릅니다.

집계 모델 평가 측정항목 가져오기

집계 모델 평가 측정항목은 모델 전체에 대한 정보를 제공합니다. 특정 슬라이스에 대한 정보를 보려면 모델 평가 슬라이스를 나열합니다.

집계 모델 평가 측정항목을 보려면 projects.locations.models.evaluations.get 메서드를 사용합니다.

이미지

아래에서 목표에 대한 탭을 선택합니다.

분류

Vertex AI는 신뢰도 측정항목의 배열을 반환합니다. 각 요소는 다른 confidenceThreshold 값(0부터 시작하여 1까지)의 평가 측정항목을 보여줍니다. 이렇게 다른 임곗값을 보면 해당 임곗값이 정밀도와 재현율과 같은 다른 측정항목에 미치는 영향을 확인할 수 있습니다.

언어 또는 환경에 대한 탭을 선택합니다.

REST 및 명령줄

요청 데이터를 사용하기 전에 다음을 바꿉니다.

LOCATION: 모델이 저장된 리전
PROJECT: 프로젝트 ID
MODEL_ID: 모델 리소스의 ID
PROJECT_NUMBER: 프로젝트의 프로젝트 번호
EVALUATION_ID: 모델 평가의 ID(응답에 표시됨)

HTTP 메서드 및 URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl

다음 명령어를 실행합니다.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

다음 명령어를 실행합니다.

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
  -Method GET `
  -Headers $headers `
  -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

응답

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/classification_metrics_1.0.0.yaml",
      "metrics": {
        "auPrc": 0.9946683,
        "logLoss": 0.043421753,
        "confidenceMetrics": [
          {
            "recall": 1,
            "precision": 0.2
          },
          {
            "confidenceThreshold": 0.05,
            "recall": 0.98637605,
            "precision": 0.8960396
          },
          {
            "confidenceThreshold": 0.1,
            "recall": 0.98637605,
            "precision": 0.92346936
          },
          {
            "confidenceThreshold": 0.15,
            "recall": 0.9782016,
            "precision": 0.93979055
          },
          ...
        ],
        "confusionMatrix": {
          "annotationSpecs": [
            {
              "id": "216348703974227968",
              "displayName": "tulips"
            },
            {
              "id": "1369270208581074944",
              "displayName": "dandelion"
            },
            {
              "id": "2522191713187921920",
              "displayName": "sunflowers"
            },
            {
              "id": "4828034722401615872",
              "displayName": "daisy"
            },
            {
              "id": "7133877731615309824",
              "displayName": "roses"
            }
          ],
          "rows": [
            [
              78,
              0,
              0,
              0,
              2
            ],
            [
              0,
              89,
              0,
              1,
              0
            ],
            [
              1,
              0,
              67,
              1,
              1
            ],
            [
              0,
              1,
              0,
              61,
              1
            ],
            [
              6,
              0,
              0,
              0,
              58
            ]
          ]
        }
      },
      "createTime": "2020-10-08T23:35:54.559702Z",
      "sliceDimensions": [
        "annotationSpec"
      ]
    }
  ]
}

Java

Vertex AI용 클라이언트 라이브러리를 설치하고 사용하는 방법은 Vertex AI 클라이언트 라이브러리를 참조하세요. 자세한 내용은 Vertex AI Java API 참조 문서를 참조하세요.

AutoML 모델 평가

모델 평가 측정항목 사용 방법

예시

이미지의 개인정보 보호

스팸 필터링

Vertex AI에서 반환하는 평가 측정항목

이미지

분류

객체 감지

테이블 형식

분류

예측

회귀

텍스트

분류

항목 추출

감정 분석

동영상

동작 인식

분류

객체 추적

평가 측정항목 가져오기

콘솔

API

집계 모델 평가 측정항목 가져오기

이미지

분류

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js

Python

객체 감지

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js

Python

테이블 형식

분류

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js

Python

예측

REST 및 명령줄

curl

PowerShell

응답

회귀

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js

Python

텍스트

분류

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js

Python

항목 추출

REST 및 명령줄

curl

PowerShell

응답

Java

Node.js