이 튜토리얼에서는 Cloud Run for Anthos, Cloud Vision API, ImageMagick을 사용하여 Cloud Storage 버킷에 업로드되는 이미지 중 불쾌감을 주는 이미지를 감지하고 이를 흐리게 처리하는 방법을 설명합니다. 이 튜토리얼은 Cloud Run for Anthos에서 Pub/Sub 사용 튜토리얼을 기반으로 합니다.
이 튜토리얼에서는 기존 샘플 앱을 수정하는 방법을 살펴봅니다. 원할 경우 완료된 샘플을 다운로드할 수도 있습니다.
목표
- Cloud Run for Anthos에 비동기 데이터 처리 서비스를 작성, 빌드, 배포합니다.
- Cloud Storage에 파일을 업로드하고 Pub/Sub 메시지를 만들어 서비스를 호출합니다.
- Cloud Vision API를 사용하여 폭력적인 콘텐츠 또는 성인 콘텐츠를 감지합니다.
- ImageMagick을 사용하여 불쾌감을 주는 이미지를 흐리게 처리합니다.
- 살점을 뜯어먹는 좀비 이미지를 업로드하여 해당 서비스를 테스트합니다.
비용
이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.
프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요.
시작하기 전에
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the Cloud Run for Anthos and Cloud Vision APIs.
- gcloud CLI를 설치 및 초기화합니다.
kubectl
구성요소를 설치합니다.gcloud components install kubectl
- 구성요소를 업데이트합니다.
gcloud components update
- Cloud Run for Anthos를 사용하여 Cloud Run for Anthos 설정의 안내에 따라 새 클러스터를 만듭니다.
- Cloud Run for Anthos에서 Pub/Sub 사용 튜토리얼을 따라 메시지를 처리할 Pub/Sub 주제, 안전한 푸시 구독, 초기 Cloud Run for Anthos 서비스를 설정합니다.
gcloud 기본값 설정
Cloud Run for Anthos 서비스의 기본값으로 gcloud를 구성하려면 다음 안내를 따르세요.
기본 프로젝트를 설정합니다.
gcloud config set project PROJECT_ID
PROJECT_ID를 이 튜토리얼에서 사용하는 프로젝트의 이름으로 바꿉니다.
클러스터에 gcloud를 구성합니다.
gcloud config set run/platform gke gcloud config set run/cluster CLUSTER-NAME gcloud config set run/cluster_location REGION
다음과 같이 바꿉니다.
- CLUSTER-NAME을 클러스터에 사용한 이름으로 바꿉니다.
- REGION을 지원되는 클러스터 위치 중 원하는 위치로 바꿉니다.
작업 순서 이해하기
이 튜토리얼의 데이터 흐름은 다음 단계를 따릅니다.
- 사용자가 Cloud Storage 버킷에 이미지를 업로드합니다.
- Cloud Storage에서 Pub/Sub에 새 파일에 대한 메시지를 게시합니다.
- Pub/Sub가 메시지를 Cloud Run for Anthos 서비스에 푸시합니다.
- Cloud Run for Anthos 서비스에서 Pub/Sub 메시지에 참조된 이미지 파일을 검색합니다.
- Cloud Run for Anthos 서비스는 Cloud Vision API를 사용하여 이미지를 분석합니다.
- 폭력적인 콘텐츠 또는 성인용 콘텐츠가 감지될 경우 Cloud Run for Anthos 서비스는 ImageMagick을 사용하여 해당 이미지를 흐리게 처리합니다.
- Cloud Run for Anthos 서비스는 흐리게 처리된 이미지를 다른 Cloud Storage 버킷에 업로드하여 사용합니다.
흐린 이미지는 다음 번 독자의 실습에 사용하도록 남겨둘 수 있습니다.
Cloud Storage 버킷 설정
이미지를 업로드할 Cloud Storage 버킷을 만듭니다. INPUT_BUCKET_NAME은 전역적으로 고유한 버킷 이름입니다.
gsutil mb gs://INPUT_BUCKET_NAME
Cloud Run for Anthos 서비스는 이 버킷에서만 읽습니다.
흐리게 처리된 이미지를 수신할 또 다른 Cloud Storage 버킷을 만듭니다. BLURRED_BUCKET_NAME은 전역적으로 고유한 버킷 이름입니다.
gsutil mb gs://BLURRED_BUCKET_NAME
Cloud Run for Anthos 서비스는 흐리게 처리된 이미지를 이 버킷에 업로드합니다. 별도의 버킷을 사용하면 처리된 이미지가 서비스를 다시 트리거하지 않습니다.
다음 단계에서는 INPUT_BUCKET_NAME으로의 파일 업로드 알림을 처리하는 서비스를 만들고 배포합니다. 새 서비스의 조기 호출을 방지하기 위해 서비스를 배포하고 테스트한 후 알림 전송을 사용 설정합니다.
Pub/Sub 튜토리얼 샘플 코드 수정
이 튜토리얼은 Pub/Sub 사용 튜토리얼에 나온 코드 조합을 기반으로 합니다. 해당 튜토리얼을 아직 완료하지 않았다면 먼저 완료하되 삭제 단계를 건너뛰고 이 섹션으로 돌아와 이미지 처리 동작을 추가합니다.
이미지 처리 코드 추가
이미지 처리 코드는 가독성과 테스트 용이성을 위해 요청 처리와 구분되어야 합니다. 이미지 처리 코드를 추가하려면 다음 안내를 따르세요.
Pub/Sub 튜토리얼 샘플 코드의 디렉터리로 변경합니다.
Google Cloud 서비스, ImageMagick, 파일 시스템과 통합하기 위해 라이브러리를 비롯한 이미지 처리 종속 항목을 가져올 코드를 추가합니다.
Node.js
편집기에서 새image.js
파일을 열고 다음을 복사합니다.Python
편집기에서 새image.py
파일을 열고 다음을 복사합니다.Go
편집기에서 새imagemagick/imagemagick.go
파일을 열고 다음을 복사합니다.자바
편집기에서 새src/main/java/com/example/cloudrun/ImageMagick.java
파일을 열고 다음을 복사합니다.Pub/Sub 메시지를 이벤트 객체로 수신하고 이미지 처리를 제어하는 코드를 추가합니다.
이벤트에는 업로드된 원본 이미지에 대한 데이터가 포함됩니다. 이 코드는 Cloud Vision 분석 결과에서 폭력적인 콘텐츠 또는 성인용 콘텐츠를 감지하여 이를 흐리게 처리할지 여부를 결정합니다.
Node.js
Python
Go
자바
위에서 만든 Cloud Storage 입력 버킷에서 참조된 이미지를 가져와 ImageMagick을 사용하여 이미지를 흐리게 처리한 다음 결과를 출력 버킷에 업로드합니다.
Node.js
Python
Go
자바
Pub/Sub 샘플 코드에 이미지 처리 통합
기존 서비스를 수정하여 이미지 처리 코드를 통합하려면 다음 안내를 따르세요.
Cloud Vision 및 Cloud Storage 클라이언트 라이브러리를 비롯하여 서비스의 새 종속 항목을 추가합니다.
Node.js
npm install --save gm @google-cloud/storage @google-cloud/vision
Python
requirements.txt
가 다음과 같이 표시되도록 필요한 클라이언트 라이브러리를 추가합니다.Go
Go 샘플 애플리케이션은 go 모듈을 사용하며, 위의imagemagick/imagemagick.go
가져오기 문에 추가된 새 종속 항목은 해당 항목이 필요한 다음 명령어를 통해 자동으로 다운로드됩니다.자바
pom.xml
의<dependencyManagement>
에 다음 종속 항목을 추가합니다.pom.xml
의<dependencies>
에 다음 종속 항목을 추가합니다.FROM
문 아래의Dockerfile
을 수정하여 ImageMagick 시스템 패키지를 컨테이너에 추가합니다. '다단계' Dockerfile을 사용하는 경우 이를 최종 단계에 배치합니다.Debian/Ubuntu Alpine 시스템 패키지 사용 튜토리얼에서 Cloud Run for Anthos 서비스의 시스템 패키지 작업에 대해 자세히 알아보세요.
기존의 Pub/Sub 메시지 처리 코드를 새 이미지 흐리게 처리 로직의 함수 호출로 바꿉니다.
Node.js
app.js
파일이 Express.js 앱을 정의하고 사용할 Pub/Sub 메시지를 준비합니다. 다음과 같이 변경하세요.- 코드를 추가하여 새
image.js
파일 가져오기 - 경로에서 기존 'Hello World' 코드 삭제
- Pub/Sub 메시지의 유효성을 검사하는 코드 추가
새 이미지 처리 함수를 호출하는 코드 추가
완료되면 코드는 다음과 같이 표시됩니다.
Python
main.py
파일이 Flask 앱을 정의하고 수신 Pub/Sub 메시지를 사용할 준비를 합니다. 다음과 같이 변경하세요.- 코드를 추가하여 새
image.py
파일 가져오기 - 경로에서 기존 'Hello World' 코드 삭제
- Pub/Sub 메시지의 유효성을 검사하는 코드 추가
새 이미지 처리 함수를 호출하는 코드 추가
완료되면 코드는 다음과 같이 표시됩니다.
Go
main.go
파일이 HTTP 서비스를 정의하고 수신 Pub/Sub 메시지를 사용할 준비를 합니다. 다음과 같이 변경하세요.- 코드를 추가하여 새
imagemagick.go
파일 가져오기 - 핸들러에서 기존 'Hello World' 코드 삭제
- Pub/Sub 메시지의 유효성을 검사하는 코드 추가
- 새 이미지 처리 함수를 호출하는 코드 추가
자바
PubSubController.java
파일이 HTTP 요청을 처리하는 컨트롤러를 정의하고 수신 Pub/Sub 메시지를 사용할 준비를 합니다. 다음과 같이 변경하세요.- 새 가져오기 추가
- 컨트롤러에서 기존 'Hello World' 코드 삭제
- Pub/Sub 메시지의 유효성을 검사하는 코드 추가
- 새 이미지 처리 함수를 호출하는 코드 추가
- 코드를 추가하여 새
전체 샘플 다운로드
사용할 전체 이미지 처리 코드 샘플을 검색하려면 다음 안내를 따르세요.
샘플 앱 저장소를 로컬 머신에 클론합니다.
Node.js
git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git
또는 zip 파일로 샘플을 다운로드하고 압축을 풀 수 있습니다.
Python
git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
또는 zip 파일로 샘플을 다운로드하고 압축을 풀 수 있습니다.
Go
git clone https://github.com/GoogleCloudPlatform/golang-samples.git
또는 zip 파일로 샘플을 다운로드하고 압축을 풀 수 있습니다.
자바
git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
또는 zip 파일로 샘플을 다운로드하고 압축을 풀 수 있습니다.
Cloud Run for Anthos 샘플 코드가 있는 디렉터리로 변경합니다.
Node.js
cd nodejs-docs-samples/run/image-processing/
Python
cd python-docs-samples/run/image-processing/
Go
cd golang-samples/run/image-processing/
자바
cd java-docs-samples/run/image-processing/
코드 제공
코드 제공은 Cloud Build로 컨테이너 이미지를 빌드하고, Container Registry에 컨테이너 이미지를 업로드하고, 컨테이너 이미지를 Cloud Run for Anthos에 배포하는 세 단계로 구성됩니다.
코드를 제공하려면 다음 안내를 따르세요.
컨테이너를 빌드하고 Container Registry에 게시합니다.
Node.js
gcloud builds submit --tag gcr.io/PROJECT_ID/pubsub
여기서 PROJECT_ID는 GCP 프로젝트 ID이고
pubsub
는 서비스에 지정할 이름입니다.성공하면 ID, 생성 시간, 이미지 이름이 포함된 성공 메시지가 표시됩니다. 이미지는 Container Registry에 저장되며 원하는 경우 다시 사용할 수 있습니다.
Python
gcloud builds submit --tag gcr.io/PROJECT_ID/pubsub
여기서 PROJECT_ID는 GCP 프로젝트 ID이고
pubsub
는 서비스에 지정할 이름입니다.성공하면 ID, 생성 시간, 이미지 이름이 포함된 성공 메시지가 표시됩니다. 이미지는 Container Registry에 저장되며 원하는 경우 다시 사용할 수 있습니다.
Go
gcloud builds submit --tag gcr.io/PROJECT_ID/pubsub
여기서 PROJECT_ID는 GCP 프로젝트 ID이고
pubsub
는 서비스에 지정할 이름입니다.성공하면 ID, 생성 시간, 이미지 이름이 포함된 성공 메시지가 표시됩니다. 이미지는 Container Registry에 저장되며 원하는 경우 다시 사용할 수 있습니다.
자바
이 샘플은 Jib를 사용해서 일반적인 자바 도구로 Docker 이미지를 빌드합니다. Jib는 Dockerfile을 사용하거나 Docker를 설치할 필요 없이 컨테이너 빌드를 최적화합니다. Jib로 자바 컨테이너 빌드에 대해 자세히 알아보세요.Dockerfile을 사용하여 시스템 패키지가 설치된 기본 이미지를 구성하고 빌드하여 Jib의 기본 이미지를 재정의합니다.
gcloud builds submit --tag gcr.io/PROJECT_ID/imagemagick
여기서 PROJECT_ID는 GCP 프로젝트 ID입니다.
Jib로 최종 컨테이너를 빌드하고 Container Registry에 게시합니다.
mvn compile jib:build \ -Dimage=gcr.io/PROJECT_ID/pubsub \ -Djib.from.image=gcr.io/PROJECT_ID/imagemagick
여기서 PROJECT_ID는 GCP 프로젝트 ID입니다.
다음 명령어를 실행하여 Pub/Sub 튜토리얼에서 사용한 것과 이름이 동일한 서비스를 배포합니다.
Node.js
gcloud run deploy pubsub-tutorial --image gcr.io/PROJECT_ID/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME
Python
gcloud run deploy pubsub-tutorial --image gcr.io/PROJECT_ID/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME
Go
gcloud run deploy pubsub-tutorial --image gcr.io/PROJECT_ID/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME
자바
gcloud run deploy pubsub-tutorial --image gcr.io/PROJECT_ID/pubsub --set-env-vars=BLURRED_BUCKET_NAME=BLURRED_BUCKET_NAME --memory 512M
PROJECT_ID를 GCP 프로젝트 ID로 바꿉니다.
pubsub
는 컨테이너 이름이고pubsub-tutorial
은 서비스 이름입니다. 컨테이너 이미지는 이전에 gcloud 기본값 설정에서 구성한 서비스 및 클러스터에 배포됩니다.BLURRED_BUCKET_NAME을 앞서 만든 Cloud Storage 버킷으로 바꿔 흐리게 처리된 이미지를 수신하여 환경 변수를 설정합니다.
배포가 완료될 때까지 기다립니다. 이 작업은 30초 정도 걸릴 수 있습니다. 성공하면 명령줄에 서비스 URL이 표시됩니다.
Cloud Storage의 알림 사용 설정
파일(객체라고도 함)이 업로드되거나 변경될 때마다 Pub/Sub 주제에 메시지를 게시하도록 Cloud Storage를 구성합니다. 새 파일 업로드가 서비스를 호출할 수 있도록 이전에 만든 주제로 알림을 보냅니다.
gsutil notification create -t myRunTopic -f json gs://INPUT_BUCKET_NAME
gsutil 명령어는 Google Cloud CLI의 일부로 설치됩니다. myRunTopic
은 이전 튜토리얼에서 만든 주제입니다.
INPUT_BUCKET_NAME을 버킷을 만들 때 사용한 이름으로 바꿉니다.
스토리지 버킷 알림에 대한 자세한 내용은 객체 변경 알림을 참조하세요.
사용해 보기
살점을 뜯어먹는 좀비와 같은 불쾌감을 주는 이미지를 업로드합니다.
gsutil cp zombie.jpg gs://INPUT_BUCKET_NAME
여기서 INPUT_BUCKET_NAME은 이미지를 업로드하기 위해 앞서 만든 Cloud Storage 버킷입니다.
서비스 로그로 이동합니다.
Google Cloud 콘솔에서 Cloud Run for Anthos 페이지로 이동합니다.
pubsub-tutorial
서비스를 클릭합니다.로그 탭을 선택합니다. 로그가 나타나려면 시간이 약간 걸릴 수 있습니다. 즉시 표시되지 않으면 잠시 후 다시 확인하세요.
Blurred image: zombie.png
메시지를 찾습니다.앞서 만든 BLURRED_BUCKET_NAME Cloud Storage 버킷에서 흐리게 처리된 이미지를 확인할 수 있습니다. Google Cloud Console의 Cloud Storage 페이지에서 버킷을 찾습니다.
삭제
이 튜토리얼용으로 새 프로젝트를 만든 경우 이 프로젝트를 삭제합니다. 기존 프로젝트를 사용한 경우 이 튜토리얼에 추가된 변경사항은 제외하고 보존하려면 튜토리얼용으로 만든 리소스를 삭제합니다.
프로젝트 삭제
비용이 청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.
프로젝트를 삭제하려면 다음 안내를 따르세요.
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
튜토리얼 리소스 삭제
이 튜토리얼에서 배포한 Cloud Run for Anthos 서비스를 삭제합니다.
gcloud run services delete SERVICE-NAME
여기서 SERVICE-NAME은 선택한 서비스 이름입니다.
Google Cloud 콘솔에서 Cloud Run for Anthos 서비스를 삭제할 수도 있습니다.
튜토리얼 설정 중에 추가한 gcloud 기본 구성을 삭제합니다.
gcloud config unset run/platform gcloud config unset run/cluster gcloud config unset run/cluster_location
프로젝트 구성을 삭제합니다.
gcloud config unset project
이 튜토리얼에서 만든 다른 Google Cloud 리소스를 삭제합니다.
- Pub/Sub 주제
myRunTopic
을 삭제합니다. - Pub/Sub 구독
myRunSubscription
삭제 - Container Registry에서 가져온
gcr.io/
PROJECT_ID/pubsub
라는 컨테이너 이미지를 삭제합니다. - 호출자 서비스 계정
cloud-run-pubsub-invoker@PROJECT_ID.iam.gserviceaccount.com
삭제 - 자리표시자
INPUT_BUCKET_NAME
및BLURRED_BUCKET_NAME
에 대해 생성된 Cloud Storage 버킷 삭제 - 이 튜토리얼용 클러스터를 만든 경우 클러스터를 삭제합니다.
- Pub/Sub 주제
다음 단계
- Cloud Storage를 통해 Cloud Run for Anthos에 데이터를 보관하는 방법 자세히 알아보기
- Cloud Vision API를 사용하여 유해성 콘텐츠 이외의 항목을 감지하는 방법 알아보기
- Google Cloud에 대한 참조 아키텍처, 다이어그램, 권장사항을 살펴보세요. Cloud 아키텍처 센터 살펴보기