Google Cloud 데이터 히어로 시리즈: 페루 리마에 거주하는 데이터 엔지니어 안토니오와의 만남

* 본 아티클의 원문은 2022년 5월 25일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Data Heroes는 Google Cloud 데이터 분석 도구를 사용해 놀라운 성과를 거둔 우리 주변 영웅들의 사례를 공유하는 시리즈입니다. 여느 슈퍼히어로 이야기와 마찬가지로 Google Cloud 데이터 히어로의 탄생, 데이터 혼돈 상태에서 데이터 기반 환경으로 발전한 과정, 현재 극복 중인 프로젝트와 도전과제, 지역 사회에 기여하고 있는 방식 등을 살펴봅니다.

이달의 주인공인 안토니오를 소개합니다. 안토니오는 페루 리마 출신으로, Intercorp Retail의 상근 리드 데이터 엔지니어이자 Datapath의 공동 창업자입니다. 데이터 관련 시간제 교사와 저자로도 활동하면서 늘 데이터에 대한 열정을 불태우고 있습니다. 안토니오는 데이터 외에도 Marvel 세계관의 열성 팬으로서 원작 만화책 읽기와 Marvel 기념품 수집에 열을 올립니다. 또한 여행을 즐기며, 가족과 여행하면서 즐거운 추억 쌓기를 좋아합니다. 사진에서 안토니오는 조부모가 거주했던 페루 카이나에 있는 산 정상에서 자부심 넘치는 포즈를 취하고 있습니다.

Google Cloud를 접한 것은 언제이며, 그 경험이 커리어에 어떤 영향을 미쳤나요?

2016년에 Universidad Complutense del Madrid의 빅데이터 과정에 지원했을 때 클라우드를 처음 접했습니다. 학위를 취득하는 과정에서 새로운 기술 세계에 눈을 떴고 Banco de Crédito del Perú(BCP)의 데이터 엔지니어로 사회에 첫발을 디딜 수 있었습니다. BCP는 페루에서 가장 큰 은행이자 통합 금융 서비스 분야의 최대 제공업체이며 페루에서 최초로 빅데이터 기술을 사용한 기업입니다. BCP에서 저는 온프레미스 플랫폼에서 Apache Hadoop, Apache Spark, Apache Hive를 사용해 파이프라인을 개발했습니다.

2018년에 Universidad Nacional de Ingeniería에서 빅데이터를 가르치면서 실무 경험이 없는 학생들에게는 '기존 PC에서 클러스터 배포하기'와 같은 주제가 어렵다는 것을 깨달았습니다. 당시 무료 크레딧을 제공하는 서비스는 Google Cloud가 유일했습니다. 비용 걱정 없이 클라우드 도구를 익히고 사용해볼 수 있다는 점에서 학생들에게 정말 큰 도움이 되었습니다.

2019년, 커리어에 변화를 주고 싶었고 온프렘 기술에서 클라우드 기술로 전문 분야를 변경하기로 했습니다. 오랜 공부와 연습 끝에 어소시에이트 클라우드 엔지니어 자격증을 취득했습니다. 이와 비슷한 시기에 Intercorp의 데이터 엔지니어에 지원했는데 GCP 데이터 제품을 사용해야 하는 자리였습니다. 새로운 업무를 맡게 되면서 GCP에 대한 지식과 기술을 연마할 수 있었으며 제가 원하던 업무이기도 했습니다. 몇 개월 후에는 프로페셔널 데이터 엔지니어 자격증을 취득했습니다. 이 자격증을 취득하고 직장에서 우수한 성과를 거둔 덕에 2021년 데이터 설계자로 승진했습니다. 2022년에는 리드 데이터 엔지니어 직무를 맡았습니다.

Google Cloud에서 배운 내용을 기반으로 지역 사회에 어떤 기여를 했나요?

지역 사회 환원을 위해 매년 한 번씩 Universidad Nacional Mayor de San Marcos에서 Data Day라는 하루 과정의 컨퍼런스를 열어서 데이터 트렌드에 대해 이야기하고 대학생들에게 조언을 제공하며 더 많은 사람들이 클라우드 분야에서 진로를 찾도록 안내합니다. 배우려는 의지가 있는 모든 사람을 격려하고 있으며 인도와 중남미 사람들에게 긍정적인 반응을 얻었습니다. 또 다른 환원 방법은 글을 써서 업무 경험을 공유하고 Towards Data Science, Airflow Community, Google Cloud 커뮤니티 블로그와 같은 사이트에 게시하는 것입니다.

GCP 데이터 제품을 사용해서 수행한 프로젝트 중 가장 기억에 남는 것은 무엇인가요?

Intercorp Retail의 디지털 마케팅팀에서는 사용자에게 상품을 추천하여 온라인 판매를 늘리고자 했습니다. 그러려면 데이터 및 분석팀은 고객이 웹페이지에서 보고 있는 상품과 관련된 제품을 추천하는 솔루션을 구축해야 했습니다. 이를 위해 다음 다이어그램과 같은 모습의 아키텍처를 구축했습니다.

해결해야 할 여러 과제가 있었습니다. 첫째, 매달 수백만 건의 요청을 지원하는 백엔드를 찾아야 했습니다. 한동안 조사를 한 끝에 개발과 배포가 용이한 Cloud Run을 사용하기로 결정했습니다.

두 번째 결정 사항은 이 백엔드를 위한 데이터베이스를 정의하는 것이었습니다. 밀리초 이내에 응답하는 데이터페이스가 필요했으므로 Firestore를 선택했습니다.

마지막으로, 오류 또는 비정상적인 응답을 파악하기 위해 API에 대한 모든 요청을 기록해야 했습니다. 이 시나리오에서는 Pub/Sub 및 Dataflow 덕분에 확장에 대한 걱정 없이 간단하게 목표를 달성할 수 있었습니다.

2개월 후에는 실제 웹사이트에 구현할 준비가 되었습니다(아래 참조).

앞으로 기술적인 개선을 이루기 위해 Apigee를 API 프록시로 사용하여 모든 요청을 수집하고 올바른 엔드포인트로 전달하는 방안을 고려 중입니다. 배포 프로세스의 대안으로는 Cloud Build를 사용할 계획입니다.

앞으로의 계획은 무엇이며 이번 데이터 히어로 사례에서 사람들이 기억하기를 바라는 점은 무엇인가요?

5년 동안 일하면서 저축한 돈으로 최근 앨라배마에 집을 샀습니다. 미국에서 거주하고 일한 경험이 없는 제게 주택 구입은 매우 큰 도전과제였습니다. 앞으로 데이터 관련 지식을 부동산 분야와 결합해서 중남미 사람들의 주택 구매 과정을 돕는 스타트업을 만들고 싶습니다.

또한 데이터 제품에 대한 실무 경험을 더 많이 쌓고, 글과 (조만간) 동영상을 통해 사회에 기여하는 일에 집중할 것입니다. 언젠가 Google Cloud Next와 같은 대규모 컨퍼런스에서 제가 이룬 성공 사례를 발표하는 것이 꿈입니다.

이 글을 읽고 데이터와 클라우드 분야에 관심이 생겼다면 인터넷에 접속해 약간의 노력을 기울이는 것만으로 커리어를 시작할 수 있습니다. 저처럼 아무런 배경 지식도 없이 개발도상국에서 경력을 시작하더라도 성공할 수 있다는 믿음을 가지세요. 여정을 즐기다 보면 그 과정에서 좋은 사람들을 만나게 될 것입니다. 건강한 몸을 유지하기 위해 계속 운동을 해야 하듯이 꾸준히 배워야 합니다. 마지막으로, 제가 도울 수 있는 부분이 있다면 메시지를 보내주세요. 어떤 조언이라도 기꺼이 들려드리겠습니다.

나만의 데이터 히어로 여정을 시작하세요

Google Cloud 데이터 여정을 시작할 준비가 되셨나요? 배지와 자격증을 획득할 수 있는 GCP의 추천 학습 과정을 이수하여 나만의 히어로 여정을 시작하세요. Cloud Innovators 프로그램에 가입하여 데이터 실무자를 위한 최신 도움말, 유용한 정보, 이벤트를 확인하세요.

공유할 만한 데이터 히어로 사례가 있다면 알려주세요. 이 시리즈에서 여러분을 소개할 수 있기를 바랍니다.