Google Cloud 데이터 히어로 시리즈: 독일에서 활동하는 데이터 엔지니어이자 ‘Not So BigQuery 뉴스레터’ 작성자인 토미와의 만남

* 본 아티클의 원문은 2022년 7월 20일 Google Cloud 블로그(영문)에 게재되었습니다. 

Google Cloud 데이터 히어로는 Google Cloud 데이터 도구를 사용해 놀라운 성과를 거둔 우리 주변 영웅들의 사례를 공유하는 시리즈입니다. 여느 슈퍼히어로 이야기와 마찬가지로 Google Cloud 데이터 히어로의 탄생, 데이터 혼돈 상태에서 데이터 기반 환경으로 발전한 과정, 현재 극복 중인 프로젝트와 도전과제, 지역 사회에 기여하고 있는 방식 등을 살펴봅니다.

이달의 주인공인 토미를 소개합니다. 크로아티아에서 유년기를 보낸 토미는 현재 독일 베를린에 거주하면서 프리랜서 Google Cloud 데이터 엔지니어로 활동하고 있습니다. 업무를 수행할 때 그는 정기적으로 BigQuery를 사용합니다. BigQuery를 능숙하게 활용하고 Google Cloud에 대한 열정을 가진 토미는 Not So BigQuery라는 주간 뉴스레터를 만들어 GCP의 데이터 관련 최신 정보를 다룹니다. 또한, 독일 최대의 자동차 제조업체 중 한 곳에서 분석가로 일하고 있습니다. 키보드 앞에 있지 않을 때는 반려견, 여자친구와 함께 산책을 즐기거나 제과점을 방문하거나 TV를 시청하며 저녁 시간을 보냅니다.

클라우드, 기술 또는 데이터 분야를 접한 것은 언제인가요? 이 일을 하게 된 계기는 무엇인가요?

저는 늘 '인생의 목표가 무엇인가요?'라는 질문에 답을 찾고자 했습니다. 정보 기술을 연구하고 학위를 받기 위해 자그레브 응용과학 대학에 입학했지만 개발자, 데이터 엔지니어 또는 전혀 다른 직업 중 무엇을 선택해야 할지 확신이 들지 않았습니다.

주니어 IT 컨설턴트로 몇 년간 활동하다가 데이터 분석가/과학자를 찾는 구인 광고를 보게 되었습니다. 당시에는 하루 종일 데이터를 다루면서 돈을 벌 수 있다고 하니 솔깃했습니다. 꿈의 직업이었죠.

즉시 그 업무에 지원하고 필요한 기술을 공부하기 시작했습니다. 그맘때인 2018년 2월 Google Cloud Platform 무료 체험을 등록하면서 클라우드를 처음 경험할 기회를 얻었습니다. 플랫폼에는 클라우드에서 Jupyter 노트북을 실행하는 방법이 설명된 블로그 게시물이 있었습니다. 게시물을 읽고 관심이 생긴 저는 Google Cloud Platform에서 생애 최초의 Compute Engine 인스턴스를 만들었습니다.

처음 지원했던 업무에는 채용되지 못했지만 그 도전을 계기로 목표를 세우고 지금과 같은 수준으로 성장할 수 있었습니다.

역량을 키우고 직업적으로 성공하는 데 도움이 된 과정, 연구, 학위 또는 자격증은 무엇인가요? 2022년에 성공을 꿈꾸는 데이터 실무자가 집중적으로 키워야 하는 데이터 기술 또는 역량은 무엇이고, 그렇게 생각하는 이유는 무엇인가요?

대학 시절을 돌아보면 항상 데이터베이스 관련 과정을 즐겁게 수강했는데 훌륭한 교수님을 만난 것도 한 이유였습니다. 또 한편으로는 데이터에 천착하는 저의 숨겨진 면모에 어울리는 분야를 처음 경험한 것도 한몫했습니다.

2019년에는 Google Cloud 공인 어소시에이트 클라우드 엔지니어 자격증을 취득했습니다. 초급자를 위한 Google Cloud 자격증인데 까다롭지만 보람이 큰 자격증입니다. 집중력 있게 학습하는 수단으로 이러한 자격증을 취득하는 방안을 고려해 보시기 바랍니다.

데이터 분야에 진입한 이후 목격한 한 가지 큰 변화는 온프렘에서 클라우드와 서버리스로 환경이 계속 바뀌고 있다는 점입니다. IT 운영팀에서 컨설팅 업무를 처음 맡았을 때 온프렘 서버 중단으로 큰 이슈가 발생했던 사례가 기억납니다. 당시 당황한 한 동료가 물었습니다. "우리에게 서버가 꼭 필요한 이유가 있을까? 그저 *운영*만 하면 안 되는 걸까?" 다소 어리석게 들리던 그의 의문은 오늘날 서버리스 및 클라우드 기반 기술의 발전에 힘입어 '선견지명 있는 예측'이 되었습니다.

Google Cloud를 선택한 이유는 무엇인가요? 선택한 과정과 이 분야에서 가장 자랑스러운 점, 지역 사회에 환원하려는 이유를 말씀해 주세요.

Google Cloud Platform에 대한 소식을 다루는 GCP Weekly라는 멋진 뉴스레터가 있습니다. 제가 좋아하는 즈덴코 흐르체크라는 데이터 커뮤니티 회원이 운영하는 뉴스레터입니다. 그런데 GCP 생태계가 급격히 성장하다 보니 때로는 한 주에 너무 많은 뉴스와 블로그가 쏟아져 나오기도 합니다. 저는 새 제품 업데이트와 튜토리얼을 모두 따라잡느라 애를 먹었습니다. 그때 아이디어가 떠올랐어요. ‘BigQuery와 다른 데이터 관련 도구에 대한 소식만 다루는 더 짧은 뉴스레터가 있다면 어떨까’? 그 아이디어에서 Not So BigQuery 뉴스레터를 시작했고 현재 구독자가 220명 이상입니다.

Google Cloud의 Developer Advocate인 프리얀카 버가디아가 만드는 Sketchnotes 시리즈 등의 멋진 콘텐츠에서도 영감을 얻었습니다. GCP의 모든 데이터베이스/스토리지 서비스에 대한 카드와 공식 문서 링크, Sketchnotes 등 유용한 세부정보가 포함된 공개 Notion 페이지인 GCP Data Wiki를 만들었습니다.

Google Cloud의 데이터 제품으로 수행한 프로젝트 중 가장 기억에 남는 것을 한두 개 말씀해 주세요.

Google Cloud 제품으로 빌드한 첫 번째 프로젝트 중 하나는 공식 Spotify API에서 추적 데이터를 가져오는 자동화된 데이터 파이프라인입니다. 포트폴리오에 추가할 데이터 프로젝트를 찾던 중에 Spotify에서 REST API를 통해 대규모 라이브러리를 쿼리할 수 있다는 사실을 발견했습니다. 이 기능은 이후 Google Cloud Functions와 BigQuery에서 실행되는 완전한 서버리스 플랫폼으로 발전했습니다. 자세한 내용을 담은 블로그 게시물을 작성했는데 Medium에서 310건의 박수를 받았습니다.

또한 제가 만든 Not So BigQuery 뉴스레터는 실제로 Google Sheets와Firebase(Functions)를 사용해 빌드한 도구를 기반으로 합니다. Google Cloud 블로그 및 Medium과 같은 소스에서 뉴스 피드 섹션을 가져오는 Google 시트를 사용하고 있습니다. IMPORTFEED, FILTER와 같은 기본 제공 Sheets 수식을 사용하여 뉴스레터의 다음 호에 포함할 기사를 키워드를 기반으로 사전 선택하는 기사 선별 알고리즘을 구축했습니다. 그런 다음 crssnt(프랑스식 페이스트리와 발음이 같음)이라는 도구가 Google 시트에서 데이터를 가져와 뉴스레터에 표시합니다. Google 시트의 모습이 궁금하시다면 여기에서 확인해 보세요.

데이터 분석, 데이터베이스 또는 AI/ML 카테고리에서 가장 마음에 드는 Google Cloud Platform 데이터 제품은 무엇인가요? 업무에서 가장 중점을 두는 사용 사례는 무엇인가요? GCP 제품을 돋보이게 만드는 요소는 무엇인가요?

BigQuery를 가장 즐겨 사용하지만 Firestore도 무척 좋아합니다. BigQuery는 (저만의 프로젝트와 고객 프로젝트 모두에 대해) 데이터 웨어하우스의 모든 요구사항을 충족하는 도구입니다. 특히 처음부터 새 데이터베이스를 설정하고 BigQuery 테이블을 기반으로 빌드한 데이터 스튜디오 대시보드 등의 형태로 첫 결과를 가져올 때 손쉽게 사용할 수 있다는 점이 매력적입니다. 또한 시작하기 매우 쉽고 유연성이 뛰어나기 때문에 새 프런트엔드 프로젝트 아이디어가 떠오를 때마다 항상 Firestore를 찾습니다.

얼마 전 Google 외의 유사 제품으로 Snowflake를 사용했는데 사용자 인터페이스가 BigQuery만큼 직관적이거나 사용자 친화적이지 않았습니다.

인생의 다음 목표는 무엇인가요?

크게 달라지지는 않을 겁니다. 항상 새로운 무언가를 탐색하고 배우는 데이터 괴짜의 삶을 살고 있을 테니까요.

독자들에게 전하고 싶은 말은 기존의 정해진 경력 개발 과정과 직무 등에 맞추기 위해 지나치게 걱정하지 말고 나만의 분야를 파고들라는 것입니다. 일을 하고 목표를 달성하는 길은 여러 가지가 있기 마련입니다.

데이터 엔지니어 커뮤니티에 참여하고 싶으신가요?

7월 20일에 열리는 Data Engineer Spotlight에 등록하세요. 참석자는 4개의 기술 방법 세션에서 다양한 내용을 배우고, Google Cloud 전문가로부터 증가하는 데이터 관리에 도움이 되는 혁신적인 최신 제품에 대한 소식을 들을 수 있습니다.

나만의 데이터 히어로 여정을 시작하세요

Google Cloud 데이터 여정을 시작할 준비가 되셨나요? 배지와 자격증을 획득할 수 있는 GCP의 추천 학습 과정을 이수하여 나만의 히어로 여정을 시작하세요. Cloud Innovators 프로그램에 가입하여 데이터 실무자를 위한 최신 도움말, 유용한 정보, 이벤트를 확인하세요.

공유할 만한 데이터 히어로 사례가 있다면 알려주세요. 이 시리즈에서 여러분을 소개할 수 있기를 바랍니다.