Ask OCTO: AI 기술 격차 해소

* 본 아티클의 원문은 2024년 11월 22일 Google Cloud 블로그(영문)에 게재되었습니다.

'Ask OCTO' 칼럼에서는 Google Cloud CTO실 전문가들이 비즈니스 및 IT 과제에 대한 솔루션을 찾는 질문에 답해 드립니다. 이 시리즈는 Google Cloud 버전의 어드바이스 칼럼입니다. 다루는 주제가 기술 스택이라는 점만 다를 뿐입니다.

앞으로 칼럼에서 다루었으면 하는 질문이 있다면 여기에서 제출해 주세요.

Google Cloud CTO실의 모토는 '협력을 통한 실용적인 해결책'입니다. Google Cloud 기술 전문가와 주요 조직의 전임 CTO들로 구성된 이 팀은 Google의 가장 중요하고 전략적인 고객이 중대한 과제를 해결하도록 지원하고 있습니다.

이번 호에서는 AI 출시를 최대한 활용하기 위한 적절한 지식과 기술을 팀이 확보하도록 효과적으로 지원하는 방법에 관한 현장 전문가의 인사이트를 살펴봅니다.

Antonio Gulli, CTO실 AI, 클라우드, 검색 부문 전무이사
AI 시스템, 특히 생성형 AI 사용의 진입 장벽이 크게 낮아졌습니다. 이제 내부 작동 원리에 대한 심오한 기술 지식이 없더라도 마치 자동차를 운전하고 라디오를 듣는 것처럼 자연어를 사용해 쉽게 이러한 시스템과 상호작용할 수 있습니다. 정비사나 전기 엔지니어가 아니더라도 자동차나 라디오를 사용할 수 있는 것과 마찬가지로, AI도 조작법만 이해하면 원하는 결과를 얻을 수 있습니다. 이에 따라 복잡한 기술 전문성보다 다음과 같은 능력이 더 중요해지고 있습니다.

• 니즈와 목표를 AI 시스템에 분명하게 설명하는 능력: 여기에는 AI가 이해하고 효과적으로 응답할 수 있도록 요청을 프레이밍하는 능력이 포함됩니다.
• AI의 출력을 비판적으로 평가하는 능력: AI 모델은 강력하지만 때로는 부정확하거나 편향된 결과를 생성하기도 합니다. 사용자는 AI가 제공하는 대답의 품질과 신뢰성을 평가할 수 있어야 합니다.
• AI와의 상호작용을 미세 조정하는 능력: 이를 위해서는 피드백을 제공하고 프롬프트를 조정하고 반복하여 원하는 결과를 얻는 방법을 익혀야 합니다.

기본적으로 이제는 AI 사용의 핵심 역량으로 심층적인 기술 전문성보다는 효과적인 커뮤니케이션, 비판적 사고, 문제 해결 능력이 더 많이 요구되고 있습니다. 전문가가 아니더라도 AI를 사용할 수 있지만 기반 기술에 대해 자세히 살펴보면 호기심을 충족하거나 심층적인 이해를 요하는 업무를 처리하는 데 도움이 될 것입니다.

AI의 내부 작동 방식이 궁금하다면 미적분학과 같은 기초적인 수학적 지식, GPU 프로그래밍, 딥 러닝 등의 특정 AI 개념 및 기법에 대해 탐구해 보시기 바랍니다. AI 시스템의 작동 원리는 물론 생성형 AI 모델과 효과적으로 상호작용하는 방법에 관한 지식을 제공하는 체계적인 과정, 도서, 실용적인 가이드가 많이 있습니다. 이러한 리소스를 참고하면 특화된 역할에 필요한 개발, 최적화 또는 응용 지식을 얻을 수 있습니다.

Troy Trimble, CTO실 수석 소프트웨어 엔지니어
지난 10여 년간 기술 산업 분야의 인프라는 최종 사용자의 목표를 달성하기 위해 연동되는 단절된 비동기식 시스템(예: Hadoop, Kafka 등)으로 변화하는 추세입니다. 다중 노드 ML 학습 워크로드는 동기식 고성능 컴퓨팅(HPC) 워크로드와 유사합니다. 서로 연동되어 작동하는 5,000개의 컴퓨팅 노드가 있다고 가정해 보겠습니다. 머신이 하나만 고장 나도 노드 5,000개가 모두 완전히 중단되어 더 이상의 진행이 불가능해집니다.

기본 인프라와 관련하여 사용자에게 필요한 능력을 기술 역량과 일반 역량이라는 두 가지 범주로 분류해 봤습니다.

기술 역량

• 수학: 선형 대수학과 행렬 수학을 포함해 계산이 하는 역할을 기본적으로 이해해야 합니다. 모델의 증분 '학습'을 돕는 ML 알고리즘을 깊이 있게 이해하기 위해서는 편미분과 같은 미적분 개념을 잘 알아야 합니다.
• 분산 동시 실행 및 네트워킹: 노드는 All Gather, All to All, Reduce Scatter 등 잘 알려진 분산 통신 패턴을 사용하여 서로 통신합니다.
• 하드웨어 아키텍처: ML 가속기 아키텍처 및 세대마다 자체 하드웨어 사양이 있습니다. AI 투자를 최대한 활용하고 개선하려면 초당 부동 소수점 연산, RAM, 고대역폭 메모리 크기와 같은 하드웨어 기능이 모델 성능에 미치는 영향을 이해하는 것이 중요합니다.

일반 역량

• 다양한 모델 샤딩 전략과 통신 패턴을 모두 익혀 특정 하드웨어 레이아웃과 규모에 따라 각각을 언제, 왜 선택해야 하는지 정확히 이해해야 합니다.
• Cloud TPU 프로파일러 또는 NVIDIA Nsight Systems와 같은 도구를 사용해 노드 성능을 평가하는 방법을 배우세요. 예를 들어 널리 알려진 오픈소스 모델에서 이러한 도구를 시연하는 교육 동영상 콘텐츠를 시청하면 도움이 됩니다.

Ben McCormack, CTO실 기술 이사
AI 시스템을 효과적으로 사용하려면 기술 역량과 소프트 스킬을 모두 갖추어야 합니다.

기술 역량

• AI/ML 기본사항: 머신러닝 알고리즘과 그 적용, AI 개념에 대한 기본적인 이해가 필요합니다. 다양한 AI 모델(예: 지도 학습, 비지도 학습, 강화 학습 등)에 대한 지식과 그 장단점도 알아야 합니다.
• 데이터 기술: AI 시스템에서 데이터가 수집, 처리, 사용되는 방식을 알아야 합니다. AI 모델 학습을 위해 데이터가 어떻게 정리, 변환, 준비되는지도 이해해야 합니다. 데이터를 분석하고 패턴을 식별하며 AI 응용과 관련된 인사이트를 도출할 수 있는 능력도 필요합니다.
• 프로그래밍: Python 또는 R 등 AI에서 일반적으로 사용되는 프로그래밍 언어를 1개 이상 능숙하게 다룰 수 있어야 합니다. 코드를 작성하여 AI API, 라이브러리, 프레임워크와 상호작용하는 방법도 알면 도움이 됩니다.
• AI 전용 도구 및 기술: AI 플랫폼, TensorFlow와 같은 라이브러리, 프레임워크를 숙지해야 합니다. 데이터 시각화, 모델 빌드, 평가 도구를 직접 경험해 보는 것도 도움이 됩니다.

소프트 스킬

• 비판적 사고와 문제 해결: AI 출력을 분석하고, 잠재적 편향 또는 한계를 식별하며, 결과를 맥락에 맞게 해석할 줄 알아야 합니다. AI 솔루션이 해결할 수 있는 방식으로 문제를 프레이밍하는 기술도 여기에 포함됩니다.
• 소통 및 협업: AI 기능과 제약에 대해 기술직 이해관계자뿐 아니라 비기술직 이해관계자와도 효과적으로 소통할 줄 알아야 합니다. AI 솔루션을 개발하고 배포할 때 다양한 팀(예: 데이터 과학자 및 특정 분야 전문가)과 협업하는 것도 중요합니다.
• 창의력 및 혁신: AI를 적용해 문제를 해결하고 가치를 창출할 수 있는 새로운 방법을 탐구합니다. 급변하는 AI 환경에 맞춰 적응하고 새로운 도구와 기법을 받아들여야 합니다.
• 윤리적 고려: 편향, 공정성, 책임성 등 AI가 미치는 윤리적 영향에 대해 잘 알고 있어야 합니다. 책임감 있는 AI 권장사항도 확실하게 이해해야 합니다.

말로 설명하려 하지 말고 직접 보여주세요. 매우 추상적인 데다가 아직 일상 업무와 연관이 없는 내용을 조직 내 인력에게 가르치기란 무척 어렵습니다. 가능하다면 회사에서 교육 프로그램의 예시로 사용할 수 있는 생성형 AI 경험을 제공하는 것이 좋습니다.

생성형 AI 서비스는 어디서나 액세스할 수 있습니다. 직원들은 NotebookLM과 같은 서비스를 통해 최신 기능을 살펴볼 수 있습니다. 공식 교육 프로그램을 시작하기 전에 생성형 AI 기능을 사용해 보도록 유도하여 큰 성공을 거둔 고객들이 많습니다. 이러한 경험을 통해 직원들은 시작점으로 삼을 수 있는 좋은 배경지식을 얻게 됩니다.

Scott Penberthy, CTO실 용용 AI 부문 전무이사
앞으로는 지금보다 훨씬 더 획기적인 시스템을 관리하게 될 것입니다. AI는 단순한 API 및 도구에서 벗어나 진정한 협업 파트너가 될 것입니다. 그렇다면 인간은 어떤 역할을 하게 될까요? 연구팀에서 얻은 교훈을 전해 드립니다. 성실한 채용 담당자라면 자신보다 유능한 직원을 뽑을 것입니다. 하지만 고용에 앞서 이들의 기본적인 사고방식을 충분히 이해해야 합니다.

AI의 경우 특히 확률적 사고와 회색 논리의 사고를 이해하는 것이 중요합니다. AI 시스템은 확률적으로 가장 정확한 대답을 제공하며 확률 분포에 따라 작동하도록 되어 있습니다. 따라서 확률에 관한 기본 과정부터 시작한다면 도움이 될 것입니다.

AI를 효과적으로 관리하기 위해서는 소통, 창의력, 올바른 질문을 던지는 기술도 중요합니다. 업무는 직관적인 통찰력, 질문의 종류, 방향성에 더 중점을 두는 메타 업무가 주가 될 것입니다.

문학, 작문, 예술, 역사 강의를 듣고 다양한 도서를 탐독함으로써 적절한 질문을 던지고 올바른 것에 집중하는 좋은 사례를 찾아보시기 바랍니다. 예를 들어 제가 좋아하는 도서로는 '좋은 기업을 넘어 위대한 기업으로(Good to Great)', '혁신기업의 딜레마(Innovator's Dilemma)', '아주 작은 습관의 힘(Atomic Habits)' 등이 있습니다. TikTok, 릴스, YouTube Shorts 동영상을 시청하며 간결한 형식의 소통 기술을 배울 수도 있습니다. 이러한 동영상이 어떻게 관심을 사로잡는지 자세히 살펴보고 몇 초 만에 문제, 해결책, 혜택을 제시하고 행동을 유도하는 방법을 파악하세요.

Diane Chaleff, CTO실 그룹 제품 관리자
AI로 진정한 비즈니스 문제를 다룰 수 있어야 합니다. 제품 관리자로서 제가 생각하는 가장 큰 실수는 사용자와 비즈니스의 니즈보다 기술을 더 고려하는 것입니다.

여전히 기본적인 질문에 대한 답을 구해야 합니다. 새로운 기술이 현 상태를 유지하는 것보다 더 나은 이유는 무엇인가요? 사용자를 어떻게 만족시킬까요? 비즈니스 발전에는 어떤 도움이 될까요? AI가 당면 과제를 달성하는 데 아무리 효과적이어도 이런 근본적인 질문이 해결되지 않는다면 아무도 새로운 기능이나 제품을 사용하지 않을 것이며 그렇게 되면 추가적인 AI 개발이 무산될 수도 있습니다.

제품 관리자라면 지금 AI로 달성할 수 있는 목표가 아닌 미래의 가능성을 토대로 로드맵을 만들라는 제안을 드리고 싶습니다. 엔지니어링팀에서 현재는 불가능하다고 답하더라도 몇 달에 한 번씩 다시 논의해 보세요. 아이디어 구상이 이미 끝난 상태이므로 필요한 기술이 출시되는 즉시 개발에 착수할 수 있습니다.

Ashwin Ram, CTO실 AI 부문 전무이사
기술 격차를 해소하려면 관련 기술을 갖춘 다음과 같은 인재를 고용해야 합니다.

• AI/ML/데이터 엔지니어: 클라우드 인프라에서 AI 기반 애플리케이션을 빌드하고 운영해 본 경험이 있어야 합니다. 이들은 AI 모델 파이프라인, 모델 아키텍처 검색, 데이터 수집 및 라벨링 프로세스는 물론 MLOps를 관리하는 업무를 담당합니다.
• UX 디자이너 및 프로토타입 제작자: 다양한 접근 방식을 사용하여 사용자 인터페이스뿐만 아니라 사용자 환경에 필요한 디자인 작업을 빠르게 반복하고 사용성 연구를 수행해 본 경험이 있어야 합니다. 이들은 사용자를 위한 AI 기반 환경을 만드는 업무를 담당합니다.
• 앱 개발자: 다양한 인구통계, 배경 전반의 광범위한 소비자를 대상으로 모바일, 웹, 기타 인터페이스 등의 환경을 구축해 본 적이 있어야 합니다. 이들은 사용자 경험을 빌드하고 모든 플랫폼에서 일관된 경험을 보장하는 업무를 담당합니다.
• 핵심 시스템 엔지니어: 실시간 임베디드 시스템, 고성능 컴퓨팅, 전자통신, 네트워킹에 익숙해야 합니다. 이들은 일관된 데이터 수집 프로세스를 보장하도록 돕고 AI 학습, 평가, 배포에 사용되는 클라우드 서비스, 기기 게이트웨이, 컴퓨팅 하드웨어를 관리하는 업무를 담당합니다.

Jeff Sternberg, CTO실 기술 이사
여기서 제 동료들이 제시한 기술 격차 해소 방법 외에도 성공적인 AI 교육 프로그램을 시작하는 것이 중요합니다. 이 프로그램은 일반적인 기업의 교육 및 개발 프로그램과 비슷하지만 몇 가지 주요 차이점이 있습니다.

• 변화의 속도: AI가 빠른 속도로 변화하고 있기 때문에 학습 자료는 금방 구식이 됩니다. 그렇다면 어떻게 해야 할까요? 교육 프로그램을 빠르게 개선해야 합니다. 자료를 1년에 한 번 업데이트하지 말고 반기 또는 분기별로 업데이트하세요.
• 포용성: AI의 본질은 기술이지만 비즈니스 기능을 포함한 조직 내 모든 팀과 역할로 학습 프로그램을 확장해야 최상의 결과를 얻을 수 있습니다. CTO실에서는 여러 CTO 및 CEO와 협력하여 모든 사업부를 대상으로 이러한 변화를 주도하고 있으며 조직 전체가 동일한 수준의 AI 지식을 갖추도록 하는 데 있어 큰 성과를 거두었습니다.

멀티모달리티: 기술팀은 API, 프로그래밍 언어 등을 통해 새로운 기술을 사용해 왔습니다. 생성형 AI의 경우 텍스트, 동영상, 오디오 등을 통해 정보 전달이 이루어집니다. 소프트웨어 엔지니어에게 이는 자연어를 통한 소통 기술(예: 프롬프트)을 사용하는 것을 의미하며 이는 새롭고도 흥미로운 일입니다.

John Abel, CTO실 기술 이사
성공적인 AI 교육 개시 및 변경 관리 프로그램을 계획하려면 다음과 같은 주요 요소를 고려하세요.

• 임원진 지지 확보: 임원진의 후원은 AI를 도입하고, AI의 비즈니스 가치를 입증하며, 조직의 변화를 촉진하는 데 매우 중요합니다.
• 영향력 있는 응용에 집중: 지루한 작업의 자동화(반복 업무 감소), 비효율적인 프로세스 간소화(방해 요소 감소), 성장을 위한 확장성 지원 등 중요한 문제를 해결하는 AI 솔루션에 우선순위를 둡니다.
• 협업 및 참여 촉진: 부서 간 팀워크를 독려하고 AI 구현 과정에서 직원들의 적극적인 참여를 유도합니다. 성공적인 AI 도입은 기술과 인력 모두에게 달려있다는 점을 잊지 마세요.
• 명확한 커뮤니케이션 전략 수립: AI 여정 내내 일관되고 투명하게 소통하여 모두에게 정보를 제공하고 참여를 유도합니다.
• AI를 비즈니스 전략에 맞게 조정: 조직의 AI 전략을 명확하게 설명하고 핵심 비즈니스 목표 및 가치 창출과의 연관성을 강조합니다.
• 실무형 실습 기회 제공: 직원과 주제 전문가에게 AI 도구는 물론 프롬프트 엔지니어링, 모델 파인 튜닝과 같은 기법을 실험할 수 있는 전용 공간과 리소스를 제공합니다.
• 책임감 있는 AI에 우선순위 두기: 프로세스 전반에 윤리적인 고려사항과 책임감 있는 AI 개발 관행을 포함시켜 직원 및 고객 가치에 부합하도록 하고 잠재적 편견을 완화합니다.

다양성 수용: 원하는 결과에 집중하는 한편, 편견에 맞서고, 포용적인 솔루션을 개발하며, AI 응용으로 광범위한 니즈를 충족할 수 있는 다양한 팀을 육성합니다.