위에서 언급한 것처럼, 제휴 학습과 기존의 중앙 집중식 머신러닝의 주요 차이점은 학습 과정에서 데이터가 있는 위치에 있습니다.

• 기존 머신러닝(중앙 집중식): 다양한 소스에서 데이터를 수집하여 클라우드 서버 또는 데이터 센터와 같은 한곳에 모읍니다. 그러면 머신러닝 모델이 이 통합된 데이터 세트를 기반으로 직접 학습됩니다. 이 방법은 간단한 데이터 액세스 및 간소화된 개발과 같은 이점을 제공할 수 있지만, 중앙 데이터 저장소가 손상되면 심각한 개인 정보 보호 위험과 잠재적인 취약점을 야기할 수도 있습니다.
• 제휴 학습(분산형): 데이터를 이동하는 대신 머신러닝 모델이 데이터로 전송되며 참여자(클라이언트)는 로컬 데이터로 모델을 학습시킵니다. 학습된 가중치나 경사와 같은 모델 업데이트만 집계를 위해 중앙 서버로 다시 전송됩니다. 이 프로세스를 통해 전역 모델은 단일 참여자의 민감한 원시 정보에 액세스하지 않고도 다양한 데이터 세트에서 학습할 수 있습니다.

중앙 집중식 머신러닝은 잘 정립되어 있고 구현하기가 더 쉬운 경우가 많지만, 제휴 학습은 데이터 개인 정보 보호 문제를 본질적으로 해결하고, 대역폭 요구사항을 줄이며, 규정 또는 기밀 유지 계약으로 인해 액세스할 수 없는 데이터에 대한 모델 학습을 허용할 수 있기 때문에 인기를 얻고 있습니다. 

제휴 학습은 다양한 요구사항에 맞게 조정됩니다. 주요 차이점은 데이터 배포 방식이나 참여자의 협업 방식에서 비롯되는 경우가 많습니다. 일반적인 유형은 다음과 같습니다.

제휴 학습은 중앙 코디네이터(일반적으로 서버)와 여러 참여 클라이언트(기기 또는 조직)가 포함된 반복적인 프로세스를 통해 작동합니다. 일반적인 워크플로는 다음과 같은 주요 단계로 나눌 수 있습니다.

프로세스는 중앙 서버가 전역 머신러닝 모델을 초기화하는 것으로 시작됩니다. 이 모델은 협업 학습의 시작점 역할을 합니다. 그러면 서버가 이 전역 모델을 참여 클라이언트 기기의 선택된 하위 집합에 배포합니다.

선택된 각 클라이언트 기기는 전역 모델을 수신합니다. 클라이언트는 자체 로컬 데이터를 사용하여 모델을 학습시키고 해당 로컬 데이터 세트에 있는 패턴과 정보를 기반으로 파라미터를 업데이트합니다. 이 단계에서 중요한 점은 원시 데이터가 서버로 전송되지 않고 클라이언트 기기에 그대로 유지된다는 것입니다.

로컬 학습 후 각 클라이언트는 업데이트된 모델 파라미터(예: 경사 또는 가중치)를 중앙 서버로 다시 전송합니다. 이러한 업데이트는 모델이 로컬 데이터에서 학습한 내용을 나타내지만 데이터 자체를 노출하지는 않습니다.

중앙 서버는 여러 클라이언트로부터 모델 업데이트를 수신합니다. 그런 다음 이러한 업데이트를 평균화하여(일반적인 방법은 제휴 평균화 또는 FedAvg) 합산하여 개선된 새로운 버전의 전역 모델을 만듭니다. 이 집계된 모델은 참여하는 모든 클라이언트의 집단 학습을 통해 이점을 얻습니다. 

그러면 서버는 새로 업데이트된 전역 모델을 새로운 클라이언트 집합(또는 동일한 클라이언트)에 다시 배포하여 또 다른 로컬 학습을 진행합니다. 이 주기는 원하는 수준의 정확성 또는 수렴에 도달할 때까지 각 반복마다 전역 모델을 점진적으로 개선하면서 여러 번 반복됩니다.

일반적인 제휴 학습 시스템은 다음과 같은 여러 상호 연결된 요소로 구성됩니다.

데이터를 보유하고 로컬 모델 학습을 수행하는 개별 기기 또는 조직입니다. 클라이언트는 휴대전화, IoT 기기부터 병원, 금융 기관에 이르기까지 다양합니다. 이러한 클라이언트는 모델을 로컬에서 실행하고 파라미터 업데이트를 생성하는 역할을 합니다.

중앙 서버는 제휴 학습 프로세스의 조정자 역할을 합니다. 전역 모델을 초기화하고 배포하며, 클라이언트로부터 모델 업데이트를 수집하고, 이러한 업데이트를 집계하여 전역 모델을 개선한 다음 업데이트된 모델을 재배포합니다. 클라이언트의 원시 데이터에 직접 액세스하지 않습니다.

이는 클라이언트와 서버가 정보, 주로 모델 파라미터와 업데이트를 교환하는 방식을 정의합니다. 특히 클라이언트 수가 많고 네트워크 조건이 다양할 수 있다는 점을 고려할 때 효율적이고 안전한 통신 프로토콜이 중요합니다. 

중앙 서버가 다양한 클라이언트로부터 수신한 모델 업데이트를 결합하는 데 사용되는 방법입니다. 제휴 평균화와 같은 알고리즘은 가중치 또는 경사를 평균화하여 개선된 단일 전역 모델을 만드는 데 일반적으로 사용됩니다.

제휴 학습은 이점도 있지만 신중하게 고려해야 할 몇 가지 고유한 잠재적 과제도 있습니다.

• 데이터 및 기기의 이질성: 제휴 학습 네트워크의 클라이언트는 데이터 분포(독립적이지 않고 동일한 분포, 즉 IID가 아닌 데이터)와 컴퓨팅 기능(기기 하드웨어, 네트워크 연결) 측면에서 크게 다를 수 있습니다. 이러한 다양성은 모델 수렴과 전반적인 성능에 영향을 미칠 수 있습니다.
• 통신 오버헤드: 중앙 집중식 데이터 전송에 비해 줄어들었지만, 제휴 학습은 여전히 클라이언트와 서버 간의 잦은 통신을 필요로 합니다. 특히 많은 수의 클라이언트 또는 불안정한 네트워크를 사용하는 경우 이러한 통신을 효율적으로 관리하는 것은 여전히 기술적인 과제일 수 있습니다. 
• 보안 및 개인 정보 보호 취약점: 개인 정보 보호를 위해 설계되었지만, 제휴 학습이 모든 보안 위협에 영향을 받지 않는 것은 아닙니다. 모델 업데이트 자체가 추론 공격이나 데이터 포이즈닝과 같은 고급 기법을 통해 로컬 데이터에 대한 정보를 유출할 가능성이 있습니다. 개인 정보 차등 보호 및 안전한 집계와 같은 강력한 보안 조치가 이러한 위험을 완화하기 위해 자주 사용되지만, 정확성 또는 컴퓨팅 비용과 절충해야 할 수 있습니다.
• 모델 드리프트: 시간이 지남에 따라 개별 클라이언트 기기의 데이터 분포가 변경되어 로컬 모델이 전역 모델에서 벗어나는 '모델 드리프트'가 발생할 수 있습니다. 이 문제를 해결하려면 지속적인 적응 메커니즘 또는 맞춤형 제휴 학습 접근 방식이 필요합니다. 

제휴 학습을 사용하면 다양한 도메인에서 개인 정보 보호 기능을 갖춘 정교한 애플리케이션을 빌드할 수 있습니다. 제휴 학습의 잠재적인 사용 사례는 다음과 같습니다.

사용자는 제휴 학습을 활용하여 개인 정보 보호를 소홀히 하지 않으면서 사용자 데이터로부터 학습하는 모바일 애플리케이션을 빌드할 수 있습니다. 이는 키보드의 예측 텍스트(예: Gboard), 다음 단어 제안, 맞춤형 추천, 온디바이스 음성 인식과 같은 기능에 매우 중요합니다. 개발자는 사용자 기기에서 직접 모델을 학습시켜 개별 상호작용 패턴에 맞게 조정함으로써 앱 기능과 사용자 경험을 개선할 수 있습니다. 이 모든 과정에서 민감한 개인 정보는 로컬에 보관되어 보호되며 GDPR 및 HIPAA와 같은 규정을 준수할 수 있습니다. 

제휴 학습을 사용하면 사용자가 여러 조직에 걸쳐 데이터가 사일로화된 엔터프라이즈를 위한 협업 AI 시스템을 만들 수 있습니다. 이는 개인 정보 보호 규정이나 독점 우려로 인해 데이터 공유가 제한되는 의료 및 금융과 같은 분야에서 매우 유용합니다. 사용자는 여러 기관(예: 의료 연구를 위한 병원, 사기 감지를 위한 은행)이 원시 정보를 노출하지 않고도 결합된 데이터로 공유 모델을 학습시킬 수 있는 플랫폼을 빌드할 수 있습니다. 이를 통해 협업을 촉진하고, 다양한 데이터 세트를 통해 모델 정확성을 높이며, 엄격한 규정 준수 요구사항을 충족할 수 있습니다.

사물 인터넷(IoT) 및 산업용 IoT(IIoT) 기기를 사용하는 사람들에게는 제휴 학습이 에지에 인텔리전스를 임베딩하는 강력한 방법을 제공합니다. 이를 통해 산업 장비의 예측 유지보수, 센서 네트워크의 이상 감지, 스마트 시티의 리소스 사용량 최적화와 같은 애플리케이션을 만들 수 있습니다. 모델은 에지 기기에서 직접 분산 센서와 기계에서 생성한 데이터를 학습할 수 있습니다. 이 접근 방식은 통신 오버헤드를 줄이고 실시간 인사이트를 제공하며, 민감한 운영 데이터를 안전한 공장 또는 기기 경계 내에 유지하여 독점 정보를 유지하는 데 필수적입니다.

사용자는 제휴 학습을 사용하여 분산된 민감한 데이터 세트에서 인사이트를 도출해야 하는 기업을 위한 강력한 데이터 분석 플랫폼을 빌드할 수 있습니다. 데이터를 중앙 집중화하지 않고도 분석 모델을 학습시키고 실행할 수 있도록 지원하여 GDPR, CCPA, HIPAA와 같은 규정 준수에 크게 도움이 됩니다. 이를 통해 조직은 엄격한 데이터 거버넌스 및 보안 프로토콜을 유지하면서 다양한 부서 또는 법인 전반에서 귀중한 비즈니스 인텔리전스를 얻고, 트렌드를 파악하고, 예측 모델을 빌드할 수 있습니다.

제휴 학습을 적용하면 더욱 복원력이 뛰어나고 효과적인 사이버 보안 솔루션을 빌드할 수 있습니다. 모델은 수많은 엔드포인트(예: 컴퓨터, 서버, 휴대기기)에서 학습하여 개별 시스템에서 민감한 정보를 유출하지 않고도 멀웨어를 감지하거나, 네트워크 침입을 식별하거나, 의심스러운 활동에 플래그를 지정할 수 있습니다. 이러한 분산형 학습 접근 방식은 개별 사용자 또는 시스템의 개인 정보 보호를 준수하면서도 더 광범위한 네트워크 행동과 로컬 보안 이벤트로부터 학습하여 보다 포괄적인 위협 감지 기능을 제공할 수 있습니다. 

제휴 학습을 더 쉽게 사용할 수 있도록 여러 오픈소스 및 상용 프레임워크가 등장했습니다. 이러한 도구는 개발자에게 다양한 기기에서 학습을 처리하는 데 필요한 기능, 기기 간 통신 방법, 데이터를 비공개로 유지하는 방법을 제공합니다.

• TensorFlow Federated(TFF): Google에서 개발한 TFF는 분산된 데이터에 대한 머신러닝 및 기타 계산을 위한 오픈소스 프레임워크입니다. TensorFlow와 원활하게 통합되며, 제휴 학습 시뮬레이션과 새로운 제휴 학습 알고리즘 빌드에 탁월합니다. 
• PySyft: OpenMined 생태계의 일부인 PySyft는 개인 정보 보호 AI에 중점을 둔 Python 라이브러리입니다. 제휴 학습을 지원하며 PyTorch, TensorFlow와 같은 인기 있는 딥 러닝 프레임워크와 함께 작동하여 개인 정보 차등 보호, 보안 다자간 계산(SMPC)과 같은 기술을 지원합니다.
• Flower: Flower는 프레임워크에 구애받지 않으며 제휴 학습을 위해 고도로 맞춤설정할 수 있는 프레임워크입니다. PyTorch, TensorFlow, scikit-learn을 비롯한 모든 머신러닝 라이브러리와 함께 작동하므로 다양한 ML 스택을 사용하는 팀에 적합합니다. 
• NVIDIA FLARE: 의료 영상 및 유전체학을 위해 설계된 프레임워크로, 의료 분야의 협업 AI 개발을 지원합니다. 자율 주행 차량과 같은 애플리케이션에도 사용됩니다.
• FATE(Federated AI Technology Enabler): WeBank에서 개발한 FATE는 동형 암호화와 같은 고급 개인 정보 보호 기술을 통해 제휴 학습을 지원하는 엔터프라이즈 중심 플랫폼입니다. 워크플로 관리를 위한 웹 기반 인터페이스를 제공합니다. 
• Substra: 여러 파트너가 참여하는 의료 연구 프로젝트를 위해 처음 개발되었으며 현재는 Linux Foundation에서 호스팅하고 있습니다. 특히 의료 분야에서 데이터 소유권, 개인 정보 보호, 추적 가능성을 강조하며 강력한 성능을 발휘합니다. 

제휴 학습 분야는 빠르게 진화하고 있습니다. 현재 연구는 데이터 및 시스템 이질성에 대한 견고성 개선, 더욱 정교한 개인 정보 보호 기술 개발, 더욱 효율적인 통신 프로토콜 생성, 진정한 맞춤형 제휴 학습 경험 지원과 같은 과제를 해결하는 데 중점을 두고 있습니다. AI가 민감한 분야에 더욱 통합됨에 따라, 제휴 학습은 안전하고 비공개적이며 협업적인 인텔리전스를 지원하는 데 있어 더욱 중요한 역할을 할 것으로 보입니다. 현재는 중앙 서버가 많은 제휴 학습 시스템을 조정하고 있지만, 향후 개발에서는 더욱 진정한 분산형 또는 P2P 제휴 학습 접근 방식을 탐색하여 견고성과 확장성을 강화하고 단일 장애점을 제거할 가능성이 높습니다.