연합 학습 (데이터 프라이버시, 분산 학습, 보안 한계)

스마트폰 키보드는 사용자의 입력 습관을 학습해 다음 단어를 추천합니다. 그렇다면 내가 입력한 문자 내용이 서버로 올라가는 걸까요? 이런 걱정을 줄이기 위해 쓰이는 방식이 연합 학습(Federated Learning)입니다. 데이터를 한 곳에 모으지 않고도 AI 모델을 함께 발전시키는 구조로, 이 글에서는 그 원리와 장점, 보안상의 한계, 실제 도입 방법을 차례로 정리합니다.

데이터를 보내지 않고 지능을 키우는 구조

기존 머신 러닝 방식은 단순합니다. 데이터를 중앙 서버 한 곳에 모아두고, 거기서 모델을 훈련시킵니다. 병원 환자 기록이든 금융 거래 내역이든, 어쨌든 한 곳으로 집결시키는 게 기본 전제였습니다. 개인정보 보호 관점에서 보면 이 방식은 꽤 위험한 구조입니다. 전송 중에, 혹은 저장 과정에서 개인 식별 가능 정보(PII, Personally Identifiable Information)가 유출될 가능성이 항상 열려 있으니까요. PII란 특정 개인을 식별할 수 있는 모든 정보, 예컨대 이름, 주민번호, 의료 기록 같은 것들을 말합니다.

연합 학습은 이 구조를 뒤집습니다. 데이터는 각 기기나 서버 안에 그대로 두고, 모델만 이동시킵니다. 중앙 서버가 글로벌 모델을 각 클라이언트 노드에 배포하면, 노드는 자기 로컬 데이터로 모델을 훈련한 뒤 원시 데이터가 아닌 모델 파라미터(Parameter), 즉 학습 결과값만 중앙 서버로 돌려보냅니다. 중앙 서버는 그 업데이트들을 연합 평균화(Federated Averaging) 방식으로 합산해 글로벌 모델을 개선하고, 다시 각 노드로 내려보냅니다. 이 사이클이 모델이 충분히 수렴할 때까지 반복됩니다.

연합 학습의 핵심은 "데이터를 옮기지 않고도 지능이 퍼진다"는 점입니다. 원래 AI는 데이터가 많을수록 좋다는 게 상식인데, 연합 학습은 그 데이터를 직접 보지 않고도 모델이 학습한다는 점에서 기존 패러다임과는 결이 달랐습니다. 이미 구글은 안드로이드 키보드 Gboard에 이 방식을 적용해 사용자 입력 데이터를 기기 밖으로 내보내지 않으면서 예측 정확도를 높이고 있습니다(출처: Google Research).

연합 학습의 유형도 꽤 다양합니다. 스마트폰처럼 연결이 불안정한 소형 기기 수천 대를 활용하는 디바이스 간(Cross-device) 방식이 있고, 병원이나 은행처럼 강력한 컴퓨팅 자원을 가진 소수의 기관 서버끼리 협력하는 사일로 간(Cross-silo) 방식도 있습니다. 또 데이터의 구조에 따라 나뉘는데, 같은 특성(feature)을 가지되 샘플이 다른 경우는 수평형(Horizontal), 같은 샘플을 공유하되 특성이 다른 경우는 수직형(Vertical) 연합 학습이라고 부릅니다. 예를 들어 소매업체와 은행이 동일 고객의 구매 이력과 금융 기록을 각자 보유한 채 공동 추천 모델을 만드는 것이 수직형에 해당합니다.

프라이버시 뒤에 숨은 통제력 상실의 딜레마

연합 학습의 장점은 꽤 실질적입니다. 무엇보다 데이터가 기기를 벗어나지 않으니 GDPR(유럽 일반 데이터 보호 규정)이나 국내 개인정보 보호법 같은 규제를 훨씬 수월하게 충족할 수 있습니다. 민감한 데이터를 직접 전송할 필요가 없어 사이버 공격이나 데이터 유출의 위험 면적 자체가 줄어듭니다. 대역폭 효율도 좋습니다. 수십 기가바이트 데이터를 전송하는 대신 모델 업데이트만 주고받으니 통신 비용이 확연히 낮아집니다.

하지만 운영 단계에서는 까다로운 문제가 생깁니다. 모델 성능이 어느 순간 흔들리기 시작해도, 중앙에서 데이터를 직접 들여다볼 수 없기 때문에 어떤 노드에서 오염된 가중치가 올라오는지 파악하기가 매우 어렵습니다. 이것이 모델 포이즈닝(Model Poisoning) 공격의 위험성입니다. 악의적인 참여자가 자신의 로컬 훈련 데이터를 오염시키거나 조작된 파라미터를 전송하면, 그 영향이 글로벌 모델에 고스란히 녹아들고 뒤늦게 발견되는 경우가 많습니다.

이런 이질성(Heterogeneity) 문제도 만만치 않습니다. 이질성이란 각 노드의 데이터 분포나 컴퓨팅 성능이 제각각이어서 학습 결과가 균일하지 않게 나타나는 현상을 말합니다. 어떤 기기는 데이터가 풍부하고 어떤 기기는 빈약하니 글로벌 모델이 데이터가 많은 노드 쪽으로 편향될 수 있고, 기기 성능 차이 때문에 학습 속도도 들쭉날쭉합니다. 이를 보완하기 위해 FedProx 같은 최적화 알고리즘이 개발됐는데, 이는 각 노드의 로컬 업데이트가 글로벌 모델에서 너무 멀리 벗어나지 않도록 제약을 두는 방식입니다.

그나마 다행인 건 차등 프라이버시(Differential Privacy)나 보안 다자간 연산(SMPC, Secure Multi-Party Computation) 같은 암호화 기법이 병행된다는 점입니다. 차등 프라이버시는 업데이트를 전송하기 전에 의도적으로 노이즈를 섞어 어떤 노드에서 나온 데이터인지 역추적하기 어렵게 만들고, SMPC는 서버가 암호화된 상태 그대로 집계 연산을 수행할 수 있게 합니다. 하지만 이 과정에서 정확도 손실이 발생하는 건 불가피하고, 통신 오버헤드도 증가합니다. 보안을 높일수록 성능의 어딘가를 포기해야 하는 트레이드오프는 결코 피해갈 수 없습니다.

연합 학습이 실제로 활용되고 있는 분야를 정리해보면 이렇습니다.

1. 의료: 여러 병원이 환자 데이터를 공유하지 않으면서도 희귀 질환 진단 모델을 공동 훈련. 데이터가 적은 소수 병원도 고성능 모델 혜택 가능
2. 금융: 복수의 은행이 각자의 거래 기록으로 공통 사기 탐지 알고리즘을 훈련해 탐지 정확도 향상
3. 모바일: 스마트폰 키보드 자동완성, 음성 인식 개선 등 사용자 입력 데이터를 기기 내에서 학습
4. 스마트 시티: 도시 곳곳 IoT 센서 데이터를 집합하지 않고 교통 흐름 최적화 및 환경 모니터링에 활용

실전에서 연합 학습을 도입하려면

연합 학습을 실제 프로젝트에 적용하는 건 개념을 이해하는 것과 전혀 다른 이야기입니다. 개념 이해와는 다른 차원의 준비가 필요합니다. 다행히 현재는 몇 가지 실용적인 프레임워크가 잘 갖춰져 있어 진입 장벽이 낮아지고 있습니다.

Flower는 오픈 소스 기반으로 PyTorch, TensorFlow 등 주요 머신 러닝 프레임워크와 폭넓게 호환되고, 다양한 하드웨어 환경에서도 유연하게 동작합니다. Google이 만든 TensorFlow Federated(TFF)는 두 개 계층의 API로 구성됩니다. 상위 레벨 API인 Federated Learning API는 기존 모델을 연합 학습 방식으로 훈련하거나 평가하는 데 쓰이고, 하위 레벨 API인 Federated Core API는 새 알고리즘을 직접 설계할 때 사용합니다. NVIDIA FLARE는 의료 영상 분야에서 특히 주목받는 SDK로, 연합 평균화와 FedProx가 기본 탑재되어 있고 관리 툴도 함께 제공됩니다. IBM Federated Learning은 엔터프라이즈 환경에 초점을 맞춰 Decision Trees, 나이브 베이즈 분류기, 강화 학습 등 다양한 알고리즘을 지원하며 AI 편향을 줄이기 위한 공정성(Fairness) 기법도 담고 있습니다.

프레임워크 선택보다 더 중요한 건 노드 간 신뢰 관계 설계입니다. 어떤 노드가 참여하는지, 그 노드의 업데이트를 어느 수준까지 신뢰할지를 사전에 명확히 정의하지 않으면 나중에 모델 성능 문제의 원인을 추적하기가 굉장히 어렵습니다. 이상 탐지(Anomaly Detection) 로직을 집계 단계에 미리 심어두는 것도 필수입니다.

규제 측면에서도 연합 학습은 갈수록 중요해지고 있습니다. 유럽연합의 AI 법(EU AI Act)이 본격 시행에 들어가면서 고위험 AI 시스템에 대한 투명성과 데이터 거버넌스 요건이 강화되고 있는데(출처: European Commission), 연합 학습은 이 흐름에서 기술적 해결책 중 하나로 자리매김하고 있습니다. 데이터를 한 곳에 모으지 않아도 된다는 구조적 특성이 규제 준수 비용을 낮춰주기 때문입니다.

자주 묻는 질문

Q. 연합 학습을 쓰면 데이터가 완전히 안전한가요?

A. 완전한 보안을 보장하지는 않습니다. 데이터 자체는 기기 밖으로 나가지 않지만, 모델 파라미터를 역분석해 원본 데이터를 추론하는 '모델 역전 공격(Model Inversion Attack)'이 이론적으로 가능합니다. 그래서 실제 시스템에서는 차등 프라이버시처럼 노이즈를 추가하는 암호화 기법을 병행하는 것이 기본입니다. 프라이버시를 크게 높여주는 건 맞지만, "완벽히 안전하다"고 단정하기는 어렵습니다.

Q. 연합 학습이 일반 중앙 집중식 학습보다 성능이 떨어지나요?

A. 조건에 따라 다릅니다. 데이터 분포가 균일하고 참여 노드가 충분히 많다면 성능 차이가 거의 없는 경우도 있습니다. 하지만 각 노드의 데이터 특성이 제각각인 통계적 이질성 환경에서는 글로벌 모델의 수렴이 느리거나 정확도가 낮아질 수 있습니다. 실무에서는 성능 저하보다 디버깅의 어려움이 더 큰 부담으로 꼽히기도 합니다.

Q. 연합 학습을 시작하기 위해 어떤 프레임워크를 추천하나요?

A. 처음 시작한다면 Flower를 권합니다. 기존에 쓰던 PyTorch나 TensorFlow 코드를 크게 바꾸지 않아도 연합 학습 구조로 전환할 수 있고, 커뮤니티도 활발합니다. 의료나 금융처럼 엔터프라이즈 환경이라면 IBM Federated Learning이나 NVIDIA FLARE가 더 적합할 수 있습니다. 어떤 도구보다 먼저 노드 간 신뢰 구조와 이상 탐지 로직을 설계하는 게 선행돼야 합니다.

Q. 연합 학습이 실제 서비스에 적용된 사례가 있나요?

A. 있습니다. 가장 잘 알려진 사례는 Google의 Gboard로, 스마트폰 키보드가 사용자 입력 패턴을 기기 안에서 학습해 다음 단어를 예측하는 기능에 연합 학습이 쓰입니다. 의료 분야에서는 여러 병원 컨소시엄이 뇌종양 세분화 모델을 공동 훈련한 FeTS(Federated Tumor Segmentation) 프로젝트가 대표적입니다. 금융권에서도 복수 기관이 거래 이상 탐지 모델을 공동 운용하는 시도가 이어지고 있습니다.

Q. 연합 학습에서 통신 비용이 문제가 된다고 하는데, 어떻게 줄일 수 있나요?

A. 모델 업데이트를 전송하기 전에 양자화(Quantization), 즉 파라미터의 수치 정밀도를 낮춰 데이터 크기를 줄이는 방식이 자주 쓰입니다. 희소화(Sparsification)도 있는데, 이는 변화가 미미한 파라미터는 아예 전송하지 않는 방법입니다. 다만 이런 압축 기법은 정확도를 어느 정도 희생하는 트레이드오프가 있어서, 어느 수준까지 압축할지는 서비스 특성에 맞게 조율해야 합니다.

연합 학습은 "데이터를 포기하지 않아도 된다"는 선택지를 처음으로 현실화한 기술입니다. 그러나 이 기술은 도입 자체보다 운용 단계에서 진짜 시험이 시작됩니다. 분산 환경의 복잡성, 모델 품질 검증의 어려움, 악의적 참여자에 대한 방어 체계까지, 해결해야 할 과제가 적지 않습니다. 관심이 생겼다면 Flower 같은 오픈 소스 프레임워크로 소규모 실험부터 시작해보는 것을 권합니다. 구조를 직접 손으로 만져봐야 이 기술이 어디서 빛나고 어디서 한계를 드러내는지 제대로 보입니다.

---

참고: https://www.ibm.com/kr-ko/think/topics/federated-learning
https://research.google/blog/federated-learning-collaborative-machine-learning-without-centralized-training-data/
https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai