AI 추론 (학습 차이, 배포 환경, 하드웨어)

ChatGPT나 Claude에 질문을 던지고 답변이 나오는 그 순간, 우리는 AI 추론(Inference)이 실제로 작동하는 장면을 목격하고 있습니다. 추론이라는 단어가 거창하게 들릴 수 있지만, 실은 AI의 심장부 같은 개념입니다. 학습을 마친 모델이 실제 데이터를 받아 답을 만들어내는 전 과정, 바로 그게 AI 추론입니다.

AI 학습과 추론, 뭐가 다른가

AI를 처음 공부할 때 학습(Training)과 추론(Inference)을 같은 개념으로 뭉뚱그리는 분들이 꽤 많습니다. 하지만 이 둘은 완전히 다른 목적을 가진 단계입니다.

학습은 말 그대로 모델이 "배우는" 과정입니다. 지도 학습(Supervised Learning)이란 정답이 있는 데이터를 모델에 반복적으로 주입하면서 오류를 줄여나가는 방식을 뜻합니다. 이 과정에서 손실 함수(Loss Function), 즉 모델의 예측이 실제 정답과 얼마나 차이 나는지를 수치로 계산하는 함수가 핵심 역할을 합니다. 모델은 이 손실을 줄이는 방향으로 파라미터, 쉽게 말해 모델 내부의 수많은 조절 가능한 숫자들을 계속 업데이트합니다. 이 업데이트 방향을 계산하는 과정이 역전파(Backpropagation)이고, 순방향으로 예측을 생성하는 과정이 순전파(Forward Pass)입니다.

반면 추론 단계에서는 역전파가 없습니다. 이미 학습이 끝난 파라미터를 그대로 활용해서 새로운 입력에 대한 출력만 만들어냅니다. 순전파만 돌아가는 셈입니다. 학습이 "시험 공부"라면, 추론은 "실제 시험"이라고 볼 수 있습니다.

모델의 성능은 알고리즘의 정교함보다 학습 데이터의 품질에 훨씬 더 크게 좌우됩니다. 편향된 데이터로 학습한 모델은 추론 단계에서 명백한 오류를 확신에 찬 어조로 내놓기도 합니다. 결국 추론의 신뢰성은 학습 단계에서 결정됩니다.

학습과 추론이 완전히 분리된 단계라고 생각하는 분들도 있는데, 늘 그런 것은 아닙니다. 소셜 미디어 추천 알고리즘처럼 사용자 행동 데이터를 기반으로 모델이 지속적으로 미세 조정(Fine-tuning)되는 경우도 있기 때문입니다. 미세 조정이란 이미 학습된 모델을 특정 도메인이나 사용자 패턴에 맞게 추가로 조정하는 과정을 말합니다.

배포 환경, 어디서 추론을 돌릴 것인가

추론을 실제로 서비스에 적용하려면 "어디서 돌릴 것인가"를 결정해야 합니다. 이게 생각보다 훨씬 복잡한 문제입니다. 좋은 모델만 있으면 될 것 같지만, 실제로는 배포 환경 선택이 전체 시스템의 속도, 비용, 보안을 결정합니다.

크게 네 가지 환경으로 나눌 수 있습니다.

1. 온프레미스(On-premises): 조직이 직접 서버를 소유하고 운영하는 방식입니다. 데이터가 외부로 나가지 않아 보안과 규제 준수 측면에서 유리하지만, 초기 하드웨어 투자 비용과 전담 운영 인력이 필요합니다. 의료나 금융처럼 데이터 프라이버시가 민감한 분야에서 선호됩니다.
2. 클라우드(Cloud): IBM, AWS, Google Cloud 같은 외부 공급자의 서버를 빌려 쓰는 방식입니다. 수요에 따라 컴퓨팅 리소스를 빠르게 늘리거나 줄일 수 있어 확장성이 뛰어납니다. 다만 데이터가 제3자 서버를 오가는 만큼 데이터 주권 문제가 생길 수 있습니다.
3. 엣지 배포(Edge Deployment): 데이터가 생성되는 현장, 즉 공장 센서나 병원 모니터링 기기 근처에서 추론을 수행하는 방식입니다. 클라우드로 데이터를 보내는 지연을 줄일 수 있어 실시간 처리가 필요한 상황에 적합합니다.
4. 온디바이스(On-device): 스마트폰이나 노트북 같은 최종 사용자 기기에서 직접 추론을 실행합니다. 개인정보 보호 측면에서 가장 강점이 있지만, 기기 성능에 제약을 받아 카메라 필터나 음성 인식처럼 비교적 가벼운 작업에 주로 쓰입니다.

배포 환경을 선택할 때 가장 먼저 따져볼 것은 "지연 시간(Latency)을 얼마나 허용할 수 있는가"입니다. 지연 시간이란 입력이 들어온 순간부터 결과가 나올 때까지 걸리는 시간을 의미합니다. 자율주행차처럼 밀리초 단위의 반응이 필요한 경우와, 야간 보고서를 생성하는 배치 작업은 완전히 다른 선택지를 요구합니다. 배치 추론(Batch Inference)이란 입력 데이터를 묶음 단위로 모아 한꺼번에 처리하는 방식이고, 온라인 추론(Online Inference)은 입력이 들어오는 즉시 처리하는 방식입니다. GPU 자원을 효율적으로 쓰려면 배치 추론이 유리하고, 실시간 대응이 필요하면 온라인 추론이 불가피합니다.

한편 ChatGPT나 Claude처럼 수천 명이 동시에 사용하는 서비스는 마이크로 배칭(Micro-batching)을 활용합니다. 마이크로 배칭이란 여러 사용자의 요청을 아주 작은 묶음으로 묶어 병렬 처리함으로써, 개별 사용자가 느끼는 응답 속도를 유지하면서 전체 처리 효율도 높이는 방식입니다.

하드웨어가 추론의 한계를 결정한다

추론 성능을 이야기할 때 하드웨어를 빼놓을 수 없습니다. AI 추론은 행렬 연산(Matrix Operation), 즉 수많은 숫자 배열을 동시에 곱하고 더하는 계산을 엄청난 규모로 수행합니다. 이 특성 때문에 CPU보다 GPU(Graphics Processing Unit)가 훨씬 잘 맞습니다. GPU란 수천 개의 소형 처리 코어가 병렬로 작동하도록 설계된 칩으로, 원래는 게임 그래픽 렌더링을 위해 만들어졌지만 딥러닝 연산에 최적화된 구조를 가지고 있습니다.

그런데 GPU가 유일한 정답은 아닙니다. 모델의 규모와 사용 환경에 따라 선택지가 달라집니다. 상황에 따라서는 GPU보다 다른 칩이 더 효율적인 경우도 있습니다.

Google이 신경망 연산 전용으로 만든 TPU(Tensor Processing Unit)는 범용성은 낮지만 대규모 행렬 연산에서 GPU보다 더 빠르고 에너지 효율적입니다. 모바일 기기에 탑재된 NPU(Neural Processing Unit)는 신경망 연산을 저전력으로 처리할 수 있도록 설계된 칩으로, 스마트폰에서 얼굴 인식이나 번역 기능을 가능하게 합니다. FPGA(Field Programmable Gate Array)는 특정 목적에 맞게 회로를 재프로그래밍할 수 있는 칩이고, ASIC(Application-Specific Integrated Circuit)은 단 하나의 작업을 최대 효율로 수행하도록 고정된 칩입니다. Google의 TPU 자체가 ASIC의 한 종류입니다.

대형 언어 모델(LLM)처럼 수십억 개의 파라미터를 가진 모델은 단일 GPU 하나로는 메모리가 부족한 경우가 많습니다. 이때 분산 추론(Distributed Inference) 기술이 필요합니다. 분산 추론이란 하나의 모델을 여러 GPU에 나눠서 실행하는 방식으로, 데이터 병렬 처리, 파이프라인 병렬 처리, 텐서 병렬 처리 세 가지 방식이 대표적으로 쓰입니다. 파이프라인 병렬 처리(Pipeline Parallelism)란 신경망의 각 계층을 서로 다른 GPU에 할당해 순차적으로 처리하는 방식이고, 텐서 병렬 처리(Tensor Parallelism)는 계층 내부의 가중치 행렬 자체를 여러 GPU에 쪼개는 방식입니다.

하드웨어 선택이 단순히 속도 문제만이 아니라는 점도 짚어두고 싶습니다. AI 인프라의 전력 소비와 탄소 발자국 문제는 최근 연구자들 사이에서도 진지하게 논의되고 있습니다. 스트롬버그 외 연구팀(2019, arXiv)의 연구에 따르면 대형 NLP 모델 하나를 학습시키는 과정에서 발생하는 탄소 배출량이 승용차 한 대의 생애 주기 배출량에 맞먹는 수준이라는 분석이 나온 바 있습니다. 추론 단계에서의 효율적인 하드웨어 선택과 배치 전략이 단순한 비용 문제를 넘어 환경적 책임과도 연결된다는 시각이 설득력을 얻고 있습니다.

AI 추론 최적화와 관련된 기술 동향은 IBM Think(AI 추론 개요)에서도 자세히 확인할 수 있습니다.

자주 묻는 질문

Q. AI 추론과 AI 학습은 실제 비용 측면에서 어떻게 다른가요?

A. 학습은 수백 억 개의 파라미터를 반복적으로 업데이트해야 하므로 한 번 돌리는 데도 막대한 GPU 연산이 필요합니다. 반면 추론은 순전파만 수행하기 때문에 연산량이 상대적으로 적습니다. 그런데 실제 서비스 환경에서는 학습보다 추론이 훨씬 더 자주 반복되기 때문에 누적 비용이 결코 작지 않습니다. 배치 추론으로 GPU 활용률을 높이는 것이 비용 절감의 핵심 전략 중 하나입니다.

Q. 온디바이스 추론은 클라우드 추론보다 항상 느린가요?

A. 항상 그렇지는 않다고 봅니다. 네트워크 지연이 없다는 점에서 온디바이스가 오히려 빠를 수 있는 상황도 있습니다. 다만 기기 자체의 연산 능력이 클라우드 서버보다 제한적이라 복잡한 모델을 돌리기엔 역부족인 경우가 많습니다. 어떤 모델을 어떤 크기로 쓰느냐에 따라 결과가 달라지기 때문에 일률적으로 비교하기는 어렵습니다.

Q. 데이터 편향이 AI 추론 결과에 어떤 영향을 주나요?

A. 추론 결과의 품질은 학습 데이터의 품질과 직결됩니다. 특정 인종, 성별, 문화에 치우친 데이터로 학습된 모델은 추론 단계에서도 편향된 결과를 반복적으로 출력합니다. 편향이 섞인 데이터로 학습한 모델은 오류를 확신 있게 내놓기 때문에 더 위험합니다. 데이터 정제 단계에서의 개입이 추론 신뢰성을 결정짓습니다.

Q. 마이크로 배칭이 필요한 경우는 어떤 상황인가요?

A. 수많은 사용자가 동시에 요청을 보내는 챗봇 서비스처럼, 온라인 추론의 실시간성과 배치 추론의 효율성을 동시에 챙겨야 할 때 마이크로 배칭이 유효합니다. 요청을 아주 짧은 시간 안에 묶어 처리하기 때문에 개별 사용자는 지연을 체감하지 못하면서 서버 입장에서는 자원 낭비를 줄일 수 있습니다. Claude나 ChatGPT 같은 대형 플랫폼이 이 방식을 실제로 활용하는 대표적인 사례입니다.

Q. 분산 추론에서 텐서 병렬 처리와 파이프라인 병렬 처리 중 어느 쪽이 더 낫나요?

A. 어느 쪽이 더 낫다고 단정하기 어렵습니다. 텐서 병렬 처리는 각 GPU의 메모리 부담을 크게 줄여주지만 GPU 간 통신이 빈번해서 오버헤드가 생깁니다. 파이프라인 병렬 처리는 구조가 비교적 직관적이지만 앞 단계가 끝나야 다음 GPU가 시작할 수 있어 준비 시간이 필요합니다. 실제로는 두 방식을 조합해서 쓰는 경우도 많습니다.

AI 추론은 단순히 모델이 답을 뱉어내는 단계가 아닙니다. 학습 데이터의 품질, 배포 환경의 선택, 하드웨어 구성까지 세 가지가 맞물려야 비로소 신뢰할 수 있는 결과가 나옵니다. 이 중에서 가장 과소평가되는 요소는 데이터 품질입니다. 좋은 GPU, 잘 구성된 클라우드 환경이 있어도 편향된 데이터로 학습한 모델은 추론 단계에서 계속 틀린 확신을 내놓습니다. AI를 도입하거나 공부하려는 분이라면, 알고리즘이나 인프라보다 먼저 "이 모델은 어떤 데이터로 무엇을 학습했는가"를 따져보는 습관이 필요합니다.

---

참고: https://www.ibm.com/kr-ko/think/topics/ai-inference
https://arxiv.org/abs/1906.02629