생성형 AI의 다음 스텝은? Retraining vs Finetuning vs Adaptation

AI 모델이 점점 더 일상에 파고들고 있다. 처음엔 단순히 문장을 예쁘게 정리해주는 정도였지만, 지금은 마케팅 전략을 짜고, 코드 리뷰를 하고, 기업 내부 문서를 요약하고, 심지어 프레젠테이션까지 만들어준다. 그런데 이럴수록 드는 궁금증 하나. “이 모델은 어떻게 이렇게 다양한 걸 할 수 있는 걸까?” 특히 기업에서 생성형 AI를 도입하거나, 자신만의 GPT를 만들려는 사람들에게는 이 질문이 꽤 중요해진다. 바로 그때 등장하는 키워드가 'Retraining', 'Finetuning', 'Adaptation'이다. 나도 처음엔 이 셋의 차이를 제대로 이해하지 못했는데, 직접 실험하고 적용해보면서 이 구조들이 왜 필요한지, 또 각각의 전략이 어떤 맥락에서 쓰이는지를 조금씩 알게 됐다. 이 글은 그 정리의 결과다.

Retraining – 거대한 공장을 다시 짓는 일

Retraining이란 쉽게 말해 모델 전체를 다시 학습시키는 작업이다. 예를 들어 GPT-4처럼 대규모 모델을 처음부터 학습시키는 건 바로 이 방식이다. 텍스트, 이미지, 코드 등 다양한 데이터를 수십억 단위로 넣고, 수개월에 걸쳐 반복 훈련을 시켜서 하나의 완성형 모델을 만드는 작업이다. 듣기만 해도 어마어마하게 비싸고 복잡해 보이지 않는가? 실제로도 그렇다. 내가 최근 조사한 바로는, GPT-3 수준의 모델을 학습시키는 데만 GPU 수천 대, 전기요금 수십억 원이 든다고 한다. 일반 개인이나 중소기업은 애초에 시도조차 할 수 없는 규모다. 그래서 실무적으로는 이 방식은 대형 AI 기업의 영역으로 한정된다. 그런데 흥미로운 건, 이 방식이 주는 자유도다. 데이터를 처음부터 설계하고, 언어 구조부터 규칙을 조정하며, 특정 분야에 최적화된 독자적인 모델을 만들 수 있다는 점은 분명 매력적이다. 내가 만약 AI로 의료 분야만을 위한 초전문 AI를 만든다고 한다면, 결국엔 Retraining이 필요해진다. 왜냐하면 기존 모델이 갖고 있는 편향이나 범용성 한계를 넘어서기 위해서는, 데이터 구조부터 설계해야 하기 때문이다. 다만 이건 마치 공장을 통째로 다시 짓는 것과 비슷하다. 시간, 비용, 인력 모두 10배 이상 들어간다. 그래서 나는 Retraining을 '선택받은 소수의 기술'이라고 부른다. 실험해보고 싶지만, 현실적으로 가장 먼 길이기도 하다.

Finetuning – 범용 모델에 ‘색깔’을 입히다

Retraining이 공장 전체를 새로 짓는 거라면, Finetuning은 기존 모델에 살짝 리모델링을 가하는 방식이라고 볼 수 있다. 나의 경험상 이 방법은 특히 '특정 분야에 적절히 커스터마이즈된 AI'를 만들 때 굉장히 유용하다. 예를 들어 고객 응대용 AI를 만들고 싶을 때, GPT-4처럼 범용 모델에 우리 회사의 FAQ나 상담 이력을 학습시켜 조금 더 우리 조직에 맞는 답변을 하게 만드는 거다. 이게 바로 Finetuning이다. 내가 써본 Hugging Face나 OpenAI의 API에서는 이 기능을 상대적으로 쉽게 제공하고 있고, 최근엔 LoRA(저장 공간 절약 방식)나 PEFT(파라미터 효율 튜닝) 같은 기법 덕분에 학습에 필요한 리소스도 훨씬 줄었다. 하지만 Finetuning에도 분명 함정은 있다. 데이터를 잘못 넣으면 모델이 이상한 방향으로 ‘과적합’될 수도 있고, 원래 가지고 있던 GPT의 능력이 오히려 저하되는 경우도 있다. 나도 한 번, 특정 분야에 맞춰 모델을 학습시켰더니 기존보다 더 뻣뻣하고, 오히려 유연성이 줄어든 결과를 본 적이 있다. 그래서 이 방식을 쓸 땐 학습 데이터의 정제와, 어떤 토픽에 대해 튜닝할지를 명확히 설정하는 게 무엇보다 중요하다. 나는 Finetuning을 ‘칼날을 벼리는 일’이라 표현한다. 잘만 다듬으면 예리하고 쓸모 있지만, 방향을 잘못 잡으면 둔탁하고 쓸모 없는 무기가 되기도 한다. 기업 입장에서는 가장 현실적이면서도 전략적 선택이 될 수 있는 방식이다.

Adaptation – 내 옷 입은 GPT를 만드는 기술

Adaptation은 가장 최근에 각광받는 방식이다. 내가 이 기술에 매료된 이유는 간단하다. 기존 GPT를 그대로 두고, 마치 ‘역할극’을 하듯, 특정 페르소나나 업무 프로세스를 덧입히는 방식이기 때문이다. 우리가 ChatGPT에서 ‘Custom GPT’를 만들거나, 프롬프트에 긴 컨텍스트를 설정해 "너는 지금부터 일본 여행 전문가야"라고 말하면 바로 적용되는 게 이 구조다. 나는 이 방식을 **‘프롬프트 기반 모델링’**이라고 본다. 코드나 별도 훈련 없이도 사용자 관점에서 AI를 원하는 형태로 세팅할 수 있기 때문이다. 말 그대로 GPT에게 내 옷을 입히는 기술이다. Adaptation의 가장 큰 장점은 빠르다는 것이다. 하루만 투자해도 나만의 GPT를 만들 수 있다. 나는 개인적으로 블로그 작성을 도와주는 GPT를 하나 만들어서 자주 활용하고 있는데, 내가 쓰는 문체, 표현 방식, 선호 주제를 학습시켜놓으니 매번 ‘초안 작업’에 엄청난 시간을 절약할 수 있게 되었다. 물론 이건 어디까지나 '얕은 학습'이다. 진짜 Finetuning처럼 모델 내부의 구조나 가중치를 바꾸는 게 아니라, 프롬프트와 설정만 바꾸는 방식이기 때문에 깊은 변화는 어렵다. 그럼에도 불구하고, 현실적으로 접근성과 속도를 고려할 때, Adaptation은 개인이나 팀 단위로 가장 빠르게 사용할 수 있는 선택지라고 생각한다. 특히, 마케팅, 교육, 커뮤니케이션 업무에선 그 유연성과 실용성이 무시할 수 없을 정도다.

생성형 AI는 이제 구조를 설계하는 시대다

Retraining, Finetuning, Adaptation. 세 가지 방식은 단순히 학습 전략이 아니라, **AI를 어떻게 활용하고, 누구를 위한 모델을 만들 것인가에 대한 전략적 선택**이다. 대규모 프로젝트에선 Retraining이 필요할 수도 있고, 실무에선 Finetuning이 더 효율적이며, 개인 사용자나 팀 단위에선 Adaptation이 더 빠르고 현실적일 수 있다. 중요한 건 이 세 가지 방법이 '경쟁'이 아니라 '조합'이라는 점이다. 나도 현재 세 가지를 상황에 따라 혼합해서 사용하고 있다. 어떤 프로젝트는 Finetuning으로 시작해, 세부적인 사용자 대응은 Adaptation으로 다듬는 방식이다. 이제는 더 이상 “GPT를 쓸 줄 아느냐”가 중요한 게 아니다. “GPT를 어떤 구조로 설계하느냐”가 중요해졌다. 모델의 무게보다 그것을 활용하는 전략이 중심이 되는 시대. 생성형 AI의 다음 스텝은 결국 사용자 손에 달려 있다. 어떤 선택지를 조합하느냐에 따라, 그 결과는 완전히 달라질 것이다. 지금 우리는 단순한 AI 사용자가 아니라, **AI 설계자**가 되어야 한다. 그게 바로 생성형 AI 시대의 진짜 주도권이다.