생성형 AI를 비교할 때 자주 등장하는 숫자가 있습니다.

바로 파라미터(parameter)입니다.

AI 모델을 설명하는 기사에서 수십억 개, 수천억 개의 파라미터라는 표현을 쉽게 볼 수 있습니다. 숫자가 커질수록 왠지 더 많은 정보를 기억하고 더 복잡한 문제를 해결할 수 있을 것처럼 느껴집니다.

그렇다면 정말 그럴까요?

AI 모델은 클수록 무조건 더 똑똑한 것일까요?

결론부터 말하면 모델의 크기는 AI 성능을 높이는 중요한 요소 중 하나이지만, 파라미터 수 하나만으로 모델의 지능이나 실제 활용성을 판단하기는 어렵습니다.

실제로 언어 모델의 규모를 키우면 일정한 조건에서 성능이 향상되는 경향이 여러 연구에서 확인됐습니다. 하지만 모델 크기뿐 아니라 학습 데이터의 양과 품질, 학습에 사용한 연산량, 모델 구조, 학습 방법, 추론 방식 등이 함께 영향을 미칩니다.

2022년 발표된 Chinchilla 연구에서는 같은 수준의 계산 자원을 사용할 때 단순히 모델만 크게 만드는 것보다 모델 크기와 학습 데이터의 양을 함께 조절하는 것이 중요하다는 결과가 제시됐습니다. 연구진은 70억이 아니라 700억 수준의 모델과 더 많은 학습 데이터를 활용한 Chinchilla가 더 큰 2800억 파라미터 Gopher보다 여러 평가에서 더 좋은 결과를 보였다고 보고했습니다.

이번 글에서는 AI 모델의 크기가 무엇을 의미하는지부터 시작해, 왜 큰 모델이 강력해질 수 있는지, 그리고 왜 작은 모델도 충분히 경쟁력을 가질 수 있는지를 차근차근 살펴보겠습니다.

① AI 모델의 크기란 무엇인가?

AI 모델의 ‘크기’를 이야기할 때 가장 흔하게 사용되는 기준이 파라미터 수입니다.

파라미터는 AI가 학습 과정에서 조정하는 일종의 수치적 가중치입니다.

쉽게 비유하면 AI가 수많은 데이터를 학습하면서 문제를 해결하기 위해 내부적으로 조정해 놓은 수많은 숫자라고 생각할 수 있습니다.

예를 들어 어떤 모델이 10억 개의 파라미터를 가지고 있다고 해서 AI 안에 사람이 만든 지식 10억 개가 저장되어 있다는 의미는 아닙니다.

파라미터는 특정한 문장이나 사실을 각각 하나씩 저장하는 데이터베이스와는 다릅니다.

AI는 학습 과정에서 수많은 데이터를 처리하면서 언어와 정보 사이의 관계를 파라미터에 반영합니다.

따라서 다음과 같이 생각하는 편이 더 정확합니다.

파라미터 수 = AI가 학습 과정에서 조정할 수 있는 모델의 규모를 나타내는 중요한 지표

하지만 이것이 곧바로

파라미터 수 = 지능

을 의미하지는 않습니다.

AI 모델 크기를 이해하는 간단한 도식

학습 데이터
     ↓
AI 모델의 학습
     ↓
수많은 파라미터 조정
     ↓
언어·정보·패턴에 대한 내부 표현 형성
     ↓
사용자의 입력 처리
     ↓
예측·추론·생성

여기서 중요한 부분은 파라미터가 많다고 해서 자동으로 좋은 모델이 만들어지는 것은 아니라는 점입니다.

좋은 모델을 만들기 위해서는 모델에 얼마나 많은 파라미터를 넣을 것인지뿐만 아니라 어떤 데이터를 얼마나 학습시키고 어떤 방식으로 학습시키느냐도 중요합니다.

실제로 2020년 발표된 연구인 Scaling Laws for Neural Language Models에서는 언어 모델의 성능이 모델 크기뿐 아니라 데이터셋 크기와 학습에 사용되는 연산량과도 일정한 관계를 보인다고 분석했습니다.

Scaling Laws for Neural Language Models — OpenAI 공식 페이지

② 파라미터가 많으면 왜 성능이 좋아지는가?

그렇다면 왜 AI 업계에서는 오랫동안 모델의 규모를 키우는 데 집중했을까요?

가장 큰 이유는 더 큰 모델이 더 많은 복잡한 패턴을 학습할 수 있는 능력을 가질 수 있기 때문입니다.

사람이 아주 복잡한 문제를 해결하려면 다양한 경험과 지식이 필요하듯이 AI 모델도 많은 데이터를 학습하면서 언어와 정보의 관계를 파악해야 합니다.

모델의 규모가 충분히 크면 더 복잡한 패턴을 표현할 수 있는 여지가 커집니다.

예를 들어 다음과 같은 문장을 생각해 보겠습니다.

“삼성전자가 새로운 반도체 공장을 건설하면서 생산 능력이 증가했다.”

단순한 언어 모델이라면 각각의 단어가 등장하는 패턴을 학습하는 데 집중할 수 있습니다.

하지만 더 복잡한 모델은 여기에 등장하는

• 기업
• 투자
• 생산능력
• 반도체
• 공급망
• 산업 경쟁력

등의 관계를 더 다양한 형태로 학습할 가능성이 있습니다.

물론 이것이 모델이 실제로 사람처럼 해당 개념을 이해한다는 의미는 아닙니다.

모델이 학습할 수 있는 표현의 복잡성이 증가할 수 있다는 의미에 가깝습니다.

모델 규모가 커질 때 기대할 수 있는 변화

따라서 큰 모델이 유리한 이유는 단순히 숫자가 크기 때문이 아니라 더 많은 모델 용량(capacity)을 활용할 수 있기 때문이라고 보는 것이 적절합니다.

③ 그렇다면 큰 모델 = 더 똑똑한 모델인가?

여기서 중요한 질문이 등장합니다.

“그렇다면 모델을 계속 크게 만들면 AI는 계속 똑똑해지는 것일까?”

초기 연구 결과만 보면 어느 정도는 그렇다고 볼 수 있습니다.

Kaplan 등의 연구는 모델 크기와 데이터셋 크기, 학습 연산량이 증가하면서 언어 모델의 손실(loss)이 일정한 스케일링 경향을 보인다는 사실을 분석했습니다. 즉, 적절한 조건에서 모델을 확대하면 성능이 계속 개선되는 경향이 관찰됐습니다.

하지만 여기서 “크면 무조건 좋다”라고 결론을 내리면 중요한 부분을 놓치게 됩니다.

왜냐하면 모델의 크기를 늘리는 것과 함께 학습 데이터와 계산 자원도 적절하게 조절해야 하기 때문입니다.

이 점을 잘 보여주는 연구가 바로 2022년의 Chinchilla 연구입니다.

연구진은 다양한 크기의 언어 모델을 학습시킨 뒤 제한된 계산 자원을 어떻게 배분하는 것이 효율적인지를 분석했습니다.

그 결과 단순히 파라미터 수를 늘리는 방식보다 모델 크기와 학습 토큰 수를 함께 증가시키는 방식이 계산 자원을 더 효율적으로 사용할 수 있다는 결론을 제시했습니다.

특히 Chinchilla는 70B 파라미터 규모였지만 4배 더 많은 데이터를 학습했고, 같은 계산 예산을 사용한 280B 파라미터 Gopher를 여러 평가에서 능가했습니다.

이 결과가 중요한 이유는 간단합니다.

더 큰 모델이라고 해서 항상 더 잘 학습된 모델은 아니다.

④ 반드시 그렇지는 않은 이유

AI 모델의 성능을 파라미터 숫자 하나로 설명하기 어려운 이유는 여러 가지가 있습니다.

첫 번째 이유 — 학습 데이터가 중요하다

AI는 모델 내부의 파라미터만으로 만들어지는 것이 아닙니다.

어떤 데이터를 학습했는지도 매우 중요합니다.

예를 들어 같은 크기의 두 모델이 있다고 가정해 보겠습니다.

A 모델

• 100억 파라미터
• 품질이 낮은 데이터 중심
• 중복 데이터가 많음
• 학습 과정이 충분하지 않음

B 모델

• 70억 파라미터
• 상대적으로 품질 높은 데이터
• 적절한 데이터 구성
• 효율적인 학습

단순히 숫자만 보면 A 모델이 더 큽니다.

하지만 실제 성능에서는 B 모델이 특정 작업에서 더 좋은 결과를 낼 가능성이 있습니다.

Chinchilla 연구 역시 바로 이 문제를 보여줍니다. 모델 크기와 함께 학습 데이터의 양을 적절하게 조정하는 것이 중요하다는 것입니다.

두 번째 이유 — 모델 구조와 학습 방법이 다르다

AI 모델은 단순히 파라미터를 늘리는 것만으로 만들어지지 않습니다.

같은 파라미터 수라도

• 모델 구조
• 학습 알고리즘
• 데이터 구성
• 학습 단계
• 파인튜닝
• 추론 방법

등에 따라 결과가 달라질 수 있습니다.

따라서

100억 파라미터 모델 A > 80억 파라미터 모델 B

라고 단순하게 결론 내릴 수 없습니다.

실제로 최근 AI 모델을 비교할 때는 단순 파라미터 수보다 다양한 벤치마크와 실제 사용 환경을 함께 살펴보는 이유도 여기에 있습니다.

세 번째 이유 — ‘성능’은 하나의 숫자가 아니다

AI에게도 모든 시험에서 똑같이 잘하는 학생은 없습니다.

어떤 AI는 코딩에 강할 수 있고, 다른 AI는 번역이나 요약에 강할 수 있습니다.

또 다른 모델은 이미지나 음성 처리에 특화될 수도 있습니다.

따라서 AI 모델의 성능을 평가할 때는 최소한 다음과 같이 나누어 볼 필요가 있습니다.

AI 성능
│
├─ 언어 이해
├─ 추론
├─ 수학
├─ 코딩
├─ 지식 처리
├─ 긴 문맥 처리
├─ 생성 품질
└─ 특정 분야 전문성

즉,

“어떤 모델이 더 똑똑한가?”

라는 질문보다

“어떤 작업에서 어떤 모델이 더 좋은가?”

라는 질문이 더 정확합니다.

네 번째 이유 — 실제 사용 환경에서는 효율도 성능이다

모델의 성능이 아무리 좋아도 실행하는 데 지나치게 많은 자원이 필요하다면 모든 상황에서 좋은 모델이라고 말하기 어렵습니다.

예를 들어 스마트폰에서 간단한 음성 명령을 처리하는 기능을 생각해 봅시다.

이 작업 하나를 처리하기 위해 거대한 데이터센터급 모델을 사용한다면 기술적으로 가능하더라도 비용과 지연시간 측면에서 비효율적일 수 있습니다.

반대로 상대적으로 작은 모델이 해당 작업을 충분히 수행할 수 있다면 작은 모델이 실제 제품에서는 더 적합할 수 있습니다.

이것이 바로 AI 모델 경쟁에서 효율성이 중요한 이유입니다.

⑤ 작은 모델이 더 유리한 경우

그렇다면 작은 AI 모델은 단순히 큰 모델의 열등한 버전일까요?

그렇지도 않습니다.

특정 환경에서는 오히려 작은 모델이 더 적합할 수 있습니다.

대표적인 사례가 기기 내부에서 AI를 실행해야 하는 경우입니다.

스마트폰이나 PC에서 AI를 실행하려면 모델의 메모리 사용량과 연산량을 고려해야 합니다.

Meneruva에서 앞서 살펴본 온디바이스 AI 역시 이런 문제와 연결됩니다.

기기에서 AI를 직접 실행하려면 클라우드 데이터센터에서 실행되는 초대형 모델과 동일한 모델을 그대로 사용하는 것보다 기기의 제한된 자원에 맞는 모델과 실행 방식이 중요해집니다.

Meneruva — 온디바이스 AI란 무엇일까?

실생활 예시

스마트폰에서 다음과 같은 작업을 한다고 생각해 보겠습니다.

“회의 녹음을 짧게 요약해줘.”

이 작업에 반드시 가장 거대한 AI 모델이 필요한 것은 아닙니다.

사용자의 기기에서 음성을 문자로 변환하고 핵심 내용을 짧게 정리하는 것이 목적이라면, 충분히 최적화된 작은 모델이 더 빠르고 효율적인 선택이 될 수 있습니다.

반면,

“복잡한 사업 보고서를 분석하고 여러 자료를 비교한 뒤 장기적인 전략을 제안해줘.”

처럼 여러 종류의 정보를 종합해야 하는 작업에서는 더 많은 모델 용량과 계산 자원이 유리할 수 있습니다.

결국 모델의 크기와 사용 목적이 맞아야 합니다.

작은 모델이 실제로 가능성을 보여준 사례

작은 모델의 가능성을 보여주는 연구 사례도 있습니다.

2019년 발표된 DistilBERT 연구에서는 지식 증류(knowledge distillation)를 이용해 BERT보다 작은 모델을 만들었습니다.

연구진은 DistilBERT가 BERT보다 모델 크기를 40% 줄이면서 GLUE 평가에서 원래 모델의 언어 이해 성능의 97%를 유지하고, 추론 속도는 60% 빨라졌다고 보고했습니다.

DistilBERT 논문 — arXiv

이 사례는 중요한 사실을 보여줍니다.

작아진 모델이 반드시 쓸모없는 모델이 되는 것은 아니다.

모델을 압축하거나 지식을 전달하는 방법을 활용하면 상대적으로 작은 모델에서도 상당한 성능을 유지할 수 있습니다.

다만 여기서 40%, 60%, 97%라는 수치를 모든 AI 모델에 일반화해서는 안 됩니다.

이는 특정 연구에서 특정 조건과 벤치마크를 사용해 얻은 결과이기 때문입니다.

이런 구분이 AI 모델의 성능을 제대로 이해할 때 중요합니다.

⑥ 모델 크기보다 중요한 것들

그렇다면 AI 모델을 비교할 때 무엇을 봐야 할까요?

저는 다음과 같은 순서로 생각하는 것이 이해하기 쉽다고 봅니다.

AI 모델을 평가하는 6가지 기준

이 표에서 가장 중요한 부분은 마지막 항목입니다.

AI 모델의 최종 가치는 파라미터 숫자보다 사용 목적에 따라 달라질 수 있습니다.

예를 들어 자동차에 비유하면 이해하기 쉽습니다.

경주용 자동차와 소형 전기차를 비교하면서

“어느 자동차가 더 좋은가?”

라고 묻는 것은 애매합니다.

경주장에서는 경주용 자동차가 유리할 수 있습니다.

하지만 출퇴근과 주차 편의성, 유지비를 중요하게 생각한다면 소형 전기차가 더 적합할 수 있습니다.

AI 모델도 비슷합니다.

큰 모델
→ 높은 모델 용량
→ 복잡한 작업에서 강점 가능
→ 하지만 높은 계산·메모리 비용
작은 모델
→ 낮은 계산·메모리 부담
→ 특정 작업에 최적화하기 쉬움
→ 기기 내부 실행에 유리할 수 있음

따라서 AI 모델의 경쟁은 단순히 ‘누가 더 큰가’가 아니라 ‘주어진 자원으로 어떤 성능을 내는가’로 바라볼 필요가 있습니다.

⑦ 앞으로 AI 모델 경쟁은 ‘크기’에서 ‘효율’로 이동할까?

그렇다면 앞으로 AI 모델 경쟁은 완전히 다른 방향으로 바뀌게 될까요?

아마도 ‘크기’가 사라지기보다는 크기와 효율을 함께 추구하는 방향으로 발전할 가능성이 높습니다.

모델을 크게 만드는 것이 여전히 유용한 영역이 있기 때문입니다.

복잡한 언어 처리나 다양한 분야의 작업을 수행해야 한다면 충분한 모델 용량이 중요한 역할을 할 수 있습니다.

하지만 AI가 데이터센터를 넘어 PC, 스마트폰, 자동차, 로봇, 각종 기기로 확산될수록 상황이 달라집니다.

모든 기기에 거대한 모델을 탑재하는 것은 현실적인 제약이 있습니다.

그래서 앞으로는 다음과 같은 방향이 함께 발전할 가능성이 있습니다.

앞으로의 AI 모델 경쟁

        AI 모델 발전
             │
     ┌───────┴───────┐
     ↓               ↓
   대형화           효율화
     │               │
더 복잡한 작업     낮은 비용
더 많은 능력       빠른 응답
     │               │
     └───────┬───────┘
             ↓
       목적에 맞는 모델
             │
     ┌───────┼────────┐
     ↓       ↓        ↓
 데이터센터   PC      스마트폰
   AI        AI        AI

이런 변화는 Meneruva가 앞서 다룬 AI PC와 온디바이스 AI의 흐름과도 연결됩니다.

AI PC에서는 NPU와 같은 전용 연산 장치가 등장하면서 AI 작업을 기기에서 효율적으로 처리하려는 방향이 나타나고 있습니다. Meneruva의 기존 글에서도 AI PC의 중요한 특징으로 CPU·GPU·NPU가 AI 작업을 나누어 처리하는 구조와, 기기에서 사용할 수 있는 모델의 크기 및 성능에 한계가 있다는 점을 설명했습니다.

Meneruva — AI PC 시대가 본격화되는 이유

따라서 앞으로는

가장 큰 AI 모델

보다

주어진 환경에서 가장 효율적으로 원하는 성능을 내는 AI 모델

이라는 관점이 더욱 중요해질 수 있습니다.

그렇다면 AI 모델은 클수록 똑똑한가?

다시 처음의 질문으로 돌아가 보겠습니다.

AI 모델은 클수록 똑똑할까요?

답은 “일정한 조건에서는 큰 모델이 성능 향상에 유리하지만, 파라미터 수만으로 AI의 성능을 판단할 수는 없다”입니다.

연구 결과를 종합하면 모델의 규모를 키우는 것은 언어 모델 성능을 향상시키는 중요한 방법이 될 수 있습니다. Kaplan 등의 연구에서는 모델 크기와 데이터, 연산량 사이의 스케일링 관계가 관찰됐습니다.

하지만 Chinchilla 연구는 모델 크기만 키우는 것보다 모델과 학습 데이터를 적절하게 함께 확장하는 것이 중요할 수 있음을 보여줬습니다.

또한 DistilBERT 같은 연구는 더 작은 모델에서도 상당한 성능을 유지하면서 속도와 자원 효율성을 높일 수 있는 방법을 보여줬습니다.

결국 AI 모델을 평가할 때 가장 단순한 질문은

“파라미터가 몇 개야?”

가 아닙니다.

더 중요한 질문은 다음과 같습니다.

어떤 데이터를 학습했는가?

어떤 방식으로 학습했는가?

어떤 작업에서 성능을 보이는가?

그 성능을 얻기 위해 얼마나 많은 자원이 필요한가?

실제 사용 환경에서 얼마나 유용한가?

AI의 다음 경쟁은 ‘가장 큰 모델’이 아닐 수도 있다

지금까지 AI 산업의 발전을 보면 모델의 규모를 키우는 것이 매우 중요한 전략이었습니다.

실제로 대규모 모델은 다양한 작업에서 높은 성능을 보여주며 생성형 AI의 발전을 이끌었습니다.

하지만 AI가 연구실과 데이터센터를 넘어 개인의 스마트폰, PC, 자동차, 로봇과 같은 다양한 환경으로 들어가기 시작하면서 새로운 질문이 등장하고 있습니다.

“얼마나 큰 모델을 만들 수 있는가?”

에서

“필요한 성능을 얼마나 효율적으로 제공할 수 있는가?”

로 관심이 확장되고 있는 것입니다.

이것은 큰 모델의 시대가 끝난다는 의미가 아닙니다.

오히려 앞으로는 대형 모델과 소형 모델이 서로 다른 역할을 맡는 구조가 발전할 가능성이 있습니다.

복잡한 작업은 대형 모델이 담당하고, 빠른 응답이나 기기 내부 처리, 특정 분야에 최적화된 작업은 작은 모델이 담당하는 식입니다.

결국 미래의 AI 경쟁은

크기 vs 작기

라는 단순한 대결보다는

성능 × 효율 × 목적

이라는 세 가지 요소의 균형을 찾는 방향으로 발전할 가능성이 높습니다.

AI 모델을 볼 때 파라미터 숫자가 눈에 가장 먼저 들어오는 것은 자연스러운 일입니다.

하지만 다음부터는 숫자 하나만 보고 모델의 능력을 판단하기보다,

“이 모델은 무엇을 잘하고, 어떤 자원으로 그 성능을 만들어내는가?”

라는 질문을 함께 던져보는 것이 더 정확한 AI 활용의 출발점이 될 것입니다.

마무리

AI 모델의 크기는 분명 중요한 지표입니다.

하지만 큰 모델이 항상 더 좋은 모델이라는 공식은 없습니다.

좋은 AI 모델을 판단하기 위해서는 파라미터 수뿐 아니라 데이터, 학습 방식, 평가 결과, 계산 비용, 실제 사용 목적을 함께 살펴봐야 합니다.

AI가 점점 더 다양한 기기와 서비스에 들어가는 지금, 앞으로의 경쟁은 단순히 ‘더 큰 AI’를 만드는 것에서 나아가 ‘필요한 성능을 가장 효율적으로 제공하는 AI’를 만드는 방향으로 확장될 가능성이 있습니다.

어쩌면 AI 산업의 다음 질문은

“누가 가장 큰 모델을 만드는가?”

가 아니라

“누가 가장 적절한 크기로 가장 높은 가치를 만들어내는가?”

가 될지도 모릅니다.

참고자료

Zhang et al. — TinyLlama: An Open-Source Small Language Model
TinyLlama 논문 원문 — arXiv

OpenAI — Scaling Laws for Neural Language Models
OpenAI 공식 연구 소개

Kaplan et al. — Scaling Laws for Neural Language Models, arXiv
논문 원문 — arXiv

Hoffmann et al. — Training Compute-Optimal Large Language Models (Chinchilla), arXiv
Chinchilla 논문 원문 — arXiv

Sanh et al. — DistilBERT: A Distilled Version of BERT, arXiv
DistilBERT 논문 원문 — arXiv