파라미터 수는 모델이 가진 지식의 개수가 아닙니다. 파라미터는 입력 토큰을 다음 토큰의 확률로 바꾸는 동안 사용되는 수치이며, 학습은 예측 오차가 줄어드는 방향으로 이 수치들을 조정하는 과정입니다. 수가 많을수록 복잡한 패턴을 표현할 여지는 커지지만, 데이터와 학습량, 후속학습이 부족하면 그 여지가 그대로 품질이 되지는 않습니다.
편집자 노트 · B2B 도입 관점 — 제안서와 견적서에서 가장 먼저 눈에 들어오는 숫자가 파라미터 수입니다. 이 편은 그 숫자가 무엇을 말하고 무엇을 말하지 않는지 정리합니다. 모델 선정 회의에서 크기 비교로 결론이 나려 할 때 함께 놓고 보시면 좋은 기준입니다.
7B라는 숫자를 지식 70억 개로 읽을 수는 없습니다
모델 이름 옆의 7B, 70B에서 B는 billion, 즉 10억을 뜻합니다. 7B 모델이라면 학습으로 조정되는 수치가 약 70억 개 있다는 의미입니다. 이 숫자는 모델을 처음 비교할 때 가장 눈에 잘 띄지만, 무엇을 세는 숫자인지는 의외로 모호하게 받아들여집니다.
파라미터 하나에 수도 하나, 법률 조항 하나, 프로그래밍 문법 하나가 들어 있는 것은 아닙니다. 하나의 개념은 여러 층과 파라미터의 상호작용으로 표현되고, 같은 파라미터가 문장과 과제에 따라 다른 계산에 참여합니다. 학습 데이터의 한 문장을 특정 주소에 그대로 저장해 꺼내는 구조와도 다릅니다.
조금 단순화하면 각 파라미터는 입력 신호를 얼마나 키우고 줄이며 다른 신호와 섞을지 정하는 숫자입니다. 수십 개 층에서 이 계산을 반복해 마지막에 다음 토큰 후보의 점수를 만듭니다. 파라미터 수는 저장된 답의 개수보다 계산이 조절할 수 있는 자유도의 크기에 가깝습니다.
학습은 틀린 다음 토큰만큼 숫자를 조금씩 바꿉니다
사전학습의 한 회차를 작게 펼치면 구조가 보입니다. 텍스트 일부를 입력하고 모델이 다음 토큰의 확률을 계산한 뒤, 실제 토큰에 얼마나 낮은 확률을 주었는지 손실값으로 측정합니다. 역전파는 이 손실을 줄이려면 각 파라미터가 어느 방향으로 바뀌어야 하는지 기울기를 구하고, 옵티마이저가 값을 조금 업데이트합니다.
학습 문장 일부
→ 다음 토큰 확률 계산
→ 실제 다음 토큰과 비교해 손실 측정
→ 각 파라미터의 기울기 계산
→ 값을 조금 업데이트
→ 다른 문장으로 반복
한 번의 업데이트로 문법이나 사실 하나가 완성되지는 않습니다. 서로 다른 문맥에서 비슷한 관계가 반복되고, 수많은 작은 수정이 쌓이면서 재사용할 수 있는 패턴이 생깁니다. 1편에서 본 다음 토큰 예측 능력은 이 반복의 결과입니다.
여기에는 데이터의 빈도와 구성도 함께 들어갑니다. 잘못된 설명이 반복되면 그 패턴도 학습할 수 있고, 드물게 등장한 언어나 전문 분야는 상대적으로 약하게 표현될 수 있습니다. 파라미터는 데이터에서 배운 관계를 담지만, 데이터가 갖지 않은 균형과 정확성을 스스로 보충하는 저장소는 아닙니다.
더 큰 모델은 더 넓은 표현 공간을 갖습니다
파라미터가 늘면 모델이 구분하고 조합할 수 있는 패턴의 여지가 커집니다. 문장의 미묘한 관계, 여러 단계의 코드 구조, 서로 다른 과제 형식을 같은 모델 안에 담는 데 도움이 됩니다. 같은 데이터와 학습 조건을 충분히 유지할 수 있다면 규모가 성능에 유리하게 작용하는 이유입니다.
신경 언어 모델의 스케일링 법칙 연구는 연구 범위 안에서 모델 크기, 데이터 크기, 학습 연산량이 증가할 때 언어 모델의 손실이 거듭제곱 법칙에 가까운 형태로 개선되는 경향을 보고했습니다. 성능 향상이 완전히 무작위가 아니라 어느 정도 예측 가능한 곡선을 따른다는 관찰이었습니다.
다만 표현할 공간이 크다는 것과 그 공간을 잘 학습했다는 것은 다른 말입니다. 큰 모델을 같은 데이터로 너무 적게 학습하면 충분히 채워지지 않은 용량이 남습니다. 데이터 중복과 오류가 많으면 더 큰 모델이 그 문제까지 더 세밀하게 익힐 수 있습니다.
그래서 파라미터 수는 완성된 능력의 점수라기보다 학습이 사용할 수 있는 용량의 한 조건으로 읽는 편이 맞습니다. 자동차의 엔진 배기량만 보고 실제 주행 시간과 안전성을 모두 알 수 없는 것과 비슷합니다.
같은 연산량에서는 더 작은 모델이 앞선 적도 있습니다
모델 크기만 늘리는 접근의 한계는 학습 연산량을 고정하면 더 분명해집니다. 주어진 계산 예산을 파라미터에 더 쓸지, 더 많은 학습 토큰을 읽는 데 쓸지 선택해야 하기 때문입니다.
Chinchilla 연구는 같은 학습 연산 예산에서 700억 파라미터 모델을 기존 2,800억 파라미터 모델보다 네 배 많은 데이터로 학습했습니다. 해당 연구의 여러 평가에서 700억 모델이 2,800억 모델을 앞섰습니다. 작은 모델이 본질적으로 낫다는 결론이 아니라, 모델 크기와 학습 데이터량의 균형이 어긋나면 큰 용량을 다 쓰지 못한다는 결과입니다.
이 사례는 모델 목록의 숫자를 읽는 순서를 바꿉니다. 먼저 파라미터 수를 보고 끝내는 대신, 몇 개의 토큰으로 학습했는지, 데이터 구성이 무엇인지, 학습이 어느 단계까지 진행됐는지를 함께 봐야 합니다. 공개되지 않은 항목이 있다면 비교할 수 없는 조건으로 남겨두는 편이 정확합니다.
데이터의 양만으로도 충분하지 않습니다. 같은 문서가 여러 번 들어간 데이터와, 서로 다른 분야의 검증된 문서가 들어간 데이터는 토큰 수가 같아도 학습 효과가 다릅니다. 정제 방식과 언어 비율, 코드와 수학 데이터의 구성은 모델이 어느 과제에서 강한지에 영향을 줍니다.
후속학습은 용량을 사용하는 방식을 바꿉니다
사전학습을 마친 모델은 다양한 텍스트 패턴을 이어 쓸 수 있지만, 사용자의 의도를 따르는 방식이 안정적이지는 않습니다. 지시와 모범 답변으로 지도 미세조정을 하고, 선호도 데이터와 강화학습 같은 방법으로 답변 행동을 더 다듬는 이유입니다.
후속학습은 파라미터 수를 크게 늘리지 않고도 체감 품질을 바꿀 수 있습니다. 답변 형식을 따르는 정도, 모르는 질문을 처리하는 방식, 안전 기준, 도구 호출 형식이 여기서 달라집니다. 같은 크기의 기반 모델에서 여러 instruct 변형이 나올 수 있는 이유이기도 합니다.
반대로 후속학습이 사전학습에 없던 모든 지식을 새로 채워주는 것은 아닙니다. 제한된 예시로 행동의 방향을 조정하는 데 가깝습니다. 전문 지식이나 최신 사실이 필요하면 별도 학습, 검색, 외부 자료 제공 중 어떤 방법이 맞는지 구분해야 합니다.
저장 공간은 파라미터 수에서 시작하지만 거기서 끝나지 않습니다
모델을 실행할 때 가장 먼저 계산하는 것은 가중치 메모리입니다. 70억 파라미터를 16비트로 저장하면 파라미터당 2바이트이므로 가중치만 약 14GB입니다. 4비트로 표현하면 이론상 약 3.5GB까지 줄어듭니다.
실제 필요한 메모리는 이보다 큽니다. 양자화 스케일 같은 부가 정보, 계산 중간값, 런타임 버퍼가 있고, 긴 대화의 키와 값을 보관하는 KV 캐시도 필요합니다. 동시에 처리하는 요청 수와 컨텍스트 길이가 늘면 가중치가 그대로여도 메모리 사용량이 달라집니다.
양자화는 같은 파라미터를 더 적은 비트로 표현해 저장 공간과 메모리 대역폭을 줄이는 방법입니다. 대신 정밀도를 낮추면서 생기는 오차가 과제마다 다르게 나타날 수 있습니다. 요약에서는 차이가 거의 없는데 수치 추론이나 코드 생성에서는 누적될 수도 있으므로, 파일 크기만 줄었는지 업무 품질까지 유지됐는지 따로 재야 합니다.
모델 크기를 볼 때 네 가지 숫자를 함께 봅니다
파라미터 수는 유용한 정보입니다. 다만 단독 순위표로 쓰기보다 다음 조건과 함께 놓을 때 설명력이 생깁니다.
| 확인할 항목 | 알려주는 것 | 알려주지 않는 것 |
|---|---|---|
| 파라미터 수 | 모델의 표현 용량과 가중치 규모 | 데이터 품질, 지시 수행 품질 |
| 학습 토큰과 데이터 구성 | 모델이 본 범위와 학습량 | 개별 출처의 정확성, 최신성 |
| 학습 연산량 | 용량과 데이터를 얼마나 충분히 학습했는지 | 실제 서비스 지연과 동시 처리량 |
| 후속학습·평가 조건 | 특정 행동과 과제에서의 품질 | 다른 업무로 확장했을 때의 결과 |
여기에 배포 단계에서는 정밀도, 컨텍스트 길이, 동시 요청 수, 하드웨어를 더합니다. 결국 “몇 B인가”는 첫 질문이지 마지막 답이 아닙니다.
다음 편에서는 파라미터에 담긴 패턴과 현재 대화에 들어온 정보를 분리해봅니다. 컨텍스트 창이 길어지면 무엇을 더 볼 수 있는지, 왜 그것을 기억이라고 부르기 어려운지, RAG는 그 사이에서 어떤 역할을 하는지 살펴보겠습니다.
도입을 검토한다면
모델 선정을 앞두고 계시다면 세 가지를 함께 보시길 권합니다.
첫째, 크기는 후보를 좁히는 기준이지 결정하는 기준이 아닙니다. 같은 예산이라면 더 큰 모델 하나보다, 적정한 모델에 사내 데이터 정리와 평가 체계를 붙이는 쪽이 업무 품질로 이어지는 경우가 많습니다.
둘째, 총소유비용은 파라미터가 아니라 추론 조건이 정합니다. 동시 사용자 수, 평균 컨텍스트 길이, 응답 지연 목표, 정밀도와 하드웨어가 월 비용을 좌우합니다. 견적을 받으실 때 이 조건들을 함께 명시하지 않으면 비교가 성립하지 않습니다.
셋째, 공개 벤치마크보다 사내 과제 표본이 정확합니다. 실제 업무에서 뽑은 30~50건이면 후보 모델의 서열이 공개 순위와 다르게 나오는 것을 대부분 확인하실 수 있습니다.
다음 편 → 긴 컨텍스트는 왜 기억이 아닐까 (3편)