내려받을 순 있어요, 돌릴 수 없을 뿐
2.8조 파라미터 Kimi K3와 '오픈'의 재계산
들어가며
구독자님, 지난 7월 17일 베이징의 문샷AI가 Kimi K3를 공개했어요. 파라미터 2조 8,000억 개, 스스로 세계 최대 오픈 웨이트1 모델이라 부르는 물건이에요. 허깅페이스에서 지금도 누구나 내려받을 수 있어요. 버튼은 눌려요. 문제는 그다음이에요. 가중치 파일만 1.5테라바이트가 넘는 이 모델을, 개인용 컴퓨터는 물론이고 웬만한 회사 서버로도 돌릴 방법이 없거든요.
결론부터 말씀드리면, 요즘 프런티어급 오픈 모델의 ‘오픈’은 예전의 그 열림이 아니에요. 내려받을 자유는 모두에게 주어졌지만, 실행할 능력은 클라우드와 기업, 국가에만 남았어요. 문은 열렸는데 문턱이 산이 된 구조, 오늘은 이 간극을 숫자로 재볼게요.
두 주 만에 다시 그려진 지도
먼저 판부터 볼게요. 벤치마크 기관 Artificial Analysis의 지능 지수 기준으로, 오픈 웨이트 상위권은 지금 Kimi K3(57점), GLM-5.2(51점), 딥시크 V4 Flash(50점) 순이에요. 4위와 5위도 Kimi의 저사양 버전과 MiniMax예요. 상위 다섯 자리가 전부 중국 모델이라는 뜻이에요.
이 순위표는 지난 두 주 사이에 다시 쓰였어요. 7월 17일 문샷이 Kimi K3를 냈고, 이틀 뒤 알리바바가 “Fable 5에만 뒤진다”는 자평과 함께 2조 4,000억 파라미터의 Qwen3.8-Max를 예고했어요. 그 사이 오픈AI가 주력 모델 가격을 80% 내리는 일이 있었고, 7월 31일 딥시크가 V4 Flash 정식판을, 8월 3일 알리바바가 Qwen3.8-Max 정식판을 내놨어요. 가중치는 다음 주 공개 예정이고요.
성능만 오른 게 아니에요. 몸집이 불었어요. GLM-5.2가 7,530억 개, 딥시크 V4-Pro가 1조 6,000억 개, Qwen3.8-Max가 2조 4,000억 개, Kimi K3가 2조 8,000억 개예요. 커지려는 이유는 분명해요. 프런티어 추격의 대가거든요. 딥시크 V4 Flash의 50점은 오픈AI 최신 폐쇄형 모델과 딱 1점 차이고, Kimi K3는 아예 Fable·Sol급 지능을 표방해요. 꼭대기의 마지막 몇 점을 얻는 데에 이만한 몸집이 들어가는 거예요. 그리고 이렇게 커질 수 있는 이유는 요즘 대형 모델이 전부 전문가 혼합(MoE)2 구조이기 때문이에요. 토큰 하나를 처리할 때 전체의 일부만 깨워 쓰는 방식이거든요. Qwen3.8-Max는 2조 4,000억 개 중 950억 개만, 딥시크 V4 Flash는 2,840억 개 중 130억 개만 계산에 참여해요.
여기서 이 글의 핵심 비대칭이 나와요. 연산 비용은 활성 파라미터를 따라가지만, 메모리 요구량은 전체 파라미터를 따라가요. 잠자는 전문가도 언제 호출될지 모르니 전원이 메모리에 상주해야 하거든요. 그래서 API 요금은 헐값인데(딥시크는 100만 출력 토큰에 0.28달러예요), 집에서 돌리려면 2조 8,000억 개 전부를 담을 그래픽 메모리가 필요해요. API가 싼 이유와 집에서 못 돌리는 이유가 같은 설계에서 나오는 거예요.
1.5테라바이트가 어느 정도냐면, 소비자용 최상급 그래픽카드인 RTX 5090의 메모리가 32기가바이트예요. 마흔여덟 장을 꽂아야 가중치만 간신히 올라가는 크기이고, 100만 토큰 문맥용 KV 캐시3는 아직 계산에 넣지도 않았어요. 반대편의 속도도 볼까요. 소비자 GPU 메모리는 2020년 24기가에서 2025년 32기가로, 5년간 33% 늘었어요. 같은 기간 오픈 모델의 최대 크기는 2024년 라마 405B에서 2026년 2.8T로, 2년 만에 7배가 됐어요. 떡이 커지는 속도가 부엌이 커지는 속도를 압도해요.
GPU 전문 회사도 곡괭이를 들었어요
그럼 이 떡은 누가, 어떻게 먹고 있을까요. 마침 지난주에 좋은 실측이 나왔어요. AMD 칩 위에서 오픈 모델 추론 서비스를 파는 스타트업 Wafer가 Kimi K3를 직접 서빙해 본 기록이에요. AMD 서빙이 사업인 회사의 자체 실측이라는 점은 감안하고 읽어야 하지만, 과정이 구체적으로 적혀 있어서 오히려 그 부분이 소득이에요.
숫자부터 요약하면 이래요. Kimi K3는 엔비디아의 표준 8장짜리 B200 노드(GPU당 192기가, 총 1.5테라바이트)에 가중치와 KV 캐시를 함께 담을 수 없어요. 그래서 288기가짜리 상위 칩 B300을 쓰거나, B200 노드 두 개를 묶어야 해요. 그런데 GPU당 288기가 메모리를 가진 칩이 하나 더 있어요. AMD의 MI355X예요. Wafer의 측정에서 MI355X 8장 노드는 초당 952토큰을 냈고, GPU 임대 가격을 반영한 달러당 처리량은 48토큰으로 B300(33토큰)과 B200 2노드 구성(7토큰)을 모두 앞섰어요. 모델이 커져서 병목이 연산에서 메모리 용량으로 넘어가는 순간, 서열이 뒤집힌 거예요.
한 달 전 기록과 비교하면 이 경계가 선명해져요. 같은 팀이 7월 초에 GLM-5.2(7,530억 개)를 서빙했을 때는 이야기가 달랐거든요. GLM-5.2는 엔비디아 한 노드에 들어가는 크기라, AMD는 양자화4와 프레임워크 수술까지 하고도 ‘성능은 80% 수준, 가격은 절반’이라는 가성비 대안에 머물렀어요. 변수 하나, 그러니까 모델이 1.5테라바이트 경계를 넘었는지만 바뀌었는데 결과가 갈린 셈이에요.
다만 이 실측에서 제가 더 눈여겨본 건 순위가 아니라 난이도예요. GPU 최적화가 본업인 이 회사조차 첫 요청에서 스케줄러가 죽는 오류를 만났고, 누락된 함수를 파이토치로 직접 짜 넣고, 어텐션 연산의 형상 제약을 우회하는 꼼수까지 쓰고서야 목표 성능에 도달했어요. 그나마 이번엔 쉬웠다는 게 이 팀의 자평이에요. 직전 모델들에서는 커스텀 커널을 새로 쓰거나 프레임워크 버그를 두 개씩 고쳐야 했으니까요. 약점도 있어요. 17만 토큰짜리 문서를 처음 읽히는 데 51초가 걸려서, 엔비디아 B300의 23초보다 두 배 이상 느려요. 그리고 이 모든 걸 통과해도 노드 임대료는 시간당 20달러 수준이에요. 한 달을 돌리면 원화로 2,000만 원쯤 되는, 명백히 사업의 숫자예요.
물론 반대편도 있어요. 딥시크 V4 Flash는 전체 2,840억 개로 설계 자체가 작고, 3비트 양자화판이 103기가라서 128기가 램을 얹은 고급 워크스테이션이면 돌아가요. 알리바바도 Qwen3.8-Max와 함께 270억 개짜리 소형판을 예고했고요. 그러니까 ‘돌릴 수 있는 오픈’이 사라진 건 아니에요. 다만 그건 프런티어에서 한 계단 아래고, 프런티어 자체는 개인의 손을 떠났다는 게 정확한 서술이에요.
그래도 공짜로 푸는 계산
여기서 이상한 질문이 하나 남아요. 개인 개발자 대부분이 돌리지도 못할 물건을, 왜 앞다투어 공짜로 풀까요.
월가의 답이 힌트가 돼요. 씨티는 8월 초 알리바바 보고서에서 이렇게 정리했어요. 모델이 몇 주 단위로 갱신되니 기업들은 업무마다 모델을 갈아 끼우는 ‘모델 불가지론’ 전략으로 가고, 그럴수록 개별 모델의 방어력은 떨어지며, 경쟁의 초점은 모델을 얹는 플랫폼과 인프라로 이동한다고요. 그래서 칩부터 클라우드, 모델, 앱까지 다 가진 알리바바에 유리하다는 게 매수 의견의 논리예요. 셀사이드 리포트라는 이해관계는 감안하셔야 하지만, 방향은 알리바바의 행동과 정확히 맞아떨어져요. 가중치는 공짜로 풀겠다면서, 같은 날 기업용 에이전트 제품 QwenWork를 딩톡에 붙여 내놨거든요. 모델은 전단지고, 상품은 클라우드와 업무 도구인 구조예요.
지난달 딥시크 펀딩 호에서 인용했던 량원펑의 계산과도 이어져요.
“100배 이윤을 내고 싶다면 오픈소스가 방해가 되겠지만, 합리적인 이윤만 취한다면 아무 영향이 없다.”
그러니까 프런티어급 가중치 공개의 실수요자는 처음부터 개인이 아니에요. 자기 인프라에 얹어 파는 클라우드, 데이터를 밖으로 못 내보내는 기업, 자국 안에 지능을 두고 싶은 정부, 그리고 Wafer처럼 서빙 자체를 사업으로 만드는 회사들이에요. 기업 쪽 수요는 특히 구체적이에요. 금융이나 의료, 방산처럼 데이터를 외부 API로 보낼 수 없는 업종에게 가중치는 경계 안에 들여놓을 수 있는 지능이고, 자기 데이터로 미세조정할 자유와 모델이 어느 날 갑자기 바뀌지 않는다는 통제감까지 따라와요. 각국 정부가 말하는 ‘소버린 AI’의 재료 목록 맨 위에 오르는 것도 이런 공개 가중치고요. 결국 공개는 이들에게 유통을 외주 주는 행위에 가까워요.
이 유통망에서 조용히 웃는 쪽이 하나 더 있어요. 모델의 몸집 경쟁이 메모리 용량 경쟁으로 번역되는 순간, 칩의 급소는 연산기가 아니라 그 옆에 쌓는 고대역폭 메모리(HBM)5가 돼요. MI355X의 288기가를 채운 게 삼성전자와 마이크론의 HBM3E 12단이에요. 엔비디아 인증에서 오래 미끄러지던 삼성이 AMD 쪽 문으로 들어갔는데, 중국 모델의 비대화가 바로 그 문을 넓히고 있는 거예요. 떡을 못 먹는 사람은 많아도, 떡시루 장수는 남는 장사를 해요.
반대로 도는 계산도 있어요
이 2주의 소용돌이에는 국내 발표도 하나 끼어 있었어요. 7월 27일, 카카오가 두 번째 소형 모델 시리즈인 카나나-2를 공개했어요. 30억 개짜리를 처음부터 학습한 뒤 가지치기와 증류로 13억 개까지 깎아낸 구성이고, 13억 모델에는 아예 온디바이스 배포용이라고 적혀 있어요. Kimi K3와 나란히 놓으면 크기가 2,000분의 1이에요. 1.5테라바이트 옆의 2.6기가바이트, 서버랙 옆의 스마트폰인 셈이에요.
방향이 정반대인 건 우연이 아니라 계산이에요. 프런티어 자본 게임에 낄 수 없는 회사가 가진 패는 수천만 명의 손안에 이미 들어가 있는 유통망이고, 그 규모에서 서버 추론 비용은 재앙이거든요. 모델이 기기 안에서 돌면 추론 비용이 0에 수렴하고, 데이터가 폰 밖으로 나가지 않아요. 앞에서 말한 ‘경계 안의 지능’의 소매판이에요. 설계도 메모리 절약에 몰려 있어요.
KV 캐시를 최대 72.7% 줄이는 어텐션 구조를 썼다는 게 카카오의 설명이에요. 자체 평가에서 한국어 지식 문답은 동급의 Qwen을 두 배 차이로 이기는데, 수학은 밀려요. 프런티어와 급이 다른 건 분명하지만, 애초에 목표가 요약이나 분류 같은 생활 단위 작업이라면 셈법이 달라요. 거인의 낙수를 기다리는 대신, 자기 땅에서 이기는 전략인 거예요.
오스왈드의 시선
GTM 전략 컨설팅을 하면서 무료 전략을 검토할 때 제가 반드시 확인하는 항목이 하나 있어요. 이 공짜의 청구서가 결국 누구에게, 어떤 형태로 가는가예요. 그 렌즈로 보면 지금의 오픈 웨이트는 리눅스 시절의 오픈소스와 같은 단어를 쓰는 다른 물건이에요. 리눅스는 내려받은 사람이 곧 실행자였어요. 낡은 486 컴퓨터에서도 돌았으니까요. 반면 프런티어급 오픈 웨이트는 내려받는 사람과 실행하는 사람이 구조적으로 분리돼요. 언어는 접근성인데, 기능은 도매 유통이에요.
그래서 저는 ‘오픈소스 AI가 지능을 민주화한다’는 문장을 볼 때마다 한 박자 의심하시길 권해요. 민주화되는 건 지능의 소매 시장이 아니라 도매 시장이에요. 수혜자는 개인이 아니라, 그 지능을 받아다 되파는 층이고요.
다만 반대 방향의 사실도 공정하게 적어둘게요. 낙수는 실제로 있어요. 오늘 개인 워크스테이션에서 돌아가는 급의 모델은 대략 1년 전 프런티어 수준이에요. 흘러내리긴 흘러내려요. 다만 시차를 두고, 늘 한 계단 아래로만요. 그 시차와 계단을 인정하는 것이, 제가 보기엔 ‘오픈’이라는 단어를 정직하게 쓰는 방법이에요.
마치며
정리하면 이래요.
첫째, 오픈 웨이트 상위권은 전부 중국 모델이 됐고, 두 주 사이 몸집은 2.8조 파라미터까지 불었어요.
둘째, MoE 구조상 API는 헐값이어도 자체 구동에는 전체 파라미터만큼의 메모리가 필요해요. 받을 자유와 돌릴 능력이 분리된 이유예요.
셋째, 프런티어급 가중치 공개의 실수요자는 개인이 아니라 클라우드와 기업, 국가이고, 몸집 경쟁의 낙수는 메모리 반도체로 흘러요.
다음 주 알리바바가 2조 4,000억 개 가중치를 실제로 풀면, 그 ‘공짜의 계산서’를 한 호로 따로 뜯어볼게요.
구독자님의 팀에서는 오픈 모델을 직접 돌려보셨나요? 몇 B까지가 현실적이었고, 어디서 벽을 만나 API로 돌아섰는지 댓글로 들려주세요. 사례를 모아 다음 호에 반영해볼게요.
💬 오픈 모델을 직접 돌려본 경험을 댓글로 들려주세요. 다음 호에 반영해볼게요. 📨 자체 호스팅을 고민하는 동료가 있다면 이 글을 전달해 주세요.
📎 참고자료 & 더 읽기
핵심 출처
- Ian Ye, “Is memory the moat?”, Wafer Blog, 2026.7.31. ··· 이 글의 등뼈인 Kimi K3 실측이에요. 커널 수정 과정이 그대로 적혀 있어서, ‘오픈 모델을 돌린다’의 실제 난이도가 궁금하다면 여기부터 읽으세요.
- Ian Ye, “Performance per dollar is getting faster and cheaper”, Wafer Blog, 2026.7.3. ··· 한 달 전 GLM-5.2 실측이에요. 오늘 글의 대조군으로, 모델이 한 노드에 ‘들어갈 때’의 판세를 보여줘요.
- Artificial Analysis, “DeepSeek V4 Flash 0731 분석”, 2026.8. ··· 오픈 웨이트 지능 순위와 가격 데이터의 출처예요.
- Qwen Team, “Qwen3.8 발표”, 2026.8.3. ··· 2조 4,000억 파라미터와 가중치 공개 계획의 1차 소스예요.
- Citi Research, “Alibaba: Qwen3.8-Max 공식 출시 평가”, 2026.8. ··· ‘모델 불가지론’ 프레임의 출처예요. 매수 의견 보고서라는 점은 감안하고 읽으셔야 해요.
- Kanana LLM 팀, “Kanana-2 SLM”, 카카오 테크 블로그, 2026.7.27. ··· 3B를 깎아 1.3B를 만드는 압축 과정의 1차 소스예요. 가중치는 허깅페이스에서 받을 수 있어요.
배경 지식
- Unsloth, “DeepSeek-V4 로컬 구동 가이드”, 2026.8. ··· 103기가 양자화판을 실제로 돌리는 방법이에요. ‘돌릴 수 있는 오픈’의 현재 상한선이 궁금하다면요.
- 서울경제, “AMD ‘MI350X, 삼성 HBM3E 쓴다’”, 2025.6. ··· MI355X에 실린 한국 메모리의 배경이에요.
함께 읽으면 좋은 지난 호
- 젠슨 황은 왜 중국 모델을 칭찬했을까 ··· “무료 AI는 칩에 좋다”던 발언의 숨은 가정을, 오늘 글의 실측이 건드려요.
- 딥시크가 11조 원을 모은 4시간 화상회의 ··· 오늘 인용한 량원펑의 ‘합리적 이윤’ 계산이 나온 그 회의예요.
📝 용어 설명
각주
-
오픈 웨이트(open weights): 학습이 끝난 모델의 가중치 파일을 누구나 내려받게 공개하는 방식이에요. 학습 데이터와 코드까지 여는 완전한 오픈소스보다 좁은 개념인데, 요즘은 이 둘이 자주 섞여 불려요. ↩
-
전문가 혼합(MoE, Mixture of Experts): 모델을 여러 전문가 조각으로 쪼개두고, 토큰마다 필요한 조각만 골라 계산하는 구조예요. 계산은 아끼지만, 어떤 조각이 불릴지 모르니 전원이 메모리에 대기해야 해요. ↩
-
KV 캐시(KV cache): 모델이 긴 글을 읽는 동안 앞부분을 다시 계산하지 않으려고 메모리에 쌓아두는 작업 기억이에요. 문맥이 길수록, 동시 사용자가 많을수록 이 몫이 커져요. ↩
-
양자화(quantization): 가중치 숫자의 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 압축이에요. 잘 쓰면 성능 손실이 거의 없이 용량을 몇 분의 일로 줄일 수 있어요. ↩
-
HBM(고대역폭 메모리): GPU 옆에 수직으로 쌓아 올려 데이터를 초고속으로 주고받는 메모리예요. AI 칩의 용량과 속도를 사실상 이 메모리가 결정하는데, 삼성전자와 SK하이닉스, 마이크론 세 회사가 시장을 나눠 갖고 있어요. ↩
SEND A COFFEE
이 관점이 좋았다면, 다음 글에 커피 한 잔
오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.
여러분의 생각이 다음 호를 만듭니다
이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?