OpenWeight Model(Kimi, GLM, Qwen, DeepSeek) 고고학

Qwen, GLM, DeepSeek, Kimi 구현기법과 강점을 처음부터 이해하기 위한 노트이다.

2026 8월초가 기준이며 시간이 지나면 언젠간 개념과 원리와 수치등이 바뀔수있음/

들어가기 전 #

시작하기전에 알아볼 모델들 지도를 먼저 펼쳐보자, 바이브만 느껴보게

• DeepSeek: 딥시크 개발사 항저우, 환팡퀀트 계열이며 효율의 장인. 논문으로 먼저 증명하고 모델로 확인시킨다, DeepSeek-V4-Pro (1.6T/49B), V4-Flash (284B/13B)
• Qwen: Alibaba Cloud 개발사, 0.8~400B까지 전사이즈가 있고 Qwen3.6-27B(dense), Qwen3.6-35B-A3B
• GLM: Z.ai 개발사, 에이전트 코딩 특화에 가성비가 좋다. GLM-5.2 (744B/40B)
• Kimi: Moonshot AI, 스케일 최전선 도전자인데 긴 컨텍스트 및 자율실행이 가능함. Kimi K3 (2.8T/104B)

2024
 ├─ DeepSeek-V2 ······· MLA + DeepSeekMoE 최초 도입 (236B/21B)
 └─ DeepSeek-V3 ······· 671B/37B, 보조손실 없는 로드밸런싱, MTP, FP8 훈련
                        (H800 278만 시간 = 프론티어 대비 극단적 저비용)
2025
 ├─ 1월  DeepSeek-R1 ··· GRPO 기반 순수 RL 추론. 세계적 충격
 ├─ 5월  Qwen3 ········· 0.6B~235B 전 라인업, thinking/non-thinking 통합
 ├─ 7월  Kimi K2 ······· 1T/32B, MuonClip으로 15.5T 토큰 무사고 학습
 ├─ 7월  GLM-4.5 ······· deep-over-wide MoE, slime RL 인프라 공개
 ├─ 9월  Qwen3-Next ···· Gated DeltaNet 3:1 하이브리드 (선형 어텐션 본격화)
 └─ 하반기 DeepSeek-V3.2 ·· DSA(희소 어텐션) + 라이트닝 인덱서
2026 ★ 세대 교체의 해
 ├─ 1월  Kimi K2.5 ····· 네이티브 멀티모달 + Agent Swarm
 ├─ 1월  DeepSeek 논문 3연발 ·· mHC, Engram, DSA (V4의 설계도 공개)
 ├─ 2월  GLM-5 ········· 744B/40B, DSA 채택, 28.5T 토큰
 ├─ 2월  Qwen3.5 ······· 397B-A17B, 얼리퓨전 멀티모달, 201개 언어
 ├─ 4월  Qwen3.6 ······· 27B dense가 397B 플래그십을 코딩에서 추월
 ├─ 4월  Kimi K2.6 ····· 300 서브에이전트, 12시간 자율 실행
 ├─ 4월  DeepSeek-V4 ··· mHC + Engram + 하이브리드 희소 어텐션, 1M 컨텍스트
 ├─ 6월  GLM-5.2 ······· IndexShare로 1M 컨텍스트 실용화
 └─ 7월  Kimi K3 ······· 2.8T, 세계 첫 오픈 3T급. KDA + AttnRes + LatentMoE

MoE #

Mixture of Experts 전문가 혼합이라고 부르는데

모델을 크게 만들면 똑똑해진다. 그런데 크게 만들면 느리고 비싸진다. "아는건 많은데 매번 전부 동원하지 않는 모델"을 만들 수는 없을까?

이 해법이 트랜스포머 블록안에 FFN(피드포워드층)을 여러개의 전문가 expert로 쪼개고 라우터가 토큰마다 이토큰은 3, 17 44 전문가에게 보내자. 라고 결정한다.

       [토큰]
          ↓
      [라우터] ── 점수 계산 → 상위 k개 선택
          ↓
   ┌──┬──┬──┬──┬─ ... ─┬──┐   256개 전문가
   │  │██│  │██│       │  │   (██ = 이번에 켜진 것)
   └──┴──┴──┴──┴───────┴──┘
          ↓
      [결과 합산]

갈리는 지점 #

각 모델마다 갈리는 지점이 있는데 MoE를 쓴다는 공통이지만 어떻게 쓸것이냐가 다르다.

1. Fine-grained Experts: 초기 MoE (Mixtral등)는 큰 전문가 8개중에 2개를 켰다. DeepSeekMoE는 발상을 바꿔서 전문가를 잘게 쪼개고 더 많이 킨다. 같은 게산량이라도 조합의 가짓수가 많아져 전문화가 잘되게 한것이다.

예를들어보면 8명의 만능 의사가 있을때 2명을 부르는것과 256명의 세부 전문의 중 8명을 부르는 것의 차이다. 후자가 더 많은 정교한 조합들을 만들 수 있다.

2. Shared Expert: 모든 토큰이 공통으로 필요로하는 지식 (문법, 기본 상식)은 매번 전문가를 골라 배우게 하면 낭비다. 그래서 항상 켜져있는 전문가 1개를 둔다.

Kimi K3의 896개 중에 16개는 1.8%로 극단적 히소성이다.

로드 밸런싱 - MoE의 난제 #

문제가 하나 있다 라우터가 학습되면서 인기 전문가에멘 몰리는 현상이 생기는 것이다.

소수 전문가만 계속 훈련되고 나머지는 방치되면서 모델 용량이 낭비된다. 이걸 라우팅 붕괴 routing collapse라고 한다.

전통적인 해결 방식은 보조 손실 auxiliary loos 인데, 골고루 안쓰면 벌점 이라는 손실 함수를 추가한다. 그런데 이 벌점은 본래 목표 (잘 예측하기)와 충돌해서 성능을 깎아먹게 된다. (잘맞추니까 골고루 안쓰겠지.. 이런 모순)

여기서 각 모데람다 각자 다른 답을 냈다.

• DeepSeek-V3: 보조 손실 없는 로드 밸런싱 auxiliary-loss-free. 손실함수를 건드리지 않고 라우터 점수에 편향 bias항을 두어서 과부하 전문가는 점수를 슬쩍 낮추고 한산한 전문가는 올린다. 성능 손해없이 균형을 맞추는 방법이고 딥시키의 대표 발명중 하나이며 업계 표준이다.
• Qwen3: 전역 배치 로드 밸런싱 손실: 배치 단위가 아니라 전역 단위로 균형을 보고 전문가 전문화를 더 밀어붙이는 접근이다.
• GLM-4.5: 시그모이드 게이트 + 무손실 균형 라우팅, 각 전문가에게 토큰을 분배할때 기존의 소프트맥스 대신에 시그모이드를 저용해 독립적인 확률 계산을 통한 유연성을 높이고 무손실 균형 라우팅은 모델 학습시 성능 저하를 유발하는 보조 균형 손실 함수를 제거해 손실함수에 대한 패널티 없이 자연스럽게 균형을 이루도록 아 그냥 쉽게말해서 안쓴다.
• Kimi K3: 분위수 균형 Quantile Balancing: 라우터 점수에 분위수 quantile에서 전문가 배분을 직접 유도한다. 휴리스틱한 갱신과 민감한 파라미터를 아예 없앴다는것이 요점이다. 전문가가 896개까지 가면 기존 방식은 튜닝이 불가능해지기 때문이다.

위에 기법에는 대가가 있다.

• 총 파라미터들만큼 gpu 메모리가 필요하다.
• 전문가들이 여러 gpu에 흩어져 있어 오버헤드가 크다 딥시크 v3가 dualpipe같은 통신 계산 겹치기 기법을 개발한 이유가 이거임
• 배치가 작으면 개인사용 효율이 잘 안나온다.

어텐션 효율화 #

context를 100만 토큰까지 늘리려면 어텐션의 제곱문제를 반드시 풀어야한다. (kv캐시가 커지는 문제)

"어텐션이 너무 비싸다"
              │
   ┌──────────┼──────────┐
   ↓          ↓          ↓
[압축하자]  [골라내자]  [기억으로 바꾸자]
   MLA        DSA      Linear Attention
(DeepSeek)  (DeepSeek) (Qwen/Kimi)

MLA (Multi-head Latent Attetnion) #

KV 캐시가 커짐에 따라 메모리를 다 잡아먹는 문제가 있었다.

K V를 저차원의 잠재 벡터 latent vector로 압축해서 저장하고 쓸 때만 다시 펼친다.

회의 서류를 원본 그대로 두는 대신에 요약본만 남기고 필요할 때 요약본에서 복원하는 형식. 책상 공간이 절약된다.로 비유가 가능함.

GQA(Group Query Attetnion)이 머리끼리 나눠쓰자 라는 접근이라면 MLA는 차원 자체를 줄이자는 접근이고 딥시크 v2가 처음 등장해 v3, v4까지 이어지고 GLM-5, Kimi K3도 채택한 방식이다.

More Detail: RoPE 방식은 압축과 궁합이 나빠서 (회전해서 토큰의 위치를 나타내는 방식)MLA는 분리된 RoPE decuopled RoPE를 따로두어 압축하되 위치 정보는 따로 챙긴다 정도로 알아두면 좋다.

DSA (Deepseek Sparse Attention) #

100만 토큰을 전부 볼 필요가 잇나? 라는 질문으로 시작한다. 대부분의 요청은 지금 이 문장과 무관하지 않을까? 에 대한 물음으로 시작하는거다.

어텐션 계산 전에 가벼운 필터를 돌려 관련있는 상위 토큰 k개를 고른다 그 다음에만 정밀 어텐션을 수행한다.

이 필터가 라이트닝 인덱서(Lightning Indexer) 이다.

[100만 토큰]
     ↓
[라이트닝 인덱서]  ← 가볍고 빠른 점수 계산 (FP8, ReLU 기반)
     ↓
[상위 2,048개만 선택]   ← 실제 공개 코드의 k값
     ↓
[정밀 어텐션]      ← 여기만 비쌈

도서관에서 논문을 쓸때 참고 책을 100만권 다 읽지는 않는다. 사서에게 이 주제에 관련한 책 몇천권만 뽑아줘 하고 그 핵심 책들만 읽는 느낌. (2천책도 ㅈㄹ많은거같은데 어쨋든 수치적으로 줄였다는거에 핵심을 보자)

훈련 방법이 영리하다. 인덱서를 처음부터 학습시키는게 아니라

1. 워밍업: 기존 모델의 어텐션을 그대로 두고 인덱서만 학습시킨다. 목표는 기존 어텐션이 어디를 봤는지 흉내내는 (KL 발산 손실), 128K 시퀀스로 1,000스텝 총 21억 토큰만에 끝내는 것
2. 본 학습: 그 다음 희소 선택을 켜고 전체 모델을 적응

계산 복잡도가 제곱에서 사실상 선형으로 떨어진다, 게다가 부수효과로 무관한 정보 distractor를 걸러내서 노이즈에 강해진다.

대가로는 인덱서가 지금 무관해보이지만 20단계 뒤에 결정이 됨 같은 정보를 잘라낼 위험이 있다. 초고난도 다단계 추론에서는 미세한 손해가 관찰된다.

DSA는 DeepSeek-V3.2/V4, GLM-5/5.1/5.2 (GLM이 DeepSeek 기술을 가져다 씀 — 오픈 생태계의 힘) 가 채택했다.

GLM의 개량: IndexShare #

GLM-5.2가 200k에서 1M로 컨텍스트를 늘리려니 문제가 생겼다. 인덱서 자체가 매 층마다 돌아가서 비싸진 것이다.

4개 층마다 인덱서를 하나만 돌리고 그 결과 상위 k 인덱스를 나머지 3개의 층이 사용한다.

여러 팀이 사서에게 4번 물어보는 대신 한 번만 묻고 그 목록을 네 팀이 공유하는 거임

효과는 1M 컨텍스트에서 토큰당 FLOps 2.9배 감소 게다가 계산을 줄였는데도 롱컨텍스트 벤치마크는 이전버전보다 좋아졌다.

선형 어텐션과 하이브리드 (순환으로 대체) #

근본적으로, 왜 매번 과거 전체를 다시 봐야하는가? 에 대한 의문 제기로 시작되었다.

RNN처럼 state에 과거를 요약해서 들고 다니는 방법이 제시됐는데 컨텍스트가 아무리 길어져도 상태 크기는 그대로기 때문에 KV 캐시가 아예 사라진다.

회의록을 전부 보관(어텐션)하는 대신에 한 장짜리 현재 상황 요약본을 계속 갱신하면서 요약본을 갖고 다니는 것 RNN의 강점을 리스펙 한 느낌

대표 구현으로 GDN(Gated DeltaNet)이 있고 Mamba 계열 연구 후예로 네 가지가 결합되어 있다.

• 델타 규칙(delta rule): 기존 기억과 새 정보의 차이만 갱신한다 (오류 정정형 메모리)
• 지수 게이팅: 기억을 얼마나 잊을지 조절한다 (포화 방지)
• 인과적 Conv1D: 지역 문맥을 포착한다.
• Q/K L2 정규화: 소프트 맥스 대신 사용

그런데 순수 선형 어텐션은 한계가 있다. 요약본만 들고다니면 300페이지 42번째 줄의 정확한 문구를 꺼내라 같은걸 시키면 못 꺼낸다. 그래서 정밀 검색 retrival 능력이 떨어진다.

그래서 하이브리드로 가야한다.

Qwen3-Next / Qwen3.5 / Qwen3.6 의 층 배치 (3:1 패턴)

[GDN][GDN][GDN][Full Attention] × 12회 반복  = 48층
 ↑ 값싼 요약        ↑ 정밀 검색 (KV 캐시 유지)
 75%                25%

3개의 층은 값싼 순환 방식으로 흐름을 따라가고, 4번째 층에서 전체 어텐션을 정확하게 짚는다. 비용의 대부분을 아끼면서 검색 능력은 남기는 것.

실제로 이론적 뒷받침도 나와있는데, 특정 종류의 검색 과제에서 하이브리드가 순수 GDN보다도 순수 어텐션보다도 유리하다는 결과가 있다.

Kimi의 변형 KDA (Kimi Delta Attetention) #

Kimi는 GDN을 두 군데 개조했다.

1. Qwen3-Next는 게이트가 헤드당 스칼라 하나인데, KDA는 **채널(특징 차원)**마다 게이트를 둔다.
2. 전체 어텐션 층에 일반 어텐션 대신 MLA(+Gate)를 쓴다 즉 압축과 순환을 동시에 쓰는 구조이다.

Moonshoot은 KDA로 100만 토큰 컨텍스트에서 디코딩이 최대 6.3배 빨라진다고 보고했다.

여기서 네 가지 모델들의 성격이 갈라지는 지점인데 Qwen, Kimi는 순환 + 하이브리드에 걸었고 딥시크와 GLM은 압축+선택에 걸었다.

MTP - 다중 토큰 예측 #

기존 학습은 "다음 토큰 하나 맞히기"다. 신호가 빈약하고 생성도 한 번에 한개씩이라 느린 문제가 있다.

그래서 학습할때 다음 토큰 하나가 아니라 여러 개를 동시에 예측하자로 시작된다.

• 학습 효과: 다음 두세 단어까지 내다보아라라고 강제하게 되면, 더 멀리 보는 표현을 배운다. 즉 장거리 일관성이 좋아지게 되는것이다.
• 추론 효과: 이 MTP층을 그대로 투기적 디코딩의 드래프트 모델로쓴다. 별도 모델을 만들 필요가 없다.

비유 — 받아쓰기 훈련을 할 때 "다음 한 글자"만 맞히게 하는 대신 "다음 세 글자"를 맞히게 하면, 학생이 문장 구조를 이해하게 된다. 그리고 그렇게 훈련된 학생은 실제로 세 글자씩 써 내려갈 수 있게 되는 느낌.

투기적 티코딩 Speculative Decoding은 작고 빠른 모델이 다음 토큰을 여러개 미리 예측하고 큰 모델이 그걸 한 번에 검증하는 가속 기법으로 추측이 맞으면 여러 토큰을 한번헤 확정한다.

이 기법은 전원(qwen kimi glm deepseek) 채택되었다. DeepSeek-V3에서 검증되어 (2토큰 MTP로 1.8배 가속) 이후 GLM, Qwen3-Next 계열, DeepSeek-V4로 이어졌다.

GLM 5.2는 여기에 IndexShare를 MTP층에 적용하고 거부 샘플링과 전변동 (total-variation) 손실을 더해 **평균 수용 길이를 4.56 -> 5.47(+20%)**으로 올렸다.

옵티마이저 - AdamW -> Muon #

초대형 모델 학습에서 어텐션 로짓(Q·K 내적값)이 폭발해 학습이 터지는 문제가 있는데 이는 시간과 수억원대에 수십억원대의 손실을 발생시킬정도로 치명적이다..

특히 Muon 옵티마이저는 토큰 효율이 좋은 대신 이 현상이 더 자주 발생한다.

기존 대책들이 잘 안통했기 때문이다.

• 로짓 소프트캡: 값을 잘라낸다. 그렇지만, 잘리기 전에 이미 내적이 과도하게 커지는건 못잡는다.
• QK-Norm: 좋은 방법이지만 MLA에는 적용이 안된다. MLA는 추론시 K행렬을 완전히 펼치지 않기때문이다.

Kimi의 해법 - MuonClip, QK-Clip #

Moonshot은 QK-Clip을 결합했다. 로직을 단순한데

어떤 헤드에 최대 어텐션 로짓이 임계값 값 τ를 넘으면, 그 헤드의 Q, K 가중치를 직접 축소하는 방식이다.

Kimi k2는 τ = 100으로 학습했고 결과 그래프가 인상적인데

최대 로짓
  100 ├──────────────╮            (초반 70k 스텝: 계속 캡에 걸림)
      │              ╰──╮
   30 │                 ╰────────  (이후 자연 안정화. 개입 거의 없음)
      └──────────────────────────→ 스텝

15조 5천억 토큰 학습에서 손실 스파이크 0회, 조 단위 모델에서 이건 대단한 성취다.

다른 대형 MoE는 보통 1조 토큰당 35 스파이크가 나고 그때마다 롤백, 디버깅으로 전체 일정의 1020%를 잃는데 여기선 안그런 것이다.

로짓은 인공지능 모델에서 시그모이드(Sigmoid)나 소프트맥스(Softmax) 같은 활성화 함수를 거치기 전의 마지막 날것의 선형 출력값을 뜻한다 .용도로는 모델이 각 분류(클래스)에 대해 내놓은 점수(score)이며, 이 값을 확률로 바꾸어 최종 결정을 내린다.

2026 현재 기준

• Kimi: MuonClip → K3에서 Per-Head Muon(헤드별로 독립 최적화)으로 발전
• GLM-4.5부터: Muon 채택
• DeepSeek-V4: AdamW를 버리고 Muon으로 전환
• Qwen: 자체 스케일링 법칙 실험으로 모델별 최적 학습률·배치 크기를 예측해서 설정

QK-Clip는 극단적 어텐션 점수를 억누르는 방식이라. 아주 날카로운 집중이 필요한 상황 (예: 복잡도 다중 도구 호출)에서 미세한 손해가 있을 수 있다는 지적이있다. 안정성과 표현력의 트레이드 오프인 것이다.

잔차 경로의 재발명 - mHC, AttnRes #

층수가 수십~수백이 되자 잔차 경로 하나로는 부족한 상황이 발생하게 된다.

잔차 연결 Residual Connection은 각 층의 출력에 입력을 그대로 더해주는 우회로로 2015년 ResNet 이후 딥러닝의 기본 문법이다. 100층 거눔ㄹ 계단 옆에 설치된 엘리베이터 같은거로 신호(그래디언트)가 100층을 계단으로만 오르내리면 지쳐서 사라지는데 엘리베이터가 있으면 멀쩡히 전달되는것으로 생각하면 편하다

DeepSeek - mHC(Mainfold-Constrained Hyper-Connections) #

먼저 하이퍼 커넥션 HC라는 아이디어를 먼저 보자, 잔차 경로를 하나가 아니라 여러 갈래로 넓히고 서로 정보를 교환하게 하는 것이다. 성능은 확실하게 올랐는데 문제가 하나 있었다.

**항등 사상(identity mapping)**이라는 성질이 깨진다. 잔차 연결의 핵심은 아무것도 안하면 입력이 그대로 나온다 인데, 갈래끼리 섞기 시작하니 이게 보장이 되지 않는것이다. 딥시크 27B 모델에서 측정해보니 신호 증폭이 3000배를 넘으며 학습이 파탄나기도 했다. 그럼에도 고정된 정보 흐름의 한계를 깨고 모델의 표현력과 학습 효율을 극대화하기위해 도입은 했지만, 신호 폭발이 너무 치명적이였다.

해법: 그래서 mHC에서는 갈래를 섞는 행렬을 아무렇게나 두지 않고 버코드 폴리토프(Birhoff polytope)라고 하는 **이중 확률 행렬 (double stochastic matrix, 행합도 1, 열합도 1)**이 공간 위에서 강제로 투영시킨다. 싱크혼-크노프 알고리즘으로 이 제약을 구현한다.

싱크혼 크노프 알고리즘은

1. 무제한 파라미터 생성: 제약이 없는 일반적인 가중치 행렬 모델이 학습하게 두고
2. 양수화: 지수 함수 exp를 씌워서 행렬의 모든 요소를 0보다 큰 양수로 만든다.
3. 교대 정규화: 행의 합이 1이 되도록 나누고 곧바로 합이 1이 되도록 나누는걸 20번 때린다.
4. 버코프 폴리토프 투영: 이 반복을 거치면 행렬은 수학적으로 모든 행과 열의 합이 1.0이 되는 안전지대에 도달하게 되어 최종 연결 가중치로 사용한다.

즉 1.0안으로 들어오게 흑마법을 팡팡팡팡 뿌리는거임.

쉽게 설명해서 이중 확률 행렬은 들어온 물의 총량과 나가는 물의 총량이 항상 같은 배관으로 아무리 복잡하게 연결해도 물이 불어나거나 증발하지 않음을 의미한다.

결과적으로 신호가 3,000배에서 2배이하로 억제되었고 계산 오버헤드는 6.7%이다. 27B 실험에서 BBH 점수가 43.8(기본) -> 48.9(HC) -> 51.0(mHC)로 올랐다. DeepSeek-V4의 학습 근간인것

정리하면 기존 잔차연결은 초대형 AI모델에서 깊어질수록 성능을 끌어내지 못해 너무 낮은 효과를 냈는데 HC로 표현력을 높였지만 신호 증폭 문제가 발생해 오히려 너무 강해져서 AI가 신호포화가 됐고 이를 막기위해 mHC를 도입한거

Kimi - AttnRes (Attention Residuals) #

같은 문제를 다른 방향으로 풀었는데, mHC는 잔차 경로를 넓힌거라면 AttnRes는 선택적으로 연결한 것이다. 바로 앞층에서 누적된 상태만 받는게 아니라 훨씬 앞쪽 층의 표현을 어텐션 점수로 가중치를 매겨 골라 가져온다

mHC가 엘리베이터 4대로 늘린거라면 AttnRes는 37층 회의록이 지금 필요해라고 지정해서 꺼내오는 검색 시스템이다. 37층 안가도 된다고!!

Moonshot 보고에 따르면 학습 효율은 약 25% 향상에 추가 비요은 2% 미만이고 다른 자료는 학습 4%, 추론 2%이다.

이 두 기법은 겉보기에 지엽적이지만 "2~3조 파라미터 모델을 애초에 학습 가능하게 만드는" 기반 기술이다 Kimi K3가 2.8T 까지 갈 수 있었던 이유, DeepSeek-V4가 1.6T에서 안정적인 이유가 여기에 있는 것이다.

Engram (조건부 메모리) #

DeepSeek이 2026년 1월에 던진 개념적인 논문인데

문제제기를 보면 "프랑스의 수도는 파리"를 떠올릴 때 트랜스포머는 데이터베이스를 조회하지 못한다. 대신 여러층의 어텐션과 FFN을 동원해 이 정적 사실을 계산으로 재구성한다. 이건 정적 룩업 테이블을 런타임에 비싸게 재구축하는 것이며, 고차원 추론에 써야 할 유효 깊이 (effective depth)를 사소한 작업에 낭비하는 것이다.

즉 쉬운 질문을 처리할때 왜 굳이 비싸고 똑똑한걸 돌려서 낭비하느냐 같은거같은데, 논문의 통찰은 언어 모델링은 하나의 작업이 아니라 두개라는 것이다.

https://arxiv.org/abs/2601.07372

• 동적 추론 Dynamic Reasoning: 논리 조합, 다단계 추론, 수학, 코드 생성, 깊고 적응적인 계산이 진짜로 필요함
• 정적 패턴 회상 Static Recall: 고유명사, 관용구, 문법, 템플릿, 상용구, 짧은 코드 패턴 즉 지역적, 반복적, 문맥 무관하다.

트랜스포머는 이 둘을 똑같이 취급하지만 Engram은 그러지 말자고 주장하는 것이다.

해법 #

MoE가 조건부 계산(conditional computation)이라면 Engram은 조건부 메모리(conditional memory)인 것이다.

고전적인 N-gram 임베딩을 현대화 한 것이다.

• 토큰 2~3개짜리 시퀀스를 받아 해시 함수로 거대한 임베딩 테이블을 조회한다.
• 테이블 크기와 무관하게 O(1) 상수시간에 끝난다.
• 테이블 주소가 입력 토큰만으로 결정되므로, 어느 행이 필요할지 미리 안다. -> GPU가 앞 층을 계산하는 동안 CPU 메모리에서 프리페치할 수 있다.

지금까지 모든 LLM은 머리로 계산하는 사람이였다면 Engram은 그 사람에게 책상 위에 사전을 주고 "Diana, Princess of Wales" 같은 건 사전을 펼치면 0.1초만에 알고, 머리로 재구성하면 10초가 걸리니 극한의 최적화 인 것. - 온세상이 캐시다

결과 #

• U자형 스케일링 법칙을 발견해서, 희소 용량의 75%는 동적 추론 MoE, 25%는 정적 룩업 Engram 이 최적임을 밝혔다.
• 27B 모델 실험: 지식, 추론, 코딩 전반 3~5점 향상 및 복잡 추론 70 -> 74, 지식은 57 -> 61(%)가 되었다.
• NIAH(바늘 찾기) 정확도 84.2% -> 97% 기억을 분리하니 어텐션이 장거리 문맥에 집중할 여유가 생겼기 때문이다.
• 1,000억개의 파라미터짜리 임베딩 테이블을 시스템 DRAM으로 내보내도 처리량 손실 3% 미만을 달성했다.

마지막 항목을 보면 1.6T 모델에서 100B를 GPU 밖으로 뺄 수 있다면 자체 호스팅의 문턱이 내려간다. GPU HBM 제약을 우회하는 길이 열린다.

Engram은 DeepSeek-V4의 핵심 구성요소로 그리고 논문 저자들의 표현대로 차세대 희소 모델의 필수 모델링 프리미티브를 지향한다. 어텐션 MoE에 이은 세번째 기본 부품이 되겠다는 선언이다.

사후학습과 RL 인프라 #

요즘 진짜 승부처는 요쪽인거같다 결국 돈지랄하는애들이 이기네

아키텍처는 이제 서로 베끼기 때문에 서로 수렴하는 구조이고 차이는 사실 사후학습에서 벌어진다.

RLVR - 검증 가능한 보상 기반 강화학습 #

수학과 코딩은 정답을 기계적으로 검증할 수 있다. 컴파일러를 돌리거나 계산기를 두드리거나 사람이 채점할 필요 없으니 무한히 확장이 가능하다. DeepSeek-R1이 이걸로 세계를 놀라게 했다.

GRPO - Group Relative Policy Optimization #

기존 PPO는 Critic(가치) 모델을 따로 둬야해서 크리틱은 보통 정책 모델과 크기가 비슷해서 메모리가 두배로 돈다.

GRPO는 크리틱을 없앴다. 대신 같은 문제에 여러 답을 뽑아(그룹) 그룹 내에 상대 비교로 좋고 나쁨을 판단한다

비유: 채점 기준표(크리틱)를 만드는 대신, 학생 8명이 답안을 나란히 놓고 이게 저것보다 낫다로 상대평가한다. 훨씬 싸다.

Kimi는 자기 비평 루브릭 보상 Self-Critique Rubric 구조인데 검증 가능한 과제는 RLVR로 되지만, 글쓰기 설계같은건 정답이 없다에서 출발했다.

Kimi K2는 모델이 자기 출력을 스스로 평가하는 루브릭 보상으로 외부에서 정의된 과제 뿐만 아니라 자기 평가로부터 배운다.

에이전트 데이터 합성 파이프라인도 쓰는데 도구를 잘 쓰는법을 배우려면 도구를 쓰는 예시 데이터가 필요하다. 그러나 세상엔 이런 데이터는 없다.

키미는 시뮬레이션과 실제 환경 도구-에이전트-과제-궤적을 체계적으로 생성하는파이프라인을 만들었고 검증 가능한 정답이 붙은 고품질 에이전트 상호작용을 대량으로 찍어낸다. K2 계열의 에이전트 장점은 여기서 나온다.

slime - GLM의 RL 인프라: GLM-4.5와 함께 오픈소스로 공개된 프레임워크로 핵심은 두 가지 모드다

두번째가 결정적인데 에이전트 과제는 한 게적을 만드는데 수십분이 궐리고 동기 방식이면 gpu가 계속 논다. 비동기 분리로 gpu를 포화상태로 유지해야 장기 에이전트 RL이 현실적으로 가능하다.

인프라가 곧 능력 - GLM이 에이전틱 코딩에 강한 근본 이유가 이거다 아키텍처가 아니라 학습 인프라다.

전문가 훈련 -> 통합 훈련 (GLM)

1. 추론 전문 모델, 코딩 전문 모델, 에이전트 전문 모델을 각각 따로 RL로 키운다. 각 도메인의 강한 신호를 충분히 활용할 수 있다.
2. 그 다음 self-distillation 자기 증류를 통해 하나의 범용 모델에 합친다.

전문의 3명을 따로 양성후 그들의 지식으로 한 명의 종합의에게 전수하는 것.

Qwen은 RL을 백만 규모의 에이전트 환경으로 확장하고 과제 난이도를 점진적으로 올리는 커리큘럼을 쓴다. 현실 적응력이 목표다.

데이터 리프레이징 Kimi

고품질 텍스트는 유한이고 그냥 여러번반복 학습하면 암기(과적합)가 일어난다.

kimi는 강한 교사 모델로 같은 내용을 다른 관점 문체로 다시 쓰게해서 의미는 같고 표현은 다양한 데이터를 만들고 암기대신 이해를 유도한다.

총총 #

DeepSeek이 발명한 기술을 GLM이 가져다쓰고(DSA), Moonshot이 발명한 옵티마이저를 DeepSeek이 가져다 쓰니(Muon) Qwen이 만든 하이브리드 배치(GDN -> KDA)를 Kimi도 갖다쓰는 대 파쿠리의 시대 즉 오픈웨이트 생태계에서는 좋은 아이디어는 금방 전파되고 그래서 결과적으로 아키텍처보단 데이터와 RL인프라가 실행력과 격차를 만드는것이다.

다음글엔 각 모델 해부학을 더 해보겠다.

• DeepSeek
• Qwen
• GLM
• Kimi

정면 비교표 #

스펙 비교표 2026.8 오픈플래그십 기준 #

가격과 벤치마크는 제공자와 시점에 따라 크게 달라진다. 반드시 최신 확인 필요

성격 비교 - 무엇을 아끼기로했는지 #

DeepSeek ──MLA──────────────→ GLM-5.2, Kimi K3
         ──DSA──────────────→ GLM-5/5.1/5.2
         ──보조손실없는 밸런싱──→ 사실상 업계 표준
         ──MTP──────────────→ 전원

Moonshot ──Muon/MuonClip────→ GLM-4.5, DeepSeek-V4

Qwen ────GDN 3:1 하이브리드──→ Kimi (KDA로 개량)

GLM ─────slime (오픈소스)────→ 커뮤니티 RL 인프라

아키텍처 아이디어는 몇달안에 전파 (사실상 파쿠리 당함) 이다. 그래서 지속 가능한 격차는 아키텍처가 아니라 데이터 큐레이션과 RL, 인프라, 실행속도에 나온다.

어떤 작업에 무엇이 뛰어난지 자세히 #

작업 유형별로 추천 + 그 인과 설명을 더 구체적으로 서술해보겠다.

순위도 순위인데 왜 그런가에 대한 설명을 집중하면서 보면 좋을듯 싶고 그래야 새 모델 나올때 스스로 판단이 쉬워질듯하다

여러 파일에 걸친 코딩 에이전트 (리팩터링, 버그 수정, 기능 구현) #

1위 GLM-5.2 / 2위 Kimi K3 / 가성비: DeepSeek V4 #

왜 GLM인가?를 설명하면 이 작업은 한 번에 잘 하기가 아니라 30~300단계동안 안 헤메기이다.

deep-over-wide 구조가 다단계 추론에 유리하고 7조 토큰의 코드, 추론 집중 학습이 도메인 밀도를 만들고 무엇보다 silme의 비동기 RL이 롤아웃 느린 장기 과업을 실제로 학습 가능하게 하니까, 여기에 초당 168tokens의 속도가 반복 루프의 총 소요시간도 줄인다.

Kimi로 언제 바꿀까? -> UI/Frontend 비중이 크거나 12시간급 자율 실행이 필요하거나 병렬 서브에이전트가 필요할때

DeepSeek로는 언제 바꿀까? -> 예산이 최 우선이고 몇 점 낮은 정확도를 재시도로 메우는게 더 싼 경우 ㅊㅊ

Frontend UI Desgin Code #

1위는 Kimi K3가 (압 도 적)

이 영역은 컴파일러로 채점을 못하고 정답이 없으니 미적 판단이 필요한 작업이다.

Kimi의 자기 비평 루브릭 보상은 정확히 이 문제를 겨냥이 가능하고 네이티브 비전이 있어 자기가 만든 화면을 실제로 보고 판단할 수 있다. Frontend Code Arena 1위가 이 조합의 결과다.

대안: GLM-5.2도 Design Arena 1위를 기록해 강하다. 비용차이를 고려하면 시험해볼 가치는 있긴하다

대량 처리 (요약, 분류, 추출, 배치 파이프라인) #

1위는 DeepSeek V4-Flash (압도적)

이런 작업은 개별 난이도가 낮고 양이 많다. 단가가 전부다. Flash는 활성 13B에 입력 $0.14 / 출력$0.28로 프론티어 대비 80~95퍼정도 저렴하다. MLA + DSA + FP8의 삼중 절약이 만든 결과이다.

대안으로는 Qwen 3.6-35B-A3B를 자체 호스팅하면 토큰 단가가 아예 0이 된다. 하드웨어 상각 제외학. 볼륨이 충분히 크면 이쪽이 더 싸다.

로컬 / 온프레미스 / 개인 GPU #

Qwen3.6-27B 사실상 유일한 정답급

4비트 양자화시 약 17GB로 소비자용 GPU 한장에 들어가면서 397B 플래그십을 코딩해서 앞선다. dense구조라 배치 1 환경에서 MoE보다 유리하다. Apache 2.0이고 Ollama LM Studio GGUF 생태계가 가장 두껍다.

규모별 정리 #

• 8GB급: Qwen3-8B 계열
• 16~24GB: Qwen3.6-27B (Q4) — 최적 지점
• 32GB+: Qwen3.6-35B-A3B (MoE, 활성 3B라 빠름)
• 멀티 GPU 서버: DeepSeek V4-Flash (284B)
• 데이터센터: GLM-5.2 (744B)
• 슈퍼노드: Kimi K3 (2.8T)

100만 토큰급 초장문 문서 코드베이스 #

1순위 GLM-5.2 / 2순위 DeepSeek V4

왜 GLM: IndexShare가 1M에서 토큰당 FLOPs를 2.9배 줄여 광고용 1M이 아닌 실제로 쓰는 1M을 만들었고 계산을 줄였는데도 롱 컨텍스트 벤치마크가 향상되었다는 점이 중요하다.

DeepSeek? 1M에서 KV캐시가 V3.2의 10%로 여기에 Engram이 정적 지식 룩업으로 빼주면서 어텐션이 장거리 문맥에 집중할 여유가 생겨, **NIAH정확도가 84.2% -> 97%**로 올랐다. 긴 컨텍스트에서 정확도와 비용을 동시에 잡은 사례다

주의할점 어떤 모델이든 1M을 실제로 채우면 지연시간과 비용이 급증한다. RAG로 먼저 줄이는게 대개 더 낫다. 롱컨텍스트는 RAG의 대체제가 아니라 보완재다.

수학, 과학 추론 #

1순위 DeepSeek V4 / 2순위 Qwen3.5 3.7 계열

수학은 검증 가능한 보상 RLVR이 완벽하게 작동하는 영역이고 DeepSeek이 R1으로 이 길을 열었고 V4에 통합했다. Qwen3.5는 GPQA 88.4% CodeForces Elo 2056(상위 1% 프로그래밍 수준)등 강한 수치를 보고했다.

주의점: 수학 벤치마크는 오염 위험이 가장 크고, 유명 문제집이 학습 데이터로 들어갔을 가능성이 있어 새로 만든 문제로 검증해야한다 (답지보고 배끼는 치팅일수도있으니까)

한국어 및 다국어 #

1순위 Qwen 계열

Qwen3가 119개 언어, Qwen3.5가 201개의 언어와 방언으로 학습되었고 특히 CJK(중국어, 일본어, 한국어)에서 서구 모델 대비 우위가 오래 유지되어왔다. 다국어 토크나이저가 한국어를 더 효율적으로 쪼개서 같은 문장을 더 적은 토큰으로 처리하는 부수 효과도 있다.

실무 팁: 한국어 성능은 이해와 생성이 다르다. 이해는 대부분 모델이 잘해도 자연스러운 한국어 문체 생성은 편차가 크다 반드시 직접 비교해보기를

이미지와 비디오 이해 #

1순위 Kimi K2.6/K3(비디오 포함) / 2순위 Qwen3.5 3.6

둘 다 얼리퓨전 네이티브 모달이다. 별도 비전 어댑터를 나중에 붙인 게 아니라 처음부터 함께 학습되어 텍스트와 이미지를 넘나드는 추론이 자연스럽다.

GLM과 DeepSeek는 이 카테고리에서 제외이다. 사실상 텍스트 전용인 것.

웹 탐색, 리서치 에이전트 #

1순위 Kimi K3 (BrowseComp 강세)

도구 호출 정확도와 긴 자율 실행 + 병렬 서브에이전트 조합때문이다. Agent Swarm으로 여러 검색 경로를 동시에 탐색할 수 있다.

파인 튜닝으로 전용 모델 만들기 #

1순위는 Qwen (Apache 2.0 + 사이즈 선택폭)

파인튜닝은 내 데이터에 맞는 적당한 크기를 고르는게 핵심이다.

Qwen만이 0.8B부터 400B까지 같은 세대에서 제공한다. 라이선스가 가장 관대하고 튜닝 레시피와 커뮤니티 자료가 가장 많다.

멀티모달(이미지/비디오)이 필요한가?
├─ 예 ─→ 로컬에서 돌려야 하나?
│         ├─ 예 ─→ Qwen3.6 계열
│         └─ 아니오 ─→ Kimi K2.6/K3
└─ 아니오
    ↓
자체 호스팅이 필수인가? (규제/보안/비용)
├─ 예 ─→ GPU가 몇 장인가?
│         ├─ 1장 ─→ Qwen3.6-27B ★
│         ├─ 소규모 서버 ─→ DeepSeek V4-Flash
│         └─ 데이터센터 ─→ GLM-5.2
└─ 아니오
    ↓
가장 중요한 것은?
├─ 비용 ────────→ DeepSeek V4-Flash
├─ 코딩 에이전트 ─→ GLM-5.2
├─ 속도/지연 ────→ GLM-5.2
├─ 절대 성능 ────→ Kimi K3
└─ 프론트엔드 ───→ Kimi K3

용어 사전 #

흔한 오해와 함정 #

오해 1. 파라미터가 크면 좋은 모델이다 #

아니다 Qwen3.6-27B dense가 Qwen3.5-397B-A17B를 코딩 벤치마크에서 앞선다. 27B가 397B를 이기는 경우가 있다.

왜냐하면 성능은 파라미터 개수가 아니라 컴퓨터 x 데이터 품질 x 학습 기법 x 사후 학습의 함수라 종합적으로 고려되어야하기 때문이다 나중에 작은 모델이 먼저 나온 큰 모델을 이기는 것은 정상적인 현상이다

오해 2. 활상 파라미터가 적으면 개인 PC에서 돌아간다 #

전혀 아니다. Kimi K3는 104B가 활성이지만 2.8T를 전체 메모리에 올려야하므로 4비트로 압축해도 594GB이다.

활성 파라미터는 속도를 총 파라미터는 메모리를 결정한다. 자체 호스팅 가능여부는 총 파라미터로 판단하자.

오해 3. 중국 모델은 다 오픈? #

점점 아니게 되고있다 Qwen은 최상위권 Max모델들은 클로즈드로 하고있고 206년 8월 현재 가능한 최신 Qwen 범용 모델은 3.6-27B이고 그보다 강한 3.7 3.8-Max는 API 전용이다.

Kimi K3도 발표 시점에는 API로만 접근이 가능했고 가중치는 나중에 공개되었다.

오해 4. MIT 라이선스는 아무 제약이 없다? #

라이선스와 지정학은 별개라 Z.ai는 미국 엔티티 리스트에 있고, 호스팅 API는 중국 인프라를 경유한다 가중치를 받아 사내에서 돌리면 이 문제는 해소되지만 호스팅 API 사용은 완전히 다른 결정이다.

또 Kimi는 순수 MIT가 아니라 Modified MIT (대규모 서비스시 표기 의무)이다.

오해 5. 벤치마크 점수 = 실제 성능 #

세 가지 함정이 있다.

1. 벤더 발표 편향: 기술 보고서 수치는 자기 모델에 유리한 설정에서 나온다. GPT를 이겼다 류 주장은 대부분 밴더 자체 측정이다.
2. 오염(contamination): 벤치마크 문제가 학습 데이터에 섞엇을 가능성, 수학 코딩에서는 특히 심각하다.
3. 지연: 벤치마크는 현실을 몇달 뒤 늦게 반영한다.

해답은 하나. 본인 업무 데이터로 20~50개 케이스를 만들어 직접 비교하라. 반나절이면 되고요 벤치마크 100개보다 정확함.

오해 6. 컨텍스트 1M이면 100만토큰을 다 넣어도 된다. #

넣을 수는 있다 하지만

• 비용 급증 (입력 토큰만 과금)
• 지연 급증 (프리필이 길어짐)
• 정확도 떨어질 수 있음 (중간 부분 놓치는 현상)

대부분의 경우 RAG로 관련 부분만 추려 넣는게 더 싸고 정확하다. 롱컨텍스트는 RAG의 대체재가 아니라 보완재로 생각하자.

오해 7. 오픈모델이니까 항상 싸다? #

Kimi K3는 출력 100만당 $15로 개 비싸다. 딥시크 V4 Pro 17배가 넘고 오픈 가중치와 저렴한 가격은 별개 문제다

오해 8. 논문에 나온 기법이 그 모델에 다 들어있다. #

DeepSeek mHC, Engram, DSA 논문을 냈다고해서 V4 셋다 들어갔다는 보장은 없고 실제 구현은 조정될 수 있고 세부는 기술보고서와 모델카드로 확인해야한다. 특히 K3처럼 완전한 기술 보고서가 아직 안나온 모델은 3자 분석에 의존한 설명이 많으니 주의하라.

오해, 함정 모델 은퇴 리스크 #

Kimi K2.5는 2026 1월 출시후 5월 25에 종료되었다 딥시크의 레거시 엔드포인트도 7월 24일에 은퇴했다.

호스팅 api에 의존하는 제품을 만든다면 모델 수명 저책을 반드시 확인하고 자체 호스팅은 이 리스크가없다.

오해 10. 서빙시 양자화로 인한 출력변화 #

서버리스 제공자들은 대개 활성값을 FP8로 양자화해 서빙한다 공개된 가중치를 그대로 돌린결고와 미묘하게 달라지고 벤치마크를 직접 돌려 비교할때 이게 차이의 원인일 수 있다.