GLM-5.3 분석

8,740 단어·18 분·원문(.md)

기준시점은 2026년 8월 31일 아래를 오늘 공부해보겠다

  • GLM-5, 5.1, 5.2, 5.3, 5.3-Flash가 반년 사이에 다 나왔는데 뭐가 기준일까
  • 베이스 모델은 그대로고 사후학습만 스케일링한다. 라는 뜻이 무엇일까
  • 753B Flabship과 320B Flash가 같은 5.3이다 왜 아키텍처가 다를까
  • DSA, IndexShare, IndexPool, mHC, SAO, slime 이런게 뭘까
  • GLM MIT아닌가 플래그십만 자체 라이선스인 이유는
  • 사이버보안 벤치마크를 프론티어를 이겼다는데 그 숫자를 어디까지 믿어야할까
  • 어떤 장비에서 돌릴 수 있을까

GLM 가문 #

정체성 - 남의 하네스에서 얹혀서 승부하는 가문 #

GLM은 Z.ai(智谱, 지푸 AI)가 만든 모델 가문으로 칭와대 연구실 THUDM 계열에서 출발했고. 2021년 GLM 논문, 2023년 ChatGLM chatbot을 거쳐 지금의 GLM-5세대가 왔다.

다른 가문과 구분되는 지점은 배포 경로로 Qwen이 라인업 폭으로, deepseek가 아키텍처 논문으로 존재감을 만든다면 glm은 이미 사람들이 쓰고 있는 코딩 에이전트 안으로 들어가는것으로 승부한다

가장 상징적인 것은 앤트로픽의 호환 앤드포인트다

https://api.z.ai/api/anthropic        ← Claude Code, Goose 등이 그대로 붙음
https://api.z.ai/api/coding/paas/v4   ← OpenAI 호환 툴 (Cline, Kilo, Roo 등)
https://api.z.ai/api/v1               ← Codex

claude code 쪽에서 보면 이 앤드포인트는 anthropic api랑 구분되지 않고 환경변수 두줄만 바꾸면 바로 클로드코드가 glm으로 들어가게 된다 자체 cli를 만들어 사용자를 끌어오는 대신 남이 만들어둔 하네스의 배관에 자기 모델을 흘려보내는 전략이다

이 전략은 벤치마크에서 그대로 들어나는데 glm-5.3 공식 벤치마크 각주를 보면 코딩 에이전트 계열 거의 전부를 Claude Code 2.1.207에서 측정했다. 중국산 오픈웨이트 모델의 프론티어 주장이 미국산 에이전트 소프트웨어를 통해 측정되고 있다는 뜻이고 이건 모델 점수보다 툴링 계층이 지금 어디 있는지를 더 잘보여주는 사실이다.

시기모델도입한 것
2025.7GLM-4.5 / 4.5-Air355B-A32B / 106B-A12B. 23T 토큰. thinking/non-thinking 하이브리드. MIT
2025.8GLM-4.5VAir 기반 VLM. 3D 비전 인코더 + 3D-RoPE
2025 하반기 ~ 2026 초GLM-4.6 / 4.74.5 계열의 개선판. 5 세대의 직전 비교 기준선
2026.2GLM-5744B-A40B. 28.5T 토큰. DSA 도입. 200K 컨텍스트. 화웨이 어센드에서 전량 학습
2026 상반기GLM-5.1GLM-5와 같은 아키텍처, RL을 코딩 특화로 재설계
2026.6.16GLM-5.2IndexShare 도입. 컨텍스트 200K → 1,048,576. SAO를 에이전틱 RL에 투입. MIT
2026.8.14GLM-5.3베이스 동결, 사후학습만 스케일. 사이버 능력 창발. 가중치는 2주 뒤 예고
2026.8.26GLM-5.3-Flash320B-A18B. 새 베이스. 희소+선형 하이브리드 어텐션, mHC. 네이티브 멀티모달. MIT
2026.8.28GLM-5.3 가중치 공개753B. MIT가 아닌 자체 glm-5.3 라이선스

Open-Closed #

Qwen이 오픈라인과 Max Closed line을 따로 굴리는것과 달리 GLM은 플래그십 자체를 오픈웨이트로 낸다 지금 api로 부를 숭 ㅣㅆ는 최상위 모델과 허깅페이스에서 받을 수 있는 모델이 같은 물건

대신 다른 형태의 시차가 있는데 GLM-5.3은 8월 14일에 api로 먼저나오고 가중치는 8월 28일에 나왔다.

Z.ai가 밝힌바에 따르면 사이버 능력이 예상보다 빠르게 발달해 안전성 평가와 하드닝에 2주가 필요했다 라고 하더라

실무 관점에서 이 패턴은 기억해둘만한게 glm계열은 발표 시점과 다운로드 시점이 다를수있으니 그 사이 기간에는 오픈웨이트가 아니라 api모델. 자체 호스팅 계획을 세울때 저장소로 올라오는 날짜로 잡아두자

라이선스 #

GLM은 오랫동안 MIT였는데 2026. 8에 한 주 안에 같은 회사가 두 모델에 서로 다른 라이센서를 붙였다

모델라이선스상태
GLM-5.3-Flash (320B)MIT (무수정)8월 26일 공개
GLM-5.3 (753B)glm-5.3 자체 라이선스8월 28일 공개

glm-5.3 라이선스 본문은 MIT 거의 그대로 따라가고 부여조항은 사용 복제 수행 병합 배포 서브라이선스 판매를 제한없이 허용및 소프트웨어의 정의에 모델 가중치 파라미터 설정 파일 추론 및 학습코드등 명시적으로 포함시켰다

여기에 실행, 배포, 파인튜닝, 파생 저작물 생성 권리를 별도로 한 줄 더 적어놨다.

조항 2 (요약)

라이선시 또는 그 계열사가 Model as a Service 사업을 운영하고,
라이선시와 계열사의 합산 매출이 연속된 12개월 동안 100억 달러를 초과하면
상업적 사용 전에 Z.AI의 보안 심사를 통과해야 한다.
  • MaaS의 정의: 가중치를 직접 호스팅하고, 제3자에게 "입력·파라미터·학습 데이터에 대한 실질적 통제권"을 주는 API 형태의 접근을 파는 것
  • MaaS에서 제외되는 것: ① 모델 능력이 특정 기능이나 하네스 안에만 임베드된 최종 사용자 제품 ② 남이 호스팅하는 모델로 요청을 단순 중계하는 것
모델총/활성컨텍스트멀티모달라이선스상태
GLM-4.5 / Air355B-A32B / 106B-A12B128K별도 VL 모델MIT유지보수
GLM-5744B-A40B200K텍스트MIT유지보수
GLM-5.1744B-A40B200K텍스트MIT유지보수
GLM-5.2744B-A40B1M텍스트MIT5.3의 베이스. API는 5.3으로 자동 라우팅
GLM-5.3753B-A40B1M텍스트glm-5.3플래그십 최전선
GLM-5.3-Flash320B-A18B1M네이티브 (텍스트·이미지·비디오)MIT효율 최전선

다 같은 모델인데 44B, 750B, 753B, 754B가 섞여 나오는 경우는

744B  ← GLM-5 기술 보고서 (arXiv 2602.15763) 본문
750B  ← SAO 논문에서 "750B-A40B"로 지칭
753B  ← 허깅페이스 GLM-5.3 모델 카드의 safetensors 집계
754B  ← GLM-5.2 관련 커뮤니티 집계

MTP Draft Layer, Embedding, Router를 세느냐 마느냐에 차이가 있는거고

어느 숫자가 틀린게 아니라 세는 범위가 다른거라 하드웨어 사이징할때 논문의 숫자가 아니라 실제 체크포인트 파일 크기를 봐야한다.

GLM-5.3, GLM-5.3-Flash 이름은 형제, 혈통은 남 #

이 둘은 같은 모델의 큰 버전과 작은버전이런 느낌보단 베이스 모델 부터가 다르다

항목GLM-5.3GLM-5.3-Flash
베이스GLM-5.2 베이스 재사용새로 학습한 베이스
사전학습 코퍼스28.5T (GLM-5 계승)30T, 멀티모달
총/활성753B / 40B320B / 18B
레이어 수7845
어텐션MLA + DSA + IndexShareKDA(선형) + NoPE 희소 MLA 하이브리드 + IndexPool
잔차 연결표준mHC
전문가256 라우팅 + 1 공유 (8/토큰)288 중 8/토큰
멀티모달텍스트 전용네이티브 (이미지·비디오)
HF 아키텍처 태그glm_moe_dsaglm5_next
라이선스glm-5.3MIT
API 가격 (100만 토큰)1.40/1.40 / 0.26 캐시 / $4.400.15/0.15 / 0.50

가격은 대략 10배 차이가 나고 Z.ai 자체 성능 측정 기준 Flash는 GLM-5.2를 벤치마크에서 전반으로 앞선다/

  • 최고 성능이 필요하고 예산 문제가 없으면: GLM 5.3 코딩에이전트 상단 점수는 여전히 얘네가 잘함
  • 비용당 지능이 목표면: Flash. 활성 18B 레이어에 45개라 지연도 낮다.
  • 이미지 비디오를 다뤄야하면: Flash 하나뿐 GLM5.3은 텍스트전용
  • 로컬실행 고려하면: 당연히 Flash. 뒤에서 다루지만 메모리 바닥이 절반 이하라
  • 자체 호스팅해서 추론을 파는 사업이면: 라이선스를 읽자. Flash는 MIT, 5.3은 MIT아니니까

Architecture #

GLM-5 세대의 아키텍처는 세 겹으로 쌓여있다.

GLM-5
  MLA + DSA 도입
  → 희소 어텐션의 기반

GLM-5.2
  + IndexShare
  → 그 희소성의 오버헤드를 다시 깎음

GLM-5.3
  아키텍처 변화 없음. 사후학습만
  → 다른 축으로 이동

GLM-5.3-Flash
  선형 + 희소 하이브리드, IndexPool, mHC
  → 새 베이스, 새 실험

1층 MLA + DSA (GLM-5) #

풀려는 문제 #

컨텍스트를 길게 가져가면 어텐션이 감당이 안된다 토큰이 n개면 Q-K쌍이 N^2라서 계산이 제곱으로 늘고 kv캐시길이에 비례해 동시 사용자 수를 제한한다

GLM-5는 이 문제를 두가지 겹쳐서 대응하게 된다

**MLA(Multi-head Latent Attention)**는 헤드마다 완전한 k/v 텐서를 캐싱하는 대신, 저차원 잠재공간으로 압축해서 공유한다. kv캐시 자체의 부피를 줄인다.

**DSA(DeepSeek Sparse Attention)**는 어텐션을 선택과 계산 두 단계로 나눈다.

① Lightning Indexer
   현재 쿼리와 앞선 모든 토큰 사이의 관련도 점수를 가볍게 계산
   → 상위 2,048개 위치만 고른다

② 본 어텐션
   고른 2,048개에 대해서만 정상적인 어텐션을 수행

비유하면 도서관에서 답을 찾을때 만권 전체를 보는게 아니라 대신 색인 카드로 관련있어 보이는 20권을 먼저 골라내고 그 20권만 제대로 읽는 방식이다 색인 카드를 훑는것도 만번이긴한데 카드 한장 보는비용이 책보단 싸다

슬라이딩 윈도우 같은 고정 패턴과 다른 지점은 내용을 보고 고른다는 것이고 300페이지 앞의 한 문장이 지금 중요하면 그걸 고를 수 잇다.

여기서 비용 구조를 정확히 이해해두자

본 어텐션  : O(L × k)   k = 2,048 고정  →  길이에 선형
인덱서     : O(L²)                       →  여전히 제곱

여기서 문제는 인덱서는 여전히 제곱인 것이다 연산 하나당 비용이 훨씬싸서 티가 덜한거지 그런데 이걸 78개 레이어에서 매번 돌리면 컨텍스트가 1m 되었을때는 여전히 무시할 수 없는 덩어리다.

GLM-5 기술 보고서는 DSA를 밀집(dense) 베이스에서 계속 Continued Pre-Training 하는 방식으로 도입했다고 밝힌다. 처음부터 희소로 학습하는 천문학적 비용을 피하려고 "밀집 워밍업" -> "희소 적응" 2단계 전략을 사용했다.

장문 벤치마크에서 MLA 모델과 거의 동등한 성능이 나왓고 같은 SFT 데이터로 파인튜닝했을때 학습 손실과 평가점수가 비겼다고 보고한다.

RL 안정성 관점의 디테일: DSA는 인덱서가 top-k를 뽑아내서 그 부분집합에만 어텐션을 계산하는데 top-k의 결과가 RL안정성에 결정적이라고 보고서는 말한다. MoE에서는 학습 추론 일관성을 위해 활성화된 top-k 전문가를 보존하는 라우팅 리플레이와 같은 구조의 문제다 학습때 고른 토큰과 추론때 고르는 토큰이 갈리면 학습이 흔들린다.

IndexShare GLM-5.2 #

어떤 관찰에서 출발한 것인가 #

IndexShare 연구가 측정한바에 따르면 인접한 DSA 레이어들이 고르는 토큰이 70~100%겹친다. 즉 옆 레이어의 인덱서가 방금 옆에서 찾아낸거소가 거의 같은 위치를 다시 찾아내고 있었다.

해법 #

인덱서를 한 레이어에서만 돌리고 고른 위치 목록을 뒤따르는 새레이어가 재사용 한다.

GLM-5.2의 반복 패턴 (초반 몇 층 예외 제외)

[ full, shared, shared, shared ] × ...
  │     └──────────────────────┘
  │       └ 인덱서 안 돌림
  │         앞 레이어가 고른 위치 목록만 빌려 씀
  └ 자기 DSA 인덱서를 돌리는 레이어

여기서 full은 밀집 어텐션이라는 뜻이아니고 전 구간에 대해 어텐션이 아닌 자기 인덱서를 직접 돌린다는 뜻이다 모든 레이어가 여전히 희소 어텐션을 한다

그리고 shared 레이어들도 자기 쿼리, 자기 어텐션 가중치, 자기 밸류 결합, 자기 출력 프로젝션, 자기 FFN 갱신을 전부 계산한다. 빌려쓰는건 오직 어느 위치를 볼 것인가라는 목록 하나다. 레이어를 지나며 은닉 상태와 어텐션 출력은 계속 바뀐다.

비유하면 회의실 네 명이 같은 자료 더미에서 각자 다른 결론을 뽑아내는데, 이 더미에서 볼만한건 이 20건이라는 선별 작업만 한 사람이 대표로하고 나머지 셋은 그 20건을 각자의 관점으로 읽는것이다.

보고된 효과는 1M 컨텍스트에서 토큰당 FLOPs가 2.9배 감소한다

트레이드 오프와 유의점

  • 이건 해당 컨텍스트 길이에서의 계산량 추정치고 엔드투엔드 속도가 2.9배 빨라지는건 아니다
  • Z.ai 스스로 kv 캐시 메모리는 같은 비율로 줄지않는다 라고 밝힌다 1M token에서는 캐시 용량, 롱컨텍스트 커널, cpu scheduling, cache tranfer 여전히 큰 서빙 비용인것이다
  • 학습된 모델에서는 추론 시점에 캐시를 붙인게 아니라 128K 시퀀스로 중간 학습 (mid-traninig)을하면서 이 패턴을 넣은 것이다. 살아남은 인덱서가 자기에 의존하는 아웃 레이어에 맞춰 적응할 기회를 준것이다

참고로 별도의 30B DSA모델이 200K 컨텍스트로 실험했을 때 인덱서의 4분의 1만 남기는것으로 프리필 최대 1.82배, 디코드 1.48배 가속이 나왔다. 다른 모델 다른 길이의 측정이므로 GLM5.2수치로 읽으면 안되고 재사용 아디어 자체에 대한 방증으로만 참고하자

MTP 레이어 재사용 적용 #

GLM-5.2는 투기적 디코딩용 MTP 레이어소 손봤다 첫 드래프트 스텝이 인덱스를 계산하고 이후 드래프트 스텝들은 그 인덱스와 앞선 kv 캐시를 함께 재사용한다. 여기서 리젝션 샘플링과 엔드투엔드 총변동(total-variation) 손실을 결합했다.

보고된 어블레이션에서 MTP 변경전체가 **평균 수용 드래프트 길이를 4.56 -> 5.47 토큰(+20%)**으로 올랐다 다만 표가 변경사항 누적으로 더해가는 형태라 IndexShare 단독 기여분은분리되지 않았다.

MTP(Multi-Token Prediction): 학습때 다음 토큰 하나가 아니라 여러개를 동시에 예측시키는 방식으로 더 멀리 보는 표현을 배우게 되어 장거리 일관성이 좋아지고 추론시에는 그레이어를 투기적 디코딩의 드래프트 모델로 그대로 재활용한다 별도 드래프트 모델을 만들 필요가 없다.
투기적 디코딩: 가벼온 드래프터가 여러 토큰을 미리 제안하고 본 모델이 한번의 포워드 패스로 검증한다 가중치를 한번 읽는 비용은 토큰1개를 만들때나 6개를 검증할때나 거의 같기 때문에 남는 계산자원으로 여러토큰을 확정할 수있다. "수용 드래프트 길이"는 한번의 검증에서 평균 몇개가 통과했는지를 뜻하고 이숫자가 곧 속도 배수에 가깝다.

GLM-5.3-Flash 하이브리드 #

Flash는 새 베이스를 학습하면서 어텐션 구조를 다시 짰는데 GLM 시리즈 최초로 선형 어텐션과 희소 어텐션을 한 모델에 섞엇다.

GLM-5.3-Flash의 어텐션 (45개 레이어)

KDA 선형 어텐션 층        ← 고정 크기 상태에 과거를 요약. "기억한다"
NoPE 희소 MLA 층          ← 가벼운 인덱서로 먼 곳을 정확히 집는다. "검색한다"

역할 분담이 명확한데, 선형 어텐션은 상태 모델링으로 지역 의존성을 담당하고 희소 어텐션은 인덱서로 전역 문맥중 관련 있는부분을 끌어온다.

  • KDA(Kimi Delta Attetnion): Moonshot 계열에서 나온 선형 어텐션 변형을 Z.ai가 자기 하이브리더 선형 축으로 채택했다. 델타규칙 계열 선형 어텐션 Gated DeltaNet, KDA이 오픈웨이트 진영의 공통 부품이 되어가는흐름이다.
  • NoPE(No Positional Encoding): 해당 층에서 명시적 위치 인코딩을 빼는것이다. 하이브리드에서는 선형 어텐션 층이 순차적으로 상태를 갱신하기 때문에 이미 순서 정보가 운반된다, 희소 어텐션 층에서 위치 인코딩을 그래서 빼도 감각이 유지되고 길이 외삽이 오히려 편해진다.

IndexPool #

인덱서를 쓰면 인덱서용 키 벡터를 따로 만들고 들고있어야한다. 1M 컨텍스트에서는 이 인덱서 캐시 자체가 지연과 메모리에 부담이다.

IndexPool은 인덱서키 벡터 4개를 가중 풀링으로 1개로 압축한다. 인덱서가 보는 해상도를 4분의 1로 낮추는 대신에 인덱서 캐시를 4분의 1로 줄이는 것이다.

선별 단계는 어차피 대략적인 후보가 추리기이므로 해상도를 조금 잃어도 최종 어텐션 품질에 미치는 영향이 작다는 판단이다.

mHC (Manifold-Constrainted Hyper-Connection) #

잔차 연결 residual connection 쪽 개선이다. 표준 트랜스포머는 각 블록의 출력을 입력에 그냥 더하는데, 하이퍼 커넥션 계열은 이 연결을 여러 갈래로 확장해서 표현력을 늘린다. 문제는 그 상태로 두면 학습이 불안정해지는 것이고, mHC는 그 확장된 연결을 매니폴드 제약 아래두어 안정성을 유지하면서 스케일링 효율을 개선한다

Z.ai는 이걸 스케일링 효율 개선으로만 서술하고 정량 수치는 별도로 붙이지 않았다.

효과 #

GLM-5.3대비 Z.ai 자체 측정으로

어텐션 계산량은 3.01배 감소, KV 캐시 크기는 4.44배 감소를 발표했다.

레이어 수도 GLM-4.5의 92개에서 45개로 절반이 되었고, 활성 파라미터는 32B에서 18B로 줄었다.

비슷한 총 파라미터 320B vs 355B를 유지하면서 토큰당 비용만 깎아낼 수 있었던 설계다.

Z.ai의 비교자료에 따르면 Flash는 GLM-5.3, DeepSeek-V4-Flash, Kimi K3를놓고 봤을때 레이어, 헤드당 어텐션 계산량이 가장 낮다.

다만 KV캐시는 DeepSeek-V4-Flash, Kimi K3보다 아직 약간 크다, 여지가 남아있다.

그래서 GLM-5.3은 뭘 바꿨는가 - 아무것도 안바꿈 #

여기가 이번 핵심 릴리즈에 주장인데 GLM-5.3은 GLM-5.2와 같은 베이스 모델을 쓴다. 모든 향상은 사후학습에서 왔다.

아키텍처, 토크나이저, 사전학습 전부 그대로다. 바뀐건 사전학습 이후의 파이프라인 뿐이다.

그리고 그 결과가 이렇다.

벤치마크GLM-5.2GLM-5.3변화
Terminal-Bench 3.04.628.3약 6배
FrontierSWE67.578.1+10.6
DeepSWE v1.146.266.9+20.7
SWE-Marathon v1.119.442.52배 이상
ExploitBench24.454.42배 이상
CyberGym77.284.5+7.3
Z.ai Code Bench (비공개)기준선+50%자체 측정

동결된 베이스에 RL환경과 컴퓨트를 더 부었더니 에이전틱 터미널 코딩 점수가 6배가 됐다

이게 재현된다면 다음 한 해의 경쟁 질문은 누가 가장 큰 베이스를 사전학습하는가? 가 아니라 이미 가진 베이스 위에 누가 가장 좋은 사후학습 파이프라인을 돌리는가 가 된다.

Z.ai 스스로도 이 베이스 모델의 지능 천장에 아직 도달하지 못했을 수 있다 고 적어놨다.

사후학습 스택 - SAO, slime, 환경 #

세 부품이 이걸 가능하게 했는데 셋 다 GLM-5.2에서 이미 도입된 것들이고 5.3에 생긴건 안디ㅏ

SAO - Signle-rollout Asynchronous Optimization #

이름부터 정리하면 2차 매체에서 SAO를 Scalable Agentic Optimization, Self-play Alignment Optimization, Self-Adaptive Optimization 등으로 각각 다르게 푼다. 원 논문 (arXiv 2607.07508, Hou et al., 2026)의 제목은 Single-Rollout Asynchronous Optimization이다. GLM 팀 본인들도그렇게 쓴다

풀려는 문제는 일반 챗봇 RL에서는 보상같은게 즉시 온다. 모델이 답하고 그 답을 체점하면 되기 때문이다.

그런데 저장소 안에 버그를 고치는 것 같은 실제 에이전트 작업에서는 수십에서 수백 스텝이 지난 뒤에야 보상이 오게 된다.

그 많은 스텝중 어느것이 결과에 기여했는지 알아내는 것이 credit assignment 문제다.

여기서 비동기문제가 겹치게 된다.

동기식 RL : 롤아웃 배치를 전부 생성 → 모델 갱신 → 반복
            느린 롤아웃 하나 때문에 전체가 대기

비동기 RL : 생성기 무리가 궤적을 계속 흘려보내고
            트레이너는 도착하는 대로 갱신
            GPU가 놀지 않음

문제는 GRPO는 비동기와 잘 안맞는다는 점이다. GRPO는 같은 프롬프트에 대해서 8개쯤 응답을 뽑아 그룹 평균을 베이스라인으로 쓴다. 그런데 그룹 아에 동기화 장벽이 숨어있는데 그룹 전체가 가장 느린 멤버를 기다려야하고 비동기 환경에서 그 대기는 곧 낡은 업데이트가 된다.

긴 에이전트 궤적이 여러 하위 궤적으로 압축될때 더 나빠진다. 같은 프롬프트를 롤아웃마다 학습 가능한 궤적의 개수와 길이가 제각각이 되어 비교 가능했던 깨끗한 그룹을 비교한다. GRPO는 전제 자체가 깨진다.

해법 #

SAO는 그룹을 패치하는 대신 없앴다 프롬프트당 롤아웃 1개로 학습한다 대신 GRPO가 지웠던것을 되살려야했다.

  • 그룹 샘플링 -> 단일 롤아웃 샘플링
  • critic의 부활: 그룹 평균이라는 공짜 베이스라인이 없어졌으니 진짜 크리틱을 학습시켜야한다 크리틱 갱신을 더 자주하고 어텐션을 고정한체 MoE 프로젝션만 학습시키는 frozen-attention 기법을쓴다
  • 양측 토큰 단위 클리핑 DIS: 발산하는 그래디언트를 마스킹해서 정책 지연과 학습 붕괴를 막는다

결과 #

닐라 GRPO : 비동기 약 160 스텝에서 붕괴
SAO         : 약 1,000 스텝 안정적으로 학습
              BeyondAIME 54.8 → 74.8
              SWE-Bench Verified, IMOAnswerBench에서 GRPO 계열 상회

3년동안 다들 가치 모델을 지웠는데, 장기 지평 비동기 학습에서는 가치 모델이 돌아온것

읽을때 주의: 어블레이션은 Qwen3-30B-A4B 백본(핵심 기반)), 즉 30B 규모 연구실의 결과로 논문은 GLM-5.2 본 학습의 wall-clock이나 gpu 시간을 공개하지 않는다 장기 지평 에이전틱 RL의 유력한 패턴 정도로 받아들이는게 맞고 정설로 굳었다고 보긴이르다.

어블레이션 Ablation, 절개 제거라는 뜻으로 ai 모델의 특정 구성요소나 특징을 제거후 성능 변화를 관찰해 해당 요소의 중요성을 검증하는 연구방법이다

slime - 비동기 RL 인프라 #

THUDM이 오픈소스로낸 사후 학습 프레임워크다.

학습 : Megatron
롤아웃 : SGLang
핵심 : 궤적 생성과 모델 갱신이 서로를 기다리지 않음

GLM-5.3에서 시스템 작업으로 보고된 수치:

  • 장기 지평 코딩 작업의 앤드투앤드 RL학습 처리량 2.3배 향상
  • 학습 롤아웃 로그 확률을 발산 1e-7 수준으로 통제

두 번째 항목이 왜 중요한가 궤적을 생성한 추론 엔진과 그걸 학습하는 트레이너가 같은 입력에 대해 다른 확률을 내높으면 학습이 실제로 일어난 적 없는 행동을 강화하게 된다 비동기 rl에서 이 불일치는 조용히 누적되다가 학습을 무너뜨린다 1e-7는 두 경로가 사실상 같은 계산을 하고있다는 주장이다.

둘 다 내부 지표라서 외부에서 검증할 경로가 없다 다만 더 많은 컴퓨트가 어디로 갔는지 설명해준다.

환경 - 여기가 진짜 병목 #

가장 흥미로운 부분은 알고리즘이 아니라 환경이다.

Z.ai는 학습 과제를 손으로 쓰지 않았다. 리서치 에이전트가 실제 엔지니어링 작업에서 반복되는 패턴을 수집해 실행 가능한 다단계 환경으로 합성했다 모델이 행동을 통해 발견해야만하는 숨겨진 상태를 환경에 심어두는 방식이다.

5.3에서 늘린 것:

  • 장기 지평 과제 환경을 수십배 확장: 일부 과제는 며칠치 연속 엔지니어링 작업에 해당한다
  • 환경 종류와 다양화. ML 최적화 클러스터, 보안 분석 프레임워크, 실제 개발 툴링
  • 특히 실제 ML 최적화 클러스터에는 모델이 인간 알고리즘 엔지니어가 같은 컴퓨트, 스토리지, 문서, 실험 시스템을 쓰면서 측정 가능한 엔드투엔드 가속을 수행하게 했다
  • 보상 해킹 차단. 점수만 올리고 과제를 실제로 완료하지 않는 지름길 파이프라인이 찾아내 막는다.

사이버 능력 - 이번 릴리즈에서 가장 논쟁적인 부분 #

Z.ai는 취약점 탐색 데이터와 환경을 사후학습에 의도적으로 넣었다 기대한건 보안 추론의 점진적 개선

"우리는 이것을 모델의 취약점 탐색과 추론에 더 능하게 만들것이라고 생각했다. 놀란 것은 학습 스케일을 할수록 그 능력이 얼마나 빠르게 발달했는가 였다."

모델이 여러 단계의 익스플로잇에 걸쳐 추론하기 시작했고 완전한 익스플로잇 체인에 대해 일관된 계획을 세웠다고 서술했다

벤치마크GLM-5.2GLM-5.3Fable 5 (표에서는 w/ fallback)GPT-5.6 Sol
CyberGym (취약점 발견)77.284.583.883.6
ExploitBench (익스플로잇)24.454.478.076.5
ExploitGym (2h / 6h)29 / 39105 / 130181 / 247216 / 293
"CyberGym에서 프론티어 모델들을 앞섰다"        → 84.5 vs 83.8  ✓
"ExploitBench에서 23.6점 뒤진다"               → 54.4 vs 78.0  ✓
"ExploitGym 2시간 예산에서 절반도 못 미친다"   → 105 vs 216    ✓

CyberGym은 소스코드에서 결함을 찾아내고 검증하는 능력을 ExploitBench와 ExploitGym은 그걸 실제 익스플로잇으로 올라가는 능력을 잰다 glm-5.3은 사다리의 아래칸에서 1위이고 위칸에서는 크게 뒤진다.

그리고 이걸 Z.ai가 자기 발표문에 적어놨다.

"벤치마크가 익스플로잇 체인의 위쪽에 있을수록 GLM-5.2대비 향상폭이 크고 동시에 클로즈드 프론티어와 남은 격차도 크다 능력은 우리가 가장 뒤쳐진곳에 가장 빠르게 자라고있다."

출시 발표문에서 드물게 자기비판적이네 보안 항목을 읽는 정직한 방식이다

공개 취약점 원장 #

Z.ai는 cvd.z.ai에서 ai지원 취약점 발견을 구조화된 엠바고 절차로 추적하는 공개원장을 열었다

발견 취약점    2,436건 / 269개 오픈소스 프로젝트
심각도         Critical 107 · High 990 · Medium 1,286 · Low 53
               (Critical+High 1,097건)
공개 상태      53건 공개, 2,383건 엠바고
가장 오래된 것  1981년
평균 잠복 기간  26.6년

원장의 최근 주가 피드에는 리눅스커널 6lowpan use-after-free(CVE-2026-64452), WebKit/Safari 메모리 처리 버그(CVE-2026-43663), FreeBSD ptrace 파라미터 검증 결함(CVE-2026-45253), GStreamer 힙 OOB 쓰기(CVE-2026-59691), Suricata SMTP/MIME 파싱 우회(CVE-2026-57229), Joomla 저장형 XSS(CVE-2026-48952) 등 실제 배정된 CVE ID들이 올라와 있다.

원장 통계 자체는 Z.ai 자체 집계로 CVE ID는 벤더가 만들어낸 라벨이 아닌 실제 배정된 식별자로 기록되어있다.

이건 방어 서사로 모델이 결함을 표면화하고 사람이 운영하는 엠바고 프로그램이 책임있게 공개하고 정상적인 CVE 절차로 패치가 따라간다 다만 앞서 라이선스 절에서 짚었듯 2주를 미루게 만든 그 우려가 라이선스 문서를 흔적을 남기지않았다.

벤치마크 #

벤치마크GLM-5.3GLM-5.2Kimi K3DeepSeek-V4 ProQwen3.8-MaxOpus 4.8Fable 5GPT-5.6 Sol
Terminal Bench 2.188.281.088.387.986.685.088.088.8
Terminal Bench 3.028.34.617.4––21.133.734.6
DeepSWE v1.166.946.267.562.756.658.069.772.7
NL2Repo58.048.958.061.155.969.7––
ProgramBench19.09.517.5–10.515.533.023.0
FrontierSWE78.167.5–––66.588.2–
SWE-Marathon v1.142.519.448.1––48.833.142.5
PostTrainBench39.831.732.0––32.941.836.2
CyberGym84.577.280.083.378.578.183.883.6
ExploitGym (2h/6h)105/13029/3936/70–14/2680/120181/247216/293
ExploitBench54.424.432.2–28.840.078.076.5
Toolathlon Verified73.059.976.574.172.576.274.774.9
AutomationBench48.226.246.743.239.841.046.245.8
Agents' Last Exam (CLI)28.523.827.625.727.025.723.828.6
HLE w/ Tools62.554.759.860.056.257.963.964.5
GDPval-AA v217691508168215901739158817431730
AI/ow/glm53.md