Kimi

스케일이 최전선의 도전자다.

2023년 3월 베이징에서 설립되었고 창업자 양즈린은 칭화대출신 NLP 연구자다.

공동 창업자들도 칭화 동문이고 알리바바와 홍산이 투자했다.

처음부터 두 가지에 걸었는데 긴 컨텍스트 에이전트 능력 및 2023년 첫 버전이 당시로선 파격적인 12만 8천 토큰 컨텍스트로 주목받았었고 그 노선을 유지중이다.

K2.5는 2026년 5월 25일에 서비스 종료됨. 라이브 회전이 개빠르다.

설계 철학은 "스케일의 상한을 계속 밀어 올린다. 그리고 모델을 사람처럼 오래 일하게 만든다" 이다.

Moonshot의 자기 설명에 따르면 지난 12개월중에 9개월동안 오픈 모델 크의 상한선을 지키는 kimi가 정해왔다. 큰 걸 만드는 것 자체가 정체성이다.

동시에 두 번째 축이 있다. 오래 일하는 모델, K2.6은 12시간 이상 연속 자율 실행을 표방했고, K3는 항상 사고모드가 켜진 상태로 출시되었다.

구현 기법 #

• MuonClip / Per-Head Muon
• KDA(Kimi Delta Attention): Gated DeltaNet을 채널별로 게이팅하여 정밀화하고, 전체 어텐션층에 Gated MLA를 쓴다 100만 토큰에서 디코딩 최대 6.3배 가속
• AttnRes(Attention Residuals): 잔차를 깊이 방향으로 선택적으로 검색한다 학습 효율이 약 25%향상, 추가비용은 2% 미만이다.
• Stable LatentMoE + Quantile Balancing
  • 896개 전문가중 16개만 활성화하는 1.8퍼센트 극단적 희소성
  • LatentMoE: MLA처럼 큰 선형층을 저차원으로 압축하여 (다운프로젝션) 쓴다. 전문가 파라미터 자체를 압축해버린다.
  • Quantile Balancing: 라우터 점수의 분위수에서 전문가 배분을 직접 유도해서 휴리스틱 갱신과 민감한 균형 하이퍼파라미터를 제거했다.

기타 K3 특징으로는

• NoPE: RoPE를 전부 제거해 위치 임베딩 없이 간다.
• SiTU활성화 함수를 쓰고
• MXFP4로 4비트 가중치 출하 (양자화 인지 학습 기반)
• 종합적으로 K2대비 스케일링 효율이 2.5배 증가했고 같은 컴퓨트로 2.5배의 지능을 뽑는다고 주장하고있다.

AgentSwarm - 독특한 자산인데 #

이게 Kimi의 차별점이다

일반 모델:  [작업] → 단계1 → 단계2 → 단계3 → ... → [완료]   (순차)

Agent Swarm: [작업]
                ├─→ 서브에이전트 1 ─┐
                ├─→ 서브에이전트 2 ─┤
                ├─→ 서브에이전트 3 ─┼→ [조율·통합] → [완료]
                ├─→ ...            │
                └─→ 서브에이전트 N ─┘   (병렬, N은 최대 300)

K 2.5에서 개념을 도입(최대 100개)하고 K2.6에서 300개의 서브에이전트/4,000단계 조율로 확장했다 병렬 처리로 실행 시간이 4.5배 단축된다고 보고했다.

강점 #

강점 1 - 프론트엔드 ui 코딩에서 세계 1등이다. K3가 Frontend Code Arena에서 1,679점으로 1위를 차지했다 최상위 상용 모델들 보다 앞서고 전작 K2.6은 같은 보드에서 18위였으니 극적인 도약이다.

왜 그런가? 프론트엔드는 정답이 없고 미적인 판단과 사용자 경험의 영역이라 Kimi의 자기 비평 루브릭 보상은 정답이 없이 과제에서 모델이 스스로 품질을 평가해 배우게한다 + 에이전트 데이터 합성 파이프라인으로 만들고 -> 보고 -> 고친다는 루프를 대량 학습한다 + 네이티브 비전 -> 자기가 만든 ui를 실제로 보고 판단할수 있으니 = 검증 불가능한 영역에 강점이 있다.

강점 2 - 장기 자율 실행. 12시간 이상 4,000단계 조율은 다른 모델에 등가물이 없다

Muonclip으로 확보한 학습 안정성 -> 아주 긴 학습을 사고 없이 완주하고 + 에이전트 합성 파이프라인 -> 장기 궤적 데이터를 인위적으로 대량 생산 + AttnRes -> 깊은 모델에서 정보가 소실되지 않고 전달되며 + AgentSwarm -> 하나의 긴 사슬 대신 병렬 분할로 실패지점을 분산한다.

강점 3 - 멀티모달 K2.5부터 텍스트와 이미지 통합 아키텍처로 학습 (비전 + 텍스트 15조 토큰), K2.6d에서 비디오 추가. 이 노트의 네 가문중 Qwen과 함께 진짜 멀티모달이다.

강점 4 - 도구 사용과 웹 탐색 BrowseComp에서 강세고 K2시렂부터 Tau2-Bench, ACEBench등 도구 호출 벤치마크에서 두각을 보였다

강점 5 - 캐시 효율. Moonshoot은 코딩 워크로드에서 캐시 적중률 90퍼 이상을 보고한다 실효 입력 비용이 크게 내려간다.

약점 #

• 비싸다 K3는 100만 토큰당 $15로, 4모델중에 가장 비싸고 1달러로 살수있는 출력 토큰이 DeepSeek V4 Pro는 약 115만개고 GLM 5.2는 22.7만개지만 K3는 약 6.7만개다 오픈 웨이트 진영의 싸다는 통념은 K3는 안디ㅏ.
• 느리다 독립 측정에서 약 62토큰으로 GLM-5.2(약 168) 절반 이하라 따로 튜닝을 해야한다.
• 자체 호스팅이 사실상 불가하다 2.8T 모델은 가속기 64장급 슈퍼노드 인프라 전제로 설계되었고 INT4 가중치도 594GB 수준이다.
• 라이선스가 순수 MIT가아님 Modifed MIT로 월간 활성 사용자 1억명 초과 또는 월매출 2천만 달러 초과시 ui에 kimi k2표기 의무가 있어서 대부분의 조직에는 무관하지만 소비자 제품이라면 확인 필요하다.
• 검증이 덜 되었다: K3는 출시 직후고 완전한 기술보고서가 현재로서 아직 대기중이라 KDA 6.3, AttnRes 25%같은 수치는 모두 벤더 발표이며 독립재현이 안되어있다. Agent Swarm의 자율 실행 주장도 프로덕션 도입 전에 직전 검증이 필요하다.
• 라인업 회전이 빠르고 은퇴리스크고 있긴하다. K2.5는 5개월만에 종료

언제 고르나 #

O: 프론트엔드 ui 디자인 감각 필요한 코드 생성에 유리하고

여러 시간에 걸친 자율실행 워크플로우나 병렬 다중 에이전트 오케스트레이션, 이미지 비디오 함께 다루는 에이전트

웹 탐색 리서치 에이전트로 유리하다

X: 비용 민감한 대량 처리나 저지연 대화형 응답, 자체 호스팅이 필수일때, 검증 안정성이 최우선일때는 권장하지않는다.