DeepSeek

1,922 단어·4 분·원문(.md)

구분하자면 효율의 장인이다

중국 항저우의 헤지펀트(환팡퀀트) 계열에서 출발한 연구 조직이 딥시크다.

조직이 작고 논문 중심으로 움직이며 제약이 발명을 낳는다를 몸으로 증명해 왔다.

최고사양 GPU를 원하는 만큼 사고 쓸수없는 환경과 조건에서 아키텍처와 시스템 최적화로 격차를 메웠다.

가장 특징적인 행동양식: 모델을 내놓기전에 핵심 기법 논문 공개를 먼저 진행한다. 2025년 말 ~ 2026년초 mHC, Engram, DSA 논문을 세 편을 연달아 내놓았고, 이를 사람들이 조합해 V4의 설계를 예측할 수 있었다.

V3때도 같은 패턴

시기모델도입한 것
2024V2 (236B/21B)MLA, DeepSeekMoE (세분화 + 공유 전문가)
2024.12V3 (671B/37B)보조 손실 없는 로드밸런싱, MTP, FP8 훈련 최초 대규모 실증, DualPipe. 14.8T 토큰, H800 278만 시간
2025.1R1GRPO 기반 순수 RL 추론. "추론 모델" 시대를 엶
2025 하반기V3.2 (685B/37B)DSA + 라이트닝 인덱서. 128K 컨텍스트 선형화
2026.4.24V4Pro 1.6T/49B, Flash 284B/13B. mHC + Engram + 하이브리드 희소 어텐션 + Muon. 1M 컨텍스트, MIT

V4의 중요한 통합: 기존에는 범용 V계열과 특화 R 계열을 사용자가 골라야했다.

V4는 이 둘을 합쳐서 과제 복잡도에 따라 스스로 추론 깊이를 조절한다. 참고로 레거시 별칭 deepseek-chat, deepseek-reasoner는 2026년 7월 24일에 은퇴함. 완전히

설계철학은 **성능을 얻는 가장 싼 경로를 찾는다.**이다.

  • MLA를 만든이유: KV 캐시가 서비스 원가를 지배하니까
  • 보조 손실을 없앤 이유: 균형을 맞추자고 성능을 깎는 게 아쉬우니까
  • FP8을 쓴 이유: 절반의 비트로 같은 결과를 낼 수 있으니까.
  • Engram을 만든 이유: 정적 사실을 계산으로 재구성하는게 낭비니까

Engram은 특히 이 철학의 극단이고 다른 회사는 어떻게 하면 더 똑똑해질까를 물었지만 딥시키는 지금 우리가 무엇을 낭비하고있는가에 대해서 고민한다.

DeepSeek-V4 아키텍처 (개념도)

  [입력]
     ↓
  ┌──────────────────────────────────┐
  │  Engram 조건부 메모리 (일부 층)     │ ← O(1) 해시 룩업, DRAM 오프로드 가능
  ├──────────────────────────────────┤
  │  하이브리드 어텐션                 │
  │   · 압축 희소 어텐션                │ ← 라이트닝 인덱서로 상위 k 선택
  │   · 고압축 어텐션                   │
  │   · MLA 기반 (KV 캐시 압축)         │
  ├──────────────────────────────────┤
  │  DeepSeekMoE (세분화 + 공유 전문가)  │
  ├──────────────────────────────────┤
  │  mHC 잔차 (버코프 폴리토프 제약)      │ ← 신호 증폭 2배 이하로 억제
  └──────────────────────────────────┘
     ↓
  [MTP 모듈] ← 투기적 디코딩용
     ↓
  [출력]

옵티마이저: Muon (AdamW에서 전환)
정밀도: FP8 훈련, FP8 KV 캐시

강점 #

압도적인 비용 효율이다. V4-Flash는 입력 100만 토큰당 0.14,출력0.14, 출력 0.28이다. 프론티어 상용모델 대비 출력 수준이 80~95% 저렴하다.

  1. 강점 1: 활성 파라미터 최소화(13B) -> 토큰당 계산량 감소 + MLA로 KV 압축 -> GPU 한장당 감당하는 동시 요청 수 증가 + DSA로 긴 컨텍스트에서 어텐션 비용을 선형화 -> 1M에서 V3.2 대비 KV 캐시 10% + FP8 훈련 및 추론 -> 메모리 대역폭 절약 + 자체 커널과 통신 최적화 -> 하드웨어 가동률 상승 = 같은 GPU로 몇배의 트래픽을 처리 -> 가격을 내려도 남는다.

  2. 강점 2: 긴 컨텍스트 경제성, 1M 토큰에서 V3.2 대비 KV 캐시가 10분의 1, 거대한 시스템 프롬프트, 긴 대화 이력, 문서 기반 생성에서 길이가 늘어도 비용이 완만하게 증가한다.

  3. 강점 3: 추론과 코딩의 균형, R 계열의 추론 능력이 V4에 통합되어 별도 모델없이 난이도에 맞춰 깊이를 조절한다. SWE bench Verfied에서 V4-Pro 벤더 발표 기준 80.6%로 이는 다운로드 간으한 가중치중 최상위권이다.

  4. 강점 4: 라이선스와 호환성, MIT라서 API가 OpenAI ChatCompletions 형식과 Anthropic 형식을 둘 다 말해서, Claude Code같은 도구에 프록시 없이 바로 꽂힌다.

약점 #

  • 프론티어 최상단과는 아직 존재하는 약간의 격차: SWE-bench, Verified, V4-Pro-Max 80,6%는 최상위 상용모델 90%대 에 몇점 뒤진다 그 몇점이 중요한 작업에서는 싼 모델이 재시도를 반복하며 돈 대신 시간을 쓴다. (근데압도적으로싸잔아)
  • 1차 자료가 얇다: 압축률이나 인덱서 내부 같은 세부가 3자 분석으로만 도는 경우가 있다.
  • Pro자체 호스팅은 큰 인프라를 필요로함: 1.6T는 양자화해도 멀티노드로 띄워야하기에 현실적으로 개인이 혼자 호스팅하기는 힘들고 Flash(284B)가 현실적인 대안이다.
  • 텍스트 전용: 멀티모달이 필요하면 다른걸 봐야한다.
  • 서버리스 호스팅 업체들이 대개 활성값을 FP8로 양자화해서 서빙한다. 공개 가중치와 출력이 미묘하게 달라질 수 있다.

언제 딥시크? #

대량 트래픽에서 단가가 결정적이거나

아주 긴 컨텍스트를 일상적으로 다루거나 (RAG, Repo분석, 로그 분석)

MIT 라이센스로 상업 배포 파인튜닝등이 필요할때, 텍스트 기반 추론 코딩할때 고려가능하다.

대신 이미지 비디오 이해가 필요하거나 마지막 몇 %의 고수준 정확도가 비용보다 중요하다면 권장하지 않는다.

AI/ow/deepseek.md