DeepSeek가 애플 앱 스토어 다운로드 차트를 석권하며, 기술과 비용의 이점이 핵심이다.
DeepSeek, 정상에 오르다
1월 27일, DeepSeek 애플리케이션이 미국 Apple App Store에서 무료 앱 다운로드 순위 1위를 차지하며 ChatGPT를 넘어섰습니다. 동시에 DeepSeek는 중국 Apple App Store 무료 앱 순위에서도 1위를 기록했습니다. 이 성과는 큰 관심을 불러일으켰습니다.
기술과 비용의 이중 장점
중국 공학 아카데미의 학자이자 칭화대학교 컴퓨터 공학 교수인 정위민과 여러 AI 전문가들은 Sina Tech와의 인터뷰에서 DeepSeek의 성공적인 확장의 핵심 요소를 설명했습니다. 현재 업계에서 DeepSeek에 대한 사랑과 찬사는 주로 세 가지 측면에 집중되고 있습니다. 기술적 돌파구
첫째, 기술 측면에서 DeepSeek 뒤에 있는 DeepSeek-V3 및 DeepSeek-R1 모델은 OpenAI의 GPT-4 및 GPT-3 모델에 필적하는 성능을 보였다고 평가받고 있습니다. 이 두 모델은 성능 면에서 탁월한 성과를 거두었고 업계에서 높은 평가를 받았습니다.
비용 장점
둘째, DeepSeek에서 개발한 이 두 모델은 GPT-4 및 GPT-3 모델의 약 10분의 1 수준의 비용으로 제공됩니다. 이러한 비용 장점은 DeepSeek이 시장 경쟁에서 유리한 위치를 차지하는 데 중요한 역할을 합니다.
오픈 소스 전략
셋째, DeepSeek는 이 두 모델의 기술을 오픈 소스로 공개했으며, 이는 더 많은 AI 팀들이 최신이면서 비용이 가장 적은 모델을 기반으로 AI 네이티브 애플리케이션을 개발할 수 있게 해줍니다. 오픈 소스 전략은 기술 확산과 응용을 촉진하고, DeepSeek의 브랜드 영향력도 높였습니다.
모델 비용 절감의 비밀
정위민은 DeepSeek가 자체 개발한 MLA 아키텍처와 MOE 아키텍처가 모델 훈련 비용 절감에 중요한 역할을 했다고 밝혔습니다. MLA는 주의력 연산자 변경을 통해 KV 캐시 크기를 압축하여 동일한 용량 내에서 더 많은 KV 캐시를 저장할 수 있게 하며, 이 아키텍처와 DeepSeek-V3 모델의 FFN 레이어 변경이 결합되어 매우 큰 희소 MoE 레이어를 형성하게 되었습니다. 이는 DeepSeek 훈련 비용을 낮추는 핵심 요소입니다.
KV 캐시 최적화 기술
KV 캐시는 AI 모델 실행 중 생성되는 토큰의 키-값 쌍을 저장하여 계산 효율성을 높이는 최적화 기술입니다. "저장 계산" 방식을 통해 많은 대형 모델들이 첫 번째 토큰부터 반복 계산하는 것을 피하고, 계산 자원의 사용 효율성을 높였습니다.
MoE 모델의 성능 문제 해결
또한, DeepSeek는 "매우 크고 매우 희소한 MoE 모델"의 성능 문제를 해결했습니다. MoE 전문가 모델을 사용하여 대형 AI 모델의 인지 능력을 향상시키는 것이 업계에서 유효한 방법으로 인정받고 있지만, 전문가 모델이 많아지면 생성되는 결과가 정확하지 않을 수 있습니다. DeepSeek는 MoE 훈련 능력이 뛰어나며, 이렇게 큰 MoE를 성공적으로 훈련시킨 첫 번째 기업이 되었습니다.
전문가 모델 활성화 효율 기술
대형 MoE 전문가 모델의 균형 잡힌 작동을 보장하기 위해, DeepSeek는 보조 손실 함수가 필요 없는 전문가 로딩 균형 기술을 사용하여 각 토큰에 대해 적은 수의 전문가 네트워크 매개변수만 활성화되도록 하고, 다른 전문가 네트워크들이 더 균형 잡힌 빈도로 활성화되도록 합니다. 이로 인해 전문가 네트워크의 과도한 활성화를 방지할 수 있습니다. 또한 DeepSeek는 전문가 네트워크가 희소하게 활성화되는 설계를 충분히 활용하여 각 토큰이 GPU 클러스터 노드로 보내지는 수를 제한하고, GPU 간 통신 비용을 안정적으로 낮은 수준으로 유지합니다.
결론
DeepSeek 애플리케이션은 기술적 및 비용적 장점 덕분에 Apple App Store 다운로드 순위에서 정상에 올랐습니다. DeepSeek-V3 및 DeepSeek-R1 모델의 성능과 비용 혁신, 그리고 오픈 소스 전략의 실행은 DeepSeek가 AI 분야에서 중요한 성과를 이루도록 했습니다. 앞으로 DeepSeek는 AI 애플리케이션 개발을 선도하며 사용자들에게 더 많은 혁신과 편리함을 제공할 것으로 기대됩니다.