DeepSeek 多模态论文整理：从 DeepSeek-VL 到 Janus-Pro 的技术演进
引言
DeepSeek 在 2024-2025 年间围绕多模态方向持续投入，形成了两条清晰的技术路线：DeepSeek-VL 系列聚焦"真实世界视觉理解"，Janus 系列探索"理解+生成统一"。本文按发布时间梳理 5 篇核心论文，并对比其技术演进。
一、DeepSeek-VL 系列：真实世界视觉理解
1. DeepSeek-VL（2024.03）
论文：DeepSeek-VL: Towards Real-World Vision-Language Understanding arXiv：2403.05525
核心贡献： - 首次融合多种视觉编码器与 LLM，构建统一视觉语言框架 - 训练三阶段：预训练 → 监督微调 → 对比学习 - 强调真实世界场景的视觉理解（而非合成数据）
定位：开源视觉语言基座模型，对标 CLIP + LLaMA 类方案。
2. DeepSeek-VL2（2024.12）
论文：DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding arXiv：2412.10302
核心贡献： - 引入 MoE（混合专家） 架构到视觉语言模型 - 仅激活 3B 参数即可比肩更大的稠密模型 - 训练数据超 2.2T tokens - 视觉编码器升级
定位：从 VL 基座走向规模化 MoE 多模态。
二、Janus 系列：统一理解与生成
3. Janus（2024.10）
论文：Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation arXiv：2410.13848
核心贡献： - 关键洞察：视觉编码应解耦——理解任务与生成任务需要不同的视觉表示 - 双编码器设计：理解路径用 ViT，生成路径用专用视觉 token 化器 - 首个同时支持图像理解与生成的开源统一模型
定位：打破"理解 vs 生成"互斥的二元论。
4. JanusFlow（2024.11）
论文：JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation arXiv：2411.07975
核心贡献： - 统一 自回归（AR） 与 整流流（Rectified Flow） 两种生成范式 - 单模型支持任意模式生成：文本→图、文→文、图→文 - 流模型路径优化，采样更稳
定位：从解耦编码到统一生成范式的进一步整合。
5. Janus-Pro（2025.01）
论文：Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling arXiv：2501.17811
核心贡献： - 数据规模扩展到 超 2.3T tokens - 模型规模显著提升（Pro 版本） - 综合性能在理解与生成双榜领先开源模型
定位：Janus 系列的规模化终章。
三、两条技术路线对比
| 维度 | DeepSeek-VL 系列 | Janus 系列 |
|---|---|---|
| 核心目标 | 真实世界视觉理解 | 理解+生成统一 |
| 架构 | VL + LLM（2412.10302 加 MoE） | 解耦编码 + 流模型 |
| 代表论文 | 2403.05525, 2412.10302 | 2410.13848, 2411.07975, 2501.17811 |
| 数据规模 | 2.2T+（VL2） | 2.3T+（Pro） |
| 生成能力 | 弱（理解为主） | 强（AR + 流模型） |
| 开源协议 | Apache 2.0 | Apache 2.0 |
演进脉络： - VL 系列走"规模化 + 架构增强"路线（VL → VL2 MoE） - Janus 系列走"范式统一 + 数据规模"路线（解耦 → 统一生成 → 规模扩展）
四、论文引用（合规）
以下论文均发布于 arXiv，遵循各篇论文声明的开源协议（Apache 2.0 / MIT）。本文仅用于技术学习整理，未复制或再分发论文原文。
- DeepSeek-VL: Towards Real-World Vision-Language Understanding. arXiv:2403.05525. https://arxiv.org/abs/2403.05525
- DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding. arXiv:2412.10302. https://arxiv.org/abs/2412.10302
- Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation. arXiv:2410.13848. https://arxiv.org/abs/2410.13848
- JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation. arXiv:2411.07975. https://arxiv.org/abs/2411.07975
- Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. arXiv:2501.17811. https://arxiv.org/abs/2501.17811
使用声明：本文引用的论文标题、arXiv 编号与核心贡献描述均来源于各论文官方摘要。所有论文版权归 DeepSeek 团队及合作机构所有，本文仅做学术与技术学习用途，不构成对原论文的任何商业使用或版权主张。
整理时间：2026-09-10 数据来源：arXiv 官方 API 核实