仓库简介#
这本书 本身即是一项大学教学实验的产物：受 Christoph Molnar 的 Interpretable Machine Learning研讨课的启发，组织者希望学生不再是孤立地撰写 seminar paper，而是以协作方式共同完成一本可以在学期结束后长期使用的书籍。 学生们在学期开始前并不知道自己要在学期结束时写完整本书。
整本书分为 6 大章节 + 致谢 + 前言/序言，由各章节作者分别撰写、共同审阅，并由协作团队统稿。 每一章既相对独立，又通过跨章节的内容引用相互串联，是少有的、真正由学生群体在课堂中"从零写完"的多模态深度学习教材。
适用人群#
-
想要系统梳理多模态深度学习全景（NLP + CV + 多模态融合）的本科高年级 / 研究生 / 入门研究者；
-
想在图像描述生成（Image2Text）、文生图（Text2Image）、图像辅助语言模型、文本辅助视觉模型等方向建立统一框架的工程师；
-
想阅读一份由协作团队撰写、强调互相审阅的开放式技术书籍的读者；
-
正在准备 seminar、读书会或课程展示，需要现成多模态教学材料的讲师；
-
对多模态基准数据集、评测方式与最新模型梳理有兴趣，希望快速对各类任务的代表方法建立索引的开发者。
书籍结构#
根据目录，全书主要包含以下章节：
| 章节 | 重点小节 |
|---|---|
| 第 1 章 Introduction | 1.1 Introduction to Multimodal Deep Learning、1.2 Outline of the Booklet |
| 第 2 章 Introducing the modalities | 2.1 State-of-the-art in NLP、2.2 State-of-the-art in Computer Vision、2.3 Resources and Benchmarks for NLP, CV and multimodal tasks |
| 第 3 章 Multimodal architectures | 3.1 Image2Text、3.2 Text2Image、3.3 Images supporting Language Models、3.4 Text supporting Vision Models、3.5 Models for both modalities |
| 第 4 章 Further Topics | 4.1 Including Further Modalities、4.2 Structured + Unstructured Data、4.3 Multipurpose Models、4.4 Generative Art |
| 第 5 章 Conclusion | 全书总结 |
| 第 6 章 Epilogue | 6.1 New influential architectures、6.2 Creating videos |
| 第 7 章 Acknowledgements | 致谢 |
围绕这张主干目录，每一章都给出了任务定义 → 代表方法 → 数据集与评测 → 关键开源实现的完整链路：
- 第 2 章先把 NLP、CV 两条主线各自的方法演进与代表数据集串起来，再单独梳理多模态领域常用的资源与基准；
- 第 3 章按"以哪种模态作为输入 / 输出 / 共同目标"组织四大类多模态架构，是全书最核心的章节；
- 第 4 章向更多模态（音频、视频、表格、结构化数据）与生成式艺术延伸，并讨论多用途模型的统一范式；
- 第 6 章（Epilogue）补录了在研讨课进行过程中陆续出现、但来不及写入主线的代表性新架构与视频生成方向。
写作组织方式#
与传统的 seminar paper 不同，这本书刻意打破了"单人写一篇文章"的惯例， 在序言中作者总结了四种主要的"偏离传统做法"：
- 章节互相串联 — 每一个学生项目都是书的一个章节，章节之间通过共享话题、共享方法或共享数据集互相引用，避免内容完全孤岛；
- 以"挑战"代替"论文" — 学生领到的不是单篇论文的复述任务，而是 *“调研 NLP / CV / 多模态领域中某一个有影响力的近期模型或方法”*的开放式挑战，需要自行梳理脉络、给出方法对比与结论；
- 超越学期本身 — 工作目标不是"完成一份作业"，而是产出一份 可以在课程结束后继续被外部读者使用的公开资料；
- 强调协作 — 章节引言部分由小组共同撰写，正文部分互相交叉审阅，相当于把"peer review"前置到了写作过程中。
这套组织方式也是这本书区别于"另一本深度学习教科书"的最大特色：它既是一本教材，也是研讨课本身的实验记录。