https://github.com/mli/paper-reading

深度学习论文精读

深度学习论文精读

日期	标题	封面	时长	视频（4K）
录制中	图神经网络 的可视化介绍
10/27/21	Transformer 逐段精读 （视频中提到的文献 1)		87:05	B站, 知乎, YouTube
10/22/21	ResNet 论文逐段精读		53:46	B站, 知乎, YouTube
10/21/21	撑起计算机视觉半边天的 ResNet		11:50	B站, 知乎, YouTube
10/15/21	AlexNet 论文逐段精读		55:21	B站, 知乎, YouTube
10/14/21	9年后重读深度学习奠基作之一：AlexNet		19:59	B站, 知乎, YouTube
10/06/21	如何读论文		06:39	B站, 知乎, YouTube

候选论文

考虑在之后视频中将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供（点）建议（歌）。

录一篇文章的时间大概是5个小时（录制、剪辑、上传），这里不算上读文章的时间。我一般是每天深夜找半个小时或者一个小时做一点。如果没有其他更紧要的事情的话，10天左右可以出一篇。如果大家热情 加⭐ 话，可以多赶一赶🤣

下面列表将会持续更新（数字不代表讲的顺序）。

1. Adam。深度学习里最常用的优化算法之一。
2. EfficientNet。通过架构搜索得到的CNN，现在常被使用。
3. BERT。让深度学习在NLP上热度超过了CV。
4. GPT3。朝着zero-shot learning迈了一大步。当然也得讲一讲GPT/GPT-2
5. GAN。生成类模型中的开创性工作。
6. CLIP。图片分类从此不用标数据。
7. Non-deep networks。21年10月的新工作，让不深的网络也能在ImageNet刷到SOTA。
8. 为什么超大的模型泛化性不错
9. GNN介绍。Distill上最近一篇写得很好的介绍性文章。
10. AlphaGo。让强化学习出圈的一系列工作。

Footnotes

1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩