16篇论文，70多页PPT优化深度学习模型，免费下载

乾明发于凹非寺

量子比特报道

在不更改计算复杂性的情况下，只需使用“调整学习率”或“更改特定卷积层的步幅大小”等方法，即可将ImageNet上ResNet-50的top-1验证精度从75.3%提高到79.29%。

这一成果来源于亚马逊最近发表的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》，作者是李沐领导的AWS研究团队。

论文摘要指出，本文中的方法和结论也适用于其他任务，如目标检测、语义分割等。

最近，Reddit机器学习版有一篇文章称，自己也整理了各种调整模型以改善深度的方法，比马森的论文中提到的方法还要多。

他把这些内容做成PPT，一共覆盖了70多页，16篇古典论文和两篇博客文章。

目前，该帖子在Reddit上的评分超过150，GitHub上的Star也超过400。

PPT里面说的是什么。该PPT主要有7个主题，分别为：

学习率的调整小批量的比例调整优化器和权重衰减调整特征以及标签调整特征和标签（mixup）调整初始条件Shake-shake正则化的各主题是基于相对前沿和效果好的论文来分析的。例如，在调整学习率这一主题上，作者选择了《Cyclical Learning Rates for Training Neural Networks》等三篇论文。

本文最后一次修订日期为2017年4月4日，本文主要目的是从学习率的角度谈如何训练深度学习网络，并提出了一种新的循环学习率（cyclical learning rates）方法。

在PPT中，作者对论文中的方法和思路进行了梳理和注释。

最后，作者也整理和总结了亚马逊的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》。

谁写的这个资源。根据PPT上的信息，该PPT的作者是Krzysztof Kolasiński来自一家名为FORNAX.ai的公司。

根据Linkedin上的介绍，Krzysztof Kolasiński是这家公司的机器学习工程师，波兰人。他是物理学博士，专门研究计算物理学中的量子输运问题。

传输门：PPT传输门：

https：//github.com/kmkolasinski/deep-learning-notes/blob/master/seminars/2018-12-Improving-DL-with-tricks/Improving_deep_learning_models_with_bag_of_tricks.pptx

即使通过量子比特公众号（QbitaI）对话接口回复“70页报告”，PPT~