deeplearning.ai 课程学习总结
deeplearning.ai 的课程已经发布一段时间了,最后一部分 Sequence Model 也在不到一周前发布。虽然最近开学课业紧张,我终于在昨天赶完了课程。在此之中有一些感受,想简单写写,供大家参考 。
完成课程的时间与物质成本
吴恩达(Andrew Ng)教授对中国的深度学习学习者来说真的很良心,直接把课程视频和讲义发布到 网易云课堂 免费供大家观看阅读。在夏天,deeplearning.ai 课程刚刚发布的时候,我也是在网易云课堂慢慢观看课程,效率较低。而且这个课程如果抛开编程练习,意义就要小很多了。因此,在圣诞假期的末期时候,我决定去购买了 Coursera 的订阅,并在一月中旬连续刷完前三门课程,一月下旬和二月前几天完成了 Convolutional Neural Networks 和 Sequence Model 部分。时间表如下:
课程 | 完成时间 |
---|---|
Neural Networks and Deep Learning | 4 January, 2018 |
Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization | 7 January, 2018 |
Structuring Machine Learning Projects | 9 January, 2018 |
Convolutional Neural Networks | 25 January, 2018 |
Sequence Models | 6 February, 2018 |
可以看到,整套课程完成大概用了 5 周的时间(这个时间并不是全职完成课程,而是完成笔者大学的课程和作业的闲暇时间)。Coursera 有一个星期的试用期,最终应该只会产生一次订阅月费(£36)。不过,实际上,对于自己来说,达到这个速度是有一定的先决条件的:
- 已完成 Coursera 上 Machine Learning 课程
- 有选修现在学校的 Machine Learning 与 Introduction to Neural Computation 课程
- 有一定的微分和线性代数基础(本科学了一部分金融和经济学,一部分 marketing,现在硕士计算机科学)
- 全部视频都是 1.25 倍速播放(不过算上记笔记时暂停用的时间,估算速度也就大概 1.15 倍)
因此,每个人情况不同,个人觉得不用特别追求速度。对于 Andrew Ng 的课程来讲,花上三个月的订阅费去学习也是性价比很高的(相比于其他同类课程的价格,这个课程已经不能再良心了)。
对课程的整体感受
- 刚入门时比较基础,从最基础的 logistic regression 讲起,学习曲线并不陡峭。另外,这门课也是比较有深度的,挖掘了 Adam、Momentum、LSTM、GRU 等复杂概念。
- Ng 很喜欢鼓励大家,每当讲到很复杂的概念的时候,他总是安慰大家,不用太害怕这些复杂的东西,慢慢理解就好。他总是说,自己最初也是边用边慢慢深入理解的。很喜欢 Ng 常用的一个词“intuition”,个人对这个词的理解就是,对于复杂的概念,不求甚解,在以后的使用中慢慢体会。
- 持续时间不算长,不拖沓。不同知识点被合理分配成不同的短视频,适合零碎时间看。
- 个人偏好 Ng 的讲义形式:手写标注和打印公式相结合。
- 很多部分的设计,比如 notations(上标下标等),非常用心,可以看出 Ng 下了不少功夫。
- 编程作业设计得比较好,很注意训练模型与使用 pretrained weights 相结合,节约训练时间。
事后总结的,完成课程的一些小技巧
这部分适合刚开始学习这门课程的同学参考。
Lecture 部分
- 一定一定一定要做笔记,个人建议最好纸笔手写笔记,只有自己写下公式和网络架构图,写代码时才更加自信并且不容易出错。
- 尽量多复习回顾,可能回顾一两遍后,印象很深,方便后面答 quiz 和编程作业。
Assignment 部分
- 多用 Coursera 论坛搜索 Jupyter Notebook 的报错,也可以用 Google 搜一些比较 general 的报错,例如 Keras 和 TensorFlow 的报错。
- 对于 dimension 的报错,应该去想这个 dimension 是为什么错,正确的 dimension 应该是从哪里来的。
- 一些报错很难 debug,一定要有耐心。有时候实在解决不了编程作业就等一两天,说不定过段时间就有思路了。
- 一定不要去 GitHub 找代码(照抄代码骗人骗己浪费钱,多搜索锻炼思考与解决问题能力)。
- Jupyter Notebook 中的内容,尤其是练习后总结的蓝字要认真读,甚至做笔记。这样有助于加深对于 lectures 的理解(比如不同方法的优劣等等)。
- 如果 Jupyter Notebook 总是输出与期望数据不相关的值,请不要总是以为习题设计有问题(早期问题大部分可能都被修复了),多从自己找原因,多搜索。如果实在被卡住,可以提问后进行下周课程以节约时间。
- 对于 Keras 要大胆尝试,多查文档。一个很重要的点就是理解 Keras 的函数式编程 API。
其他感受
- 最后一个编程作业呼应了 Ng 的 Machine Learning 中讲到声音合成的部分,很有趣。
- 预处理数据可能比根据论文复用成熟深度学习模型本身要复杂很多。
- 虽然第三部分个人得分最低而且没有编程作业,但是依旧很值得学习,传授的是 Ng 多年总结的经验。
- Ng 对于一些深度学习领域的领军人物的采访,也非常值得一看。比如,GAN 的”发明人“ Ian Goodfellow 入门之路竟然是从上 Andrew Ng 在斯坦福的 AI 课开始的(并且 Ng 一开始并不知道这件事)。
总结
毋庸置疑,deeplearning.ai 这一组深度学习课程,质量是非常高的。对于入门者来说,完成这一系列课程需要非常大的毅力与耐心。完成这门课,仅仅意味着自己在这个领域刚刚入门,还有很多需要慢慢探索,比如强化学习、GAN等。不管怎样,希望在学习深度学习路上的各位,可以早日做出自己喜欢的有趣应用。