第五章 PyTorch 优化模块
第五章简介
本章开始介绍模型优化过程中涉及的三大概念：损失函数、优化器和学习率调整。
由于损失函数、优化器、学习率调整的方法有非常多，仅pytorch官方实现（V1.10）的就有二十一个损失函数，十三个优化器，十四个学习率调整方法。
这几十种方法不会对每一个进行详细介绍，主要通过几个核心的方法为案例，进行剖析各模块的机制，如损失函数的Module如何编写、pytorch是如何构建loss.py体系、优化器如何更新模型中的参数、优化器常用函数、学习率调整机制等内容。
相信了解上述机制，便可举一反三，掌握更为复杂的方法函数。