一、batch size

batch size过大：损失函数图像收敛缓慢，但是曲线平滑

batch size过小：损失函数图像收敛快速，但是会出现抖动

二、过拟合

        训练集损失函数下降，测试集损失函数上升

三、梯度下降

        如上图中，y为损失函数，目标是让损失函数尽可能的小，所以可以通过求导来判断下一次参数更新的方向。若导数大于0，则θ增加y增加，需要减小θ；若导数小于0，则θ增加y减小，需要增加θ。学习率 × y‘是更新的步长，θ更新为：θ-学习率 × y‘。

四、线性回归

J(θ):损失函数；α：学习率