e06084's Blog

目标函数

Published at 2023-07-07 | Last Update 2023-07-07

最近看李沐写得一篇文章《用随机梯度下降来优化人生》,觉得写得特别棒,拍案叫绝的那种认同。

先讲一点点背景知识,机器学习中学习也叫训练,学习的过程就是求解方程A=XW+B。在已知A和X的情况下求算出最优的X和B。求解的过程中,实际XW+B的值和真实的A之间的差值定义为Loss函数也叫目标函数,然后用随机梯度下降法来不断调整系数W来使得Loss减小收敛接近0。从而求得X和B。

因此,李沐的观点:

  1. 人生首先需要一个目标,类似机器学习过程中的最终收敛Loss函数;
  2. 要坚持走,方向和移动需要有,类似于求解系数W,方向是往Loss下降的方向,循环用随机梯度下降来确定具体的移动,移动可能会出错,但是下一次的反馈会修正移动,使得整体是朝着Loss下降的方向;

所以,人生目标很重要。