正规方程法,是求最小损失函数的一种方法。正规方程法在具体数学计算时采用矩阵方程求解,在机器学习中一般数据集的样本数非常大,矩阵方程计算量会变得非常大,因此正规方程只存在理论上的推导,实际运用时求最小损失函数会用另一种方法:梯度下降法。
正规方程的推导过程,先从一元线性回归再到多元线性回归,最后抽象出W权重,即y = kx + b公式将k,b合并成W权重。
正规方程最终公式(通过这个公式可以求出权重W,有了W就可代入模型进行预测计算求得目标值):
正规方程法计算样式(4个样本5个特征,试想要是处理机器学习的数据集这将会带来多大的计算量):
另外,正规方程要能成立,需满足逆矩阵的计算条件,但不是所有矩阵都可逆的。
相关连接