共轭梯度法是以函数的梯度构造共轭方向的一种算法，具有共轭方向的性质。共轭梯度法具有超线性收敛速度。
梯度法与共轭梯度法的区别是：
1、最速下降法（梯度法）：搜索方向为目标函数负梯度方向，计算效率优于坐标轮换法。开始几步搜索下降快，但愈接近极值点下降愈慢。对初始点的选择要求不高，适合与其它方法结合使用。
2、共轭梯度法：第一步搜索沿负梯度方向，然后沿负梯度的共轭方向搜索。计算效率介于梯度法和牛顿法之间。对初始点没有特殊的要求，不需要计算二阶偏导数矩阵及其逆矩阵，计算量与梯度法相当。适用于各种规模的问题。
