详解:如何用Python实现机器学习算法(2)
2017-12-25 MedSci MedSci原创
二、逻辑回归 全部代码下载 1、代价函数 可以综合起来为: 其中: 为什么不用线性回归的代价函数表示,因为线性回归的代价函数可能是非凸的,对于分类问题,使用梯度下降很难得到最小值,上面的代价函数是凸函数 的图像如下,即y=1时: 可以看出,当
详解:如何用Python实现机器学习算法(1)二、逻辑回归 全部代码下载 1、代价函数 可以综合起来为: 其中: 为什么不用线性回归的代价函数表示,因为线性回归的代价函数可能是非凸的,对于分类问题,使用梯度下降很难得到最小值,上面的代价函数是凸函数 的图像如下,即y=1时: 可以看出,当趋于1,y=1,与预测值一致,此时付出的代价cost趋于0,若趋于0,y=1,此时的代价cost值非常大,我们最终的目的是最小化代价值 同理的图像如下(y=0): 2、梯度 同样对代价函数求偏导: 可以看出与线性回归的偏导数一致 推导过程 3、正则化 目的是为了防止过拟合 在代价函数中加上一项 注意j是重1开始的,因为theta(0)为一个常数项,X中最前面一列会加上1列1,所以乘积还是theta(0),feature没有关系,没有必要正则化 正则化后的代价: # 代价函数 def costFunction(initial_theta,X,y,inital_lambda): m = len(y) &nb
作者:MedSci
版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
#机器#
68
学习了.谢谢.
91
学习学习学习
86