详解:如何用Python实现机器学习算法(4)
2017-12-25 MedSci MedSci原创
四、SVM支持向量机 1、代价函数 在逻辑回归中,我们的代价为: , 其中: , 如图所示,如果y=1,cost代价函数如图所示 我们想让,即z>>0,这样的话cost代价函数才会趋于最小(这是我们想要的),所以用途中红色的函数代替逻辑回归中的cost 当y=0时同样,用代替
详解:如何用Python实现机器学习算法(3)四、SVM支持向量机 1、代价函数 在逻辑回归中,我们的代价为: , 其中: , 如图所示,如果y=1,cost代价函数如图所示 我们想让,即z>>0,这样的话cost代价函数才会趋于最小(这是我们想要的),所以用途中红色的函数代替逻辑回归中的cost 当y=0时同样,用代替 最终得到的代价函数为: 最后我们想要 之前我们逻辑回归中的代价函数为: 可以认为这里的,只是表达形式问题,这里C的值越大,SVM的决策边界的margin也越大,下面会说明 2、Large Margin 如下图所示,SVM分类会使用最大的margin将其分开 先说一下向量内积 , 表示u的欧几里得范数(欧式范数), 向量V在向量u上的投影的长度记为p,则:向量内积: 根据向量夹角公式推导一下即可, 前面说过,当C越大时,margin也就越大,我们的目的是最小化代价函数J(θ),当margin最大时,C的乘积项 要很小,所以近似为: , 我们最后的目的就是求使代价最小的θ 由 可以得到: , p即为x在θ上的投影 如下图所示,假设决策边界如图,找其
作者:MedSci
版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
#机器#
61