爱吧机器人网 » 技术 > 机器学习 > 正文

斯坦福大学机器学习笔记之成本函数

本文是斯坦福大学机器学习课程的2-2,2-3,2-4的学习笔记,主要是内容是成本函数以及成本函数的意义。
 
1.成本函数
 
如下图所示,在房价预测的案例中,我们得到了预测房价的目标函数,问题也转换成了为模型选择合适的参数θi,即θ0和θ1。
 
\
 
思路是通过选取不同的(θ0,θ1)使得hθ(x)更接近与y,就是hθ(x)和训练集的真实值的误差最小,当这个误差最小的时候,就是我们要的参数值。
 
\
 
通过这个思路,我们得到了一个关于(θ0,θ1)的函数,当这个函数取得最小值的时候,我们就找到了我们要的参数值。
 
\
 
代价函数也被称作平方误差函数,有时也被称为平方误差代价函数。对于大多数问题特别是回归问题,平方误差代价函数都是一个合理的选择。
 
2.代价函数的直观理解
 
我们要进一步解释代价函数 J(θ0,θ1) 的工作原理 ,并尝试更直观地解释它在计算什么,以及我们使用它的目的。为了更好的进行说明理解,我们先对问题进行简化,即设置θ0=0。
 
\
 
hθ(x)是一条穿过原点的直线,而成本函数则是一条曲线,当这条曲线取最小值得时候,得到最佳的hθ(x)。
 
\
 
3.代价函数的直观理解2
 
当我们不对问题进行简化,保留θ0的时候,问题会复杂一些,hθ(x)是一条不经过原点的直线。
 
\
 
对应的成本函数则是一个3D曲面图(弓形函数),θ0,θ1是平面上的两个坐标,而高度则是 J(θ0,θ1)的值。
 
\
 
不过为了使得问题更容易理解,可以使用等高线图来表示成本函数,两者是等价的。可以看出等高线最低点的取值,就是 J(θ0,θ1)的最小值,而此时是拟合训练数据最多的一条直线。
 
\
 
4.如何自动求解 J(θ0,θ1)最小值?
 
求得 J(θ0,θ1)的最小值,也就得到了最佳的(θ0,θ1)值,也就得到了最佳hθ(x)。不过在实际问题中,我们不可能把这些点画出来,然后用人工的方法来读出这些点的数值。我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序,自动的找出这些最小化代价函数的参数值。
 
最后,课程检测里看到一道思考题:如果存在J(θ0,θ1)=0,意味着什么呢?


上一篇:顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)
下一篇:【资源】15个在线机器学习课程和教程
精选推荐
17世纪的莱布尼茨试图制造“思想机器”却被现实打脸
17世纪的莱布尼茨试图制造“思想机器”却被现实打脸

[2019-11-05]  莱布尼茨,德国哲学家、数学家、律师,历史上少见的通才1666年,德国博学家戈特弗里德·威廉·莱布尼茨(Gottfried Wilhelm Leibniz)发 ...

这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]  我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

7种常见的机器人焊接类型
7种常见的机器人焊接类型

[2017-12-17]  机器人焊接是工业领域最常见的机器人应用之一,近几十年来主要由汽车行业驱动。机器人焊接在完成大批量,重复性的焊接任务时效率最高。...

搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站
搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站

[2019-12-09]  12月5日,搭载人工智能的太空机器人西蒙2号(CIMON 2)乘坐SpaceX火箭Dragon货运舱,从佛罗里达州卡纳维拉尔角空军基地升空,前往国际空间 ...

本周栏目热点

盘点全球十大最具影响力的机器人摇篮

[1970-01-01]    人工智能(AI)研究现正迅速发展,如无人驾驶汽车、计算机在《危险边缘》智力竞赛节目中获胜、数字私人助手Siri、GoogleNow和语音助手C ...

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......