爱吧机器人网 » 技术 > 机器学习 > 正文

斯坦福大学机器学习笔记之成本函数

本文是斯坦福大学机器学习课程的2-2,2-3,2-4的学习笔记,主要是内容是成本函数以及成本函数的意义。
 
1.成本函数
 
如下图所示,在房价预测的案例中,我们得到了预测房价的目标函数,问题也转换成了为模型选择合适的参数θi,即θ0和θ1。
 
\
 
思路是通过选取不同的(θ0,θ1)使得hθ(x)更接近与y,就是hθ(x)和训练集的真实值的误差最小,当这个误差最小的时候,就是我们要的参数值。
 
\
 
通过这个思路,我们得到了一个关于(θ0,θ1)的函数,当这个函数取得最小值的时候,我们就找到了我们要的参数值。
 
\
 
代价函数也被称作平方误差函数,有时也被称为平方误差代价函数。对于大多数问题特别是回归问题,平方误差代价函数都是一个合理的选择。
 
2.代价函数的直观理解
 
我们要进一步解释代价函数 J(θ0,θ1) 的工作原理 ,并尝试更直观地解释它在计算什么,以及我们使用它的目的。为了更好的进行说明理解,我们先对问题进行简化,即设置θ0=0。
 
\
 
hθ(x)是一条穿过原点的直线,而成本函数则是一条曲线,当这条曲线取最小值得时候,得到最佳的hθ(x)。
 
\
 
3.代价函数的直观理解2
 
当我们不对问题进行简化,保留θ0的时候,问题会复杂一些,hθ(x)是一条不经过原点的直线。
 
\
 
对应的成本函数则是一个3D曲面图(弓形函数),θ0,θ1是平面上的两个坐标,而高度则是 J(θ0,θ1)的值。
 
\
 
不过为了使得问题更容易理解,可以使用等高线图来表示成本函数,两者是等价的。可以看出等高线最低点的取值,就是 J(θ0,θ1)的最小值,而此时是拟合训练数据最多的一条直线。
 
\
 
4.如何自动求解 J(θ0,θ1)最小值?
 
求得 J(θ0,θ1)的最小值,也就得到了最佳的(θ0,θ1)值,也就得到了最佳hθ(x)。不过在实际问题中,我们不可能把这些点画出来,然后用人工的方法来读出这些点的数值。我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序,自动的找出这些最小化代价函数的参数值。
 
最后,课程检测里看到一道思考题:如果存在J(θ0,θ1)=0,意味着什么呢?


上一篇:顶级AI会议NIPS压轴2017(附PPT、视频、代码大汇总)
下一篇:【资源】15个在线机器学习课程和教程
精选推荐
美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

机器人iCub作为嵌入式AI的标准机器人研究平台的重要性
机器人iCub作为嵌入式AI的标准机器人研究平台的重要性

[2017-12-24]  机器人的研究在过去10年中得益于一个具有嵌入式人工智能(AI)的标准化开源平台——人形机器人iCub。iCub最初在意大利被创建,如今在欧洲、美国、韩国、新加坡和日本的实验室......

机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食
美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食

[2019-10-31]  本文图片均来自:Ramses v Martinez 普渡大学变色龙、蝾螈和许多蟾蜍利用积蓄的弹性能量,向距离1 5倍体长的毫无防备的昆虫伸出粘糊糊的舌 ...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

深度神经网络揭示了大脑喜欢看什么
深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

本周栏目热点

盘点全球十大最具影响力的机器人摇篮

[1970-01-01]    人工智能(AI)研究现正迅速发展,如无人驾驶汽车、计算机在《危险边缘》智力竞赛节目中获胜、数字私人助手Siri、GoogleNow和语音助手C ...

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...