第三章 回归
上一章我们初步介绍了一下TensorFlow的基础和一些概念,本章我们从一个机器学习中最简单的单变量线性回归问题开始,使用TensorFlow解决这个简单的问题。
3.1一切从一个神经元说起新页面
3.1.1 监督式机器学习

本讲课程部分内容基于“机器学习速成课程” https://developers.google.cn/machine-learning/crash-course/,该课程对机器学习系统的定义是通过学习如何组合输入信息来对未见过的数据做出有用的系统。
机器学习主要解决两类问题,一个是回归问题,一个是分类问题,我们先从最简单的线性回归问题开始说起。
3.1.2 简单的线性回归案例

如图2为一个简单的线性回归案例,这样一簇点,我们人很容易想到用一条直线去拟合它,所以我们也会希望机器能用y=w*x+b这条直线去对其进行拟合,也可以说是去让机器学习w和b的值。
3.2 定义损失函数
损失函数(Loss Function)也称为代价函数(Cost Function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
下面介绍三个比较常见的损失函数。
3.2.1 L1损失
L1范数损失函数,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE)。总的说来,它是把目标值(Yi)与估计值(f(xi))的绝对差值的总和(S)最小化:
3.2.1 L2损失
L2范数损失函数,也被称为最小平方误差(LSE)。总的来说,它是把目标值(Yi)与估计值(f(xi))的差值的平方和(S)最小化:
3.2.3 均方误差 (MSE)
均方误差 (MSE) 指的是每个样本的平均平方损失