1. 0-1损失函数和绝对值损失函数
0-1损失是指，预测值和目标值不相等为1，否则为0：
感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|<T 时认为相等。
绝对值损失函数为：
L(Y,f(X)=|Y−f(X)|
2. Logistic regression
logistic regression可以将实数域的输入映射为0到1的概率输出
3. 平方损失函数
最小二乘法是线性回归的一种方法，它将回归的问题转化为了凸优化的问题。最小二乘法的基本原则是：最优拟合曲线应该使得所有点到回归直线的距离和最小。通常用欧几里得距离进行距离的度量。平方损失的损失函数为：
4. 指数损失函数
指数损失是0-1损失函数的一种代理函数。运用指数损失的典型分类器是AdaBoost算法。
指数损失函数的标准形式：
5. Hinge损失函数
Hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于
这个式子和如下的式子非常像：
其中l(wxi+byi)就是hinge损失函数，后面相当于L2正则项。
Hinge函数的标准形式：
y是预测值，在-1到+1之间，t为目标值（-1或+1）。其含义为，y的值在-1和+1之间就可以了，并不鼓励|y|>1，即并不鼓励分类器过度自信，让某个正确分类的样本的距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的分类误差。