Machine Learning

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

Overview

常用的机器学习算法

  • 监督学习(supervised learning)
  • 无监督学习(unsupervised learning)

对比:

监督学习(supervised learning)

learns from being given “right answer”

主要类型:

  • 回归
  • 分类

无监督学习(unsupervised learning)

find sth insteresting in unlabled data

主要类型:

  • 聚类
  • 异常检测
  • 降维

线性回归模型

常用符号

  • 输入变量 x
  • 目标变量 y
  • 样本总数 m
  • 训练示例(x,y)

成本函数(代价函数)

衡量预测和实际之间的误差,线性回归的目的是计算w,b使成本函数取得最小值

平方误差成本函数

image-20241103202929788

J(w,b)=∑i=1mJ(w,b)=\sum_{i=1}^{m}

梯度下降算法

确定 使成本函数取到最小的参数 的一种算法,不仅可以运用在线性回归中,对于其他成本函数都可以使用

image-20241104203336365

以J(w,b)为例子:

image-20241104203216282

  • α称为学习率,指的是一次更新的步长,不能太大也不能太小
  • 一定要同时更新w和b
  • 计算结果一般是局部最小值,因此我们需要取不同的初值得到整体最小值

批量(batch)梯度下降:计算成本函数的时候用到了所有样本

逻辑回归

分类

新的成本函数

平方误差成本函数不能很好的应用于分类,会存在很多局部极小值

image-20241110205156414

image-20241110205419877

image-20241110205617717

由此,我们可以使用梯度下降法

image-20241110205921514

image-20241110205957845

过拟合和欠拟合

过拟合:增加数据 减少特征 正则化w

正则化

image-20241110212351632