Machine Learning
Machine Learning
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
Overview
常用的机器学习算法
- 监督学习(supervised learning)
- 无监督学习(unsupervised learning)
对比:
监督学习(supervised learning)
learns from being given “right answer”
主要类型:
- 回归
- 分类
无监督学习(unsupervised learning)
find sth insteresting in unlabled data
主要类型:
- 聚类
- 异常检测
- 降维
线性回归模型
常用符号
- 输入变量 x
- 目标变量 y
- 样本总数 m
- 训练示例(x,y)
成本函数(代价函数)
衡量预测和实际之间的误差,线性回归的目的是计算w,b使成本函数取得最小值
平方误差成本函数
梯度下降算法
确定 使成本函数取到最小的参数 的一种算法,不仅可以运用在线性回归中,对于其他成本函数都可以使用
以J(w,b)为例子:
- α称为学习率,指的是一次更新的步长,不能太大也不能太小
- 一定要同时更新w和b
- 计算结果一般是局部最小值,因此我们需要取不同的初值得到整体最小值
批量(batch)梯度下降:计算成本函数的时候用到了所有样本
逻辑回归
分类
新的成本函数
平方误差成本函数不能很好的应用于分类,会存在很多局部极小值
由此,我们可以使用梯度下降法
过拟合和欠拟合
过拟合:增加数据 减少特征 正则化w
正则化
https://klklkl10086.github.io/klklkl10086.github.io/2024/09/25/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 klklkl's blogs!