线性模型–分类例子
二维
多维
感知机
感知机的三种表达方式:
含多个 w 的感知机的表达方式:
激活函数:
线性函数与激活函数:
感知机与神经元:
第一步:
感知机创建了一个函数集 (无数多的线性函数)
create a function set
误差函数 (损失函数)
误差函数用于评价模型的好坏
降低误差高度:
离散 vs. 连续:
误差函数应该是连续和可微的:
离散预测 vs. 连续预测:
discrete prediction vs. continuous prediction
离散激活函数 vs. 连续激活函数:
step function vs. sigmoid function
离散的感知机 vs. 连续的感知机:
discrete perceptron vs. continuous perceptron
通过 sigmoid 函数，将线性函数的输出结果变为概率:
最大似然法:
交叉熵
最大似然法存在的问题:
当数据点很多时，所得乘积会很小，不便于比较，需要转化为加法，使用 log 函数
交叉熵公式：概率，取对数，取负数，求和，值越小越好
交叉熵公式是一种误差公式
误差函数公式
第二步:
定义什么样的模型是好的
define goodness of function
梯度下降算法
其中:
\(\alpha\) 称为学习率 (learning rate), 用于调整每次迭代的宽度
当计算出来的微分小于 0 时，增加 w; 大于 0 时，减少 w
第三步:
获得最好 (次好) 的模型
get the best function
