通过仿生学构造神经
给定输入，给定输出
ReLu tanh Sigmoid
训练调整更接近目标
确定算法的目的 – 减小损失函数
输出值越接近真实值，算法模型的任务效果就越准确。因此我们的目的是尽可能缩小输出值和真实值之间的误差。基于这个思想，我们用一个函数来描述输出值和真实值之间的差距，这样的函数被称为损失函数。我们的目标是使函数达到最小值。
机器学习的基本问题包括分类问题和回归问题
分类问题的目的是找到数据划分边界，用于预测确定的类别，如文本情感倾向、图像识别
回归问题的目的是找到函数拟合数据，用于预测连续的数值，如股票价格预测、温度走势预测
在回归任务中常使用均方差(MSE)作为损失函数
分类任务常使用交叉熵作为损失函数
算法优化的手段 – 梯度下降逼近极值
依据高等数学知识，多元函数中函数值变化最快的方向是梯度（该点的偏导数）方向。如果我们将每一个自变量都向函数值下降最快的方向挪动一小步，那么重复这样的操作，函数值将逐步达到最小值。意味着通过调整参数，我们的输出值越来越接近于真实值，算法准确率越来越高。这种方法被称为梯度下降
提升算法的速度 – 链式法则复用结果
反向传播 – 复用结果