本文讲解神经网络使用的损失,用于衡量模型输出与标签值的差异,尤其需要把握的是不同模型输出使用不同的激活函数,然后使用不同损失函数去计算

阅读全文 »

本文介绍神经网络中规范化操作,其作用是约束网络层的输出,使得网络更加容易收敛,由此延伸出多种规范化的方法,包括:LN、IN、GN、PN,还要重点把握 BN 训练时、推理时的操作

阅读全文 »

本文讲解了对神经网络进行参数更新的优化器,最基础的优化器是 w=w-rg,其中 w,r,g 表示参数、学习率和梯度,后面针对历史梯度、自适应学习率发展出不同的优化器,如 AdaGrad,Adam 等

阅读全文 »

  1. 对图像进行空间域滤波,凸显带有特定特征的区域,比如高通滤波用于找边缘,低通滤波用于过滤噪声,类似卷积的过程,在滤波核范围内变换像素值;
  2. 将空间域的图片,按照不同的频率系数将其转换为频率域特征,然后在该域内处理数据,其思路是傅里叶变换,类似泰勒公式的展开过程
阅读全文 »