在神经网络中引入激活函数,使得神经网络具有非线性的表达能力,通常使用的激活函数有 relu、sigmoid、softmax,也存在很多变种,把握他们区别即可,同时还要掌握饱和、不饱和激活函数的定义、作用

阅读全文 »