收敛函数极限为0吗

机器之心编译

近日，arXiv上的一篇NIPS投稿论文《Self-Normalizing Neural Networks》引起了广泛关注。这篇论文提出了一种新的网络架构——自归一化网络（SNN），并引入了缩放指数型线性单元（SELU）以实现自归一化属性。论文地址为：[链接](/pdf/1706.02515.pdf)。

机器之心对该论文进行了简要介绍。有人已经在Github上实现了论文中提出的SELUs，并与ReLU和Leaky ReLU进行了对比。机器之心也对这个对比进行了介绍。

一、论文概述

该论文的主要目的是解决深度学习中的两个问题：梯度消失和梯度。梯度消失问题发生在深层网络中，由于层数过多，梯度在反向传播过程中逐渐消失，导致训练困难。而梯度问题则是由于梯度过大，导致训练过程中的参数更新过大，无法收敛到正确的解。

为了解决这两个问题，论文提出了自归一化网络（SNN）的概念。SNN通过引入自归一化属性，使得元激励值在通过网络层传播时能够自动收敛到零均值和单位方差。这一属性的引入，使得网络对于噪声和扰动更加鲁棒，并且可以避免梯度消失和梯度的问题。

二、SELU与其他激活函数的对比

为了验证SELU的有效性，有人将其与ReLU和Leaky ReLU进行了对比实验。实验结果表明，在相同的网络结构和训练条件下，使用SELU的网络在训练过程中更加稳定，且最终性能更好。这是因为SELU的引入使得元激励值的分布更加均匀，避免了梯度消失和的问题。而ReLU和Leaky ReLU在某些情况下可能会出现元死亡或者激活值分布不均的问题。

三、实验与结果

为了验证SNN的有效性，论文中进行了多个实验，包括在UCI机器学习库的任务、物发现基准以及天文学任务上的实验。实验结果表明，SNN在多个任务上显著优于其他方法，包括传统的FNN和其他机器学习方法。SNN实现的架构通常比较深，达到了新的性能记录。

四、结论与展望

本论文提出了自归一化网络（SNN）的概念，并引入了缩放指数型线性单元（SELU）以实现自归一化属性。通过理论分析和实验验证，证明了SNN可以有效地解决梯度消失和梯度的问题，提高深度网络的训练稳定性和性能。未来研究方向包括将SNN应用于其他领域，如自然语言处理、计算机视觉等，并进一步优化SNN的架构和训练方法。对于SNN的理论分析还需要进一步完善，以更好地理解其工作原理和优势。

《Self-Normalizing Neural Networks》这篇论文提出了一种新的网络架构——自归一化网络（SNN），并通过实验验证了其有效性。这一新架构的出现，有望为深度网络的训练带来更大的便利和更高的性能。机器之心对该论文进行了简要介绍，并对SELU与其他激活函数的对比实验进行了描述。