我们之前的例子里用的都是批量梯度下降算法。这一片文章我们来比较一下不同的梯度下降算法,以及他们的优劣… 继续阅读 DEEP LEARNING之十六:批量梯度下降,小批量梯度下降以及随机梯度下降

在训练神经网络的时候,特别是深度神经网络,如果初始参数选择不恰当将会导致网络训练非常缓慢。再加上计算… 继续阅读 DEEP LEARNING之十五:梯度爆炸,梯度消失,以及如何初始化参数