P.S. 后来发现这里的分析结论都是错的。

写完机器学习的作业，顺便对神经网络使用过程分析一下。

#0 表现较好的网络

训练数据 ： 2000笔

网络结构：

• 使用两层 layer

• 每层 unit 为 20个

• 激活函数为 sigmoid

#1 表现不好的网络

1.同样参数下 activation 为 relu 的结果
由于relu的一次微分比sigmoid函数大导致训练结果反复震荡。

2.同样参数下的将每层节点由20个增加至200个的结果
由于神经网络参数多，但是训练数据batch太小导致模型严重震荡。

3.与2对比，将batch大小增加20倍的结果

可见， 神经网络确实需要吃足够的数据才能让整个模型训练得足够比较好，在训练集相同时候也不见得越胖越高的神经网络的表现更好。