
泻药
建议题主看一下HTM(层级时间记忆)皮质层学习算法。
其中空间沉积池算法的基础就是稀疏编码(或者叫空间池化)。
稀疏编码是提取和整合特征最简单而有效手段,(人脑皮质层学习输入表征就是用的这一手段)。
卷积神经网络同样有池化这一归纳偏置,而空间不变性的归纳偏置是单纯的稀疏编码不具备的,但将稀疏编码中每个一个顶点都换成一个group同样可以获得空间不变性,这一点HTM中有详细描述。
而得益于梯度下降的强大力量,卷积神经网络可以将学习到的各个输入表征存放到较小规模的网络里尽可能的使之相适应而不发生冲突。
所以两个同样效果的模型,卷积神经网络size更小,速度更快,训练更简单快速。
当然也有坏处,鲁棒性变差,卷积神经网络更精密,对误差十分敏感,很容易过拟合,对含有噪声的样本预测结果较差。
稀疏编码泛化能力强的一塌糊涂,有一丢丢相似都能检测出来,过拟合不存在的(除非数据太次),训练超费劲超麻烦。
