0%

本文提出了一种新的卷积网络权重初始化方法,它的思路是利用FSP矩阵来表示相邻两层输出之间的关系,这种关系能告诉我们“神经网络解决问题的思路”,然后训练学生网络来最小化FSP矩阵的L2距离,以此初始化学生网络权重,之后再接着训练。该方法在cifar10、cifar100数据集上被证明具有收敛快、精度高、适于迁移学习的效果。

Read more »

这是个啥?

  • tf.data.Dataset包含数据集导入、预处理、导出的高级api
  • 适用于数据量可以分批导入内存的场景
  • 可以通过简单的api实现流水线处理
  • 这货本质是个封装程度非常高的IO Adapter
Read more »