受大脑启发的混沌尖峰反向传播

发布时间：2024-04-23 16:21:45 栏目：精选百科

导读 该研究由中国科学院大学杭州高等研究院王子健先生、陶鹏博士和陈洛南教授领导。自弗里曼等人以来。在 20 世纪 80 年代发现兔子大脑的学...

该研究由中国科学院大学杭州高等研究院王子健先生、陶鹏博士和陈洛南教授领导。自弗里曼等人以来。在 20 世纪 80 年代发现兔子大脑的学习利用了混沌，这种非线性且最初对价值敏感的动态行为已越来越被认为是大脑学习的组成部分。然而，人工神经网络的现代学习算法，特别是与大脑非常相似的尖峰神经网络(SNN)，并没有有效地利用这一特征。



Zijian Wang 和 Peng Tao 以及实验室主任 Luonan Chen 致力于将大脑中固有的混沌动力学引入现有 SNN 的学习算法中。他们发现，这可以通过仅仅积分类似于交叉熵的损失函数来实现(见下图)。此外，他们观察到配备混沌动力学的 SNN 不仅可以增强学习/优化性能，还可以提高神经形态数据集(例如 DVS-CIFAR10 和 DVS-Gesture)和大规模静态数据集(例如 CIFAR100)上的泛化性能。和 ImageNet)，借助混沌的遍历和伪随机特性。

该团队还尝试引入外部混沌，例如使用 Logistic 地图。然而，这并没有提高 SNN 的学习性能。 “这是一个令人兴奋的结果，它意味着大脑数十亿年来进化出的内在混乱对其学习效率发挥着重要作用。”陈洛南说道。

尽管SNN具有更强的时空信号表征和更高的能量利用效率，但由于缺乏高效的学习算法，其性能往往落后于同等规模的传统神经网络。这种新算法有效地弥补了这一差距。此外，由于只需要引入一个额外的损失函数，因此它可以作为现有 SNN 学习方法的通用插件单元。