【Nature子刊】清华大学邓磊团队：通过互补杂交的自适应时空神经网络

2024年8月27日， 清华大学精密仪器系邓磊团队在期刊《Nature Communications》上发表了题为“Adaptive spatiotemporal neural networks through complementary hybridization”的研究论文。在这项研究中，团队证明了所提出的网络在不同环境中，执行机器人任务的巨大潜力。通过团队的概念验证，所提出的混合模型提供了一种通用的建模路线，用于在开放世界中处理时空数据源。

https://www.nature.com/articles/s41467-024-51641-x

研究介绍

 01 

在主流机器学习中，非尖峰递归神经网络（RNN）是处理时空数据的关键模型。与传统的前馈架构不同，RNN将递归连接整合到标准人工神经网络（ANN）模型中，使它们能够捕获时间模式。虽然RNN广泛用于语音识别和语言建模等各种应用，但是它们无法学习长时间依赖性。为了解决这个问题，科学界已经开发了长短期记忆（LSTM）网络等变体。这些高级模型配备了额外的门控单元，擅长捕获长期的时间依赖关系，但代价是增加了计算复杂性。

脉冲神经网络（SNN），被认为是第三代神经网络，也是最著名的神经形态模型家族。与外部复发诱导的RNN的外在动力学不同，SNN中的动力学，本质上存在于每个神经元内。神经元内的时间动态和通过网络的空间数据流，使SNN非常适合处理时空数据。到目前为止，SNN已广泛用于尖峰流处理、语音识别、 ECG信号分析、状态控制等。

面向机器学习的RNN，使用密集矩阵乘法进行计算，使用连续激活进行神经元之间的通信；相反，面向神经形态计算的SNN，使用稀疏矩阵累积进行计算，使用二进制尖峰进行神经元间通信。RNN在常规连续数据源（例如语音信号和语言文本）上实现了更高的准确性，而SNN更适合离散数据源。SNN对时间分辨率的变化，表现出很强的鲁棒性和对抗性攻击。此外，SNN模型的计算成本，可以远低于相同网络结构下的非尖峰模型。

在这项研究中，团队报告了一个统一的建模框架，该框架通过协同组合RNN和SNN，来处理时空数据源，从而创建混合时空神经网络（HSTNN）。通过机器人位置识别任务，团队证明了HSTNN在不同环境中的巨大潜力。拟议的HSTNN提供了一种有吸引力的方式，可以在开放世界中，自适应地处理可变的时空数据源。

研究进展

 02 

HSTNN在集成不同神经元模块和架构方面的可扩展性

将第2组到第4组条形图与第1组条形图进行比较时，很明显，包含更复杂的神经元动力学，可以提高单范式尖峰和非尖峰神经网络的整体任务性能。与第1组和第2组相比，第3组和第4组的HSTNN的改进更为明显，其中基于尖峰的模型，表现出压倒性更好的性能。这表明HSTNN在探索互补和卓越解决方案方面的有效性，取决于单范式网络之间的原始性能差异。也就是说，在两个单一范式网络性能相当的情况下， HSTNN有更大的机会，产生更好的混合解决方案。研究结果表明，集成卷积神经元模型可以持续提高单范式网络的性能，并超越其他高级模型。这强调了在单个混合网络中，组合异构神经元类型，以提高任务性能的潜力。

与神经形态数据集上高级模型的比较

HSTNN在不同环境中的适应性

研究结果表明，最佳识别精度在不同SNN比率下，有所不同，并证明了不同混合范式对特定环境条件的适用性。这种适应性，使HSTNN能够在可变场景中有效运行。HSTNN的性能优于单一范式模型，展示了混合建模范式的优越性。这种灵活性使实际用户能够根据其特定要求，做出明智的决策。

性能适应性、对不同环境的鲁棒性，以及对计算成本的考虑，使HSTNN成为在开放世界中，处理时空数据源的一种很有前途的方法。与单一范式模型相比，HSTNN在提高准确性和为不同的应用环境，提供灵活的解决方案方面，具有巨大的潜力。

验证HSTNN在不同环境中，使用机器人位置识别任务的适应性。

研究结论

 03 

这项研究中提出的神经元智能杂交方法，提供了一种更细粒度的杂交方法，使不同类型神经元的编码和计算特征能够实时交互。此外，选择阶段采用的神经元选择策略，代表了一种更通用的解决方案，其中包括作为特定情况的逐层杂交。所提出的混合模型，可以应用于光流估计，产生与专门设计的单范式网络相当的结果。

拟议的HSTNN是桥接机器学习和神经形态计算中，动态模型的非常初步的努力。如前所述，HSTNN在任务性能、模型鲁棒性和计算成本方面，表现出了巨大的潜力，这为在统一的建模和学习框架下，满足可变环境和用户需求，提供了灵活的权衡。这项研究中展示的模型相对简单，为进一步增强提供了相当大的空间。例如，HSTNN可以通过高级transformer架构进行增强，并创建更深、更大的模型，从而能够处理更复杂的时空数据。此外，配备神经形态芯片的智能机器，可以结合HSTNN，来处理各种传感器（如摄像头、麦克风、脑电图电极等）收集的时空信息。团队期待着激发更多的研究，以利用面向计算机科学的模型和面向神经科学的模型的互补特征和优势。

参考资料：

1.Graves, A., Mohamed, A.-R. & Hinton, G. Speech recognition with deep recurrent neural networks. In Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 6645–6649 (IEEE, 2013).

2.Sun, T.-X., Liu, X.-Y., Qiu, X.-P. & Huang, X.-J. Paradigm shift in natural language processing. Mach. Intell. Res. 19, 169–183 (2022).