计算机学院计算智能团队连续发表多项类脑计算相关研究成果

本文转载自【电子科技大学】官方网站

4月，计算机科学与工程学院计算智能团队，在人工智能领域权威期刊IEEETransactionsonNeuralNetworksandLearningSystems（TNNLS）、人工智能领域顶级学术会议InternationalJointConferenceonArtificialIntelligence（IJCAI）、语音信号处理顶级会议IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing（ICASSP）连续发表3篇类脑计算相关研究成果。

图1带有可调节突触权重与延迟的脉冲神经元模型

图2脉冲点火梯度爆炸原因分析

研究成果《SupervisedLearninginMultilayerSpikingNeuralNetworksWithSpikeTemporalErrorBackpropagation》发表在人工智能领域权威期刊TNNLS上。罗笑玲为第一作者，电子科技大学屈鸿教授和张马路研究员为通讯作者，四川大学章毅教授为合作作者。

受脑启发的脉冲神经网络(SNNs)具有强大的计算能力及超低的芯片功耗，研究SNNs的高效学习算法对其理论发展及类脑芯片的片上学习都具有重要意义。但现有大多数算法仅针对突触权重进行调整，算法性能受限。受神经科学对生物突触延迟调节机制的研究结果启发，计算智能团队2017级博士研究生罗笑玲提出了一种同时调整突触权重与突触延迟的SNN学习算法（图1），验证了突触延迟在网络学习过程中发挥的重要作用。文中还对脉冲神经网络固有的脉冲点火不连续问题导致的梯度爆炸/消失问题作出分析（图2），并给出缓解策略。实验结果表明，该算法的学习效率和准确性与现有的脉冲时间算法相比有显著提高。

图3SNM和Neuron-wiseNormalization可以有效降低ANN到SNN的转换误差

研究成果《SignedNeuronwithMemory:TowardsSimple,AccurateandHigh-EfficientANN-SNNConversion》已被人工智能领域顶级学术会议IJCAI2022接收。王语晨为第一作者，张马路研究员为第二作者，2018级陈一博士生为第三作者，通讯作者为屈鸿教授。

由于SNNs复杂的时间动态和脉冲的不连续性，直接训练SNNs通常存在计算资源高和训练时间长的问题。作为替代方案，可以从预训练的人工神经网络(ANNs)转换得到SNNs，从而绕过SNNs难以训练的问题。然而现有的ANN-SNN转换方法忽略了ANNs和SNNs在信息传输方面的差异。计算智能团队2021级博士研究生王语晨发现脉冲神经网络中异步传输的脉冲可能导致ANNs和SNNs之间发生转换错误，提出一种带记忆机制的有符号神经元（SignedNeuronwithMemory，图3），在保持SNNs异步传输特性的同时保证异步传输的脉冲不会导致转换SNNs的精度损失；同时还提出了一种新的归一化方法——神经元尺度归一化（Neuron-wiseNormalization），显著缩短了转换后的SNNs的推理延迟。功耗分析实验也证明了所提方法在达到ANNs准确率时只用ANNs网络推理所需能量的50.12%。

图4内置脉冲神经元模型与渐进替换梯度算法

研究成果《GradualSurrogateGradientLearninginDeepSpikingNeuralNetworks》已被语音信号处理顶级会议ICASSP2022接收。陈一为第一作者，2020级硕士研究生张司霖、任世雨为合作作者，通讯作者为屈鸿教授。

上述多项类脑计算最新成果，针对脉冲神经网络特点，研究了适用范围更广的神经元模型与高效的训练算法，为类脑芯片的设计和实现奠定了坚实的模型和算法基础。

此外，团队2021级博士研究生曾鼎逸的研究工作《ASimpleGraphNeuralNetworkViaLayerSniffer》（曾鼎逸为第一作者，通讯作者为电子科技大学计算机学院陈文宇教授）也被语音信号处理顶级会议ICASSP录用，文中提出了一种新的基于信息稠密程度的图神经网络层级信息融合算法，以提高图神经网络的性能以及可解释性。

王晓斌教授是电子科技大学计算智能团队的负责人，团队专注于人工智能、类脑计算、神经网络基础理论和应用的研究工作，在脉冲神经网络、图神经网络、强化学习等人工智能技术上取得了一批创新性的、高质量的成果。先后承担包括科技部重大专项、国家自然科学基金重点项目、各类省部级和企业横向项目40余项，获授权专利30余项，在人工智能领域顶级或知名期刊T-EVC、T-CY、T-NNLS、PR、KNOSYS、NEUNET、ASOC、J-STSP和国际顶级计算机会议AAAI、IJCAI、ECAI、COLING、ICASSP等其他国际会议上发表论文150余篇，在人工智能等领域的研发与应用处于国内领先水平。