Page 111 - 《软件学报》2024年第4期

李晴 等: 神经网络结构搜索在脑数据分析领域的研究进展 1689

在基于 NAS 的脑功能数据分析中, 研究人员相对更加注重算法结构的可解释性, 希望借助 NAS 找到适合
脑功能网络提取和分析的神经网络. 因此, 大多研究基于宏观搜索空间开展研究. 随着研究的深入, 一些与脑
功能相关的分类诊断研究也逐步基于微观搜索空间开展, 以提升算法的效率.
• 分类/预测
分类/预测任务是 NAS 在脑功能数据分析领域中最常见的任务, 共有 10 余篇相关研究. 研究数据以 fMRI
与 EEG 数据为主, 具体应用场景包括脑机制分析、疾病诊断、情绪识别、疲劳检测等多个前沿、热点场景,
涵盖了广泛的搜索策略, 从早期的随机搜索到最新的基于梯度的搜索方法. 由于应用场景众多, 下面将回顾
总结 NAS 在脑功能数据的分类/回归任务中的研究, 并对相关研究的搜索策略和搜索空间选择进行分析.
在早期的研究中, 随机搜索是最为简单、直观的搜索方式. Nguyen 等人 [20] 使用 NAS 优化前馈神经网络
(dense feed-forward neural network), 基于重度抑郁症患者的 fMRI 数据, 实现患者对药物反映的预测和判断.
该研究首先构建超参数搜索空间, 从宏观空间定义隐藏层数量、第一个隐藏层的神经元数量、激活函数、权
重正则项、Dropout 率等参数. 然后使用随机搜索策略在超参数搜索空间中进行搜索, 随机从备选空间的均匀
分布中抽取相应超参数构建神经网络结构, 构建判断效果最佳的算法模型结构, 同时识别出对药物反应最强
烈的脑区. 随机搜索策略一般基于宏观搜索空间进行, 使得搜索过程更为简单以适于直观的任务. 由于随机
搜索策略是一种无偏 NAS 方法, 虽然能够最终在性能指标上取得优异的效果, 但需要耗费大量的时间且对计
算需求很大. 为了提高搜索效率, 大多数基于 NAS 的脑功能数据分析研究随后采取了其他的搜索策略, 如基
于进化算法、强化学习等搜索策略的算法框架.
为了能够提升搜索效率, 研究人员采用不同的搜索策略开展了后续研究. Rapaport 等人 [25] 将损失函数作
为目标函数进行训练, 提出两种不同的权重继承(weight inheritance)方法对进化搜索策略进行改进, 即同模型
继承(same-model weight inheritance)与交叉权重继承(crossover weight inheritance). 通过在实验中设置 3 种权
重继承机制: 同模型继承+交叉权重继承、交叉权重继承、无权重继承, 提升了搜索效率, 同时提高了 EEG 信
号的识别能力. 在此基础上, Li 等人和 Du 等人在研究中 [19,27] 使用多目标进化算法(multi objective evolutionary
algorithm, MOEA), 在找到高分类精度神经网络结构模型的同时, 考虑搜索优化模型的大小. 二者不同的是,
Du 等人 [27] 关注 CNN 模型结构的构建, 而 Li 等人 [19] 则使用 MOEA 策略对 transformer 模型架构进行搜索. 以
上两个研究基于 NAS 对算法结构模型进行优化, 大幅度提升了基于 EEG 数据的情感识别准确率. 进化搜索策
略更为直观, 因此大多基于宏观搜索空间开展脑功能数据的分析研究. 另一方面, Dong 等人 [26] 利用强化学习
搜索中最为经典的 Q-Learning 搜索策略对孤独症谱系障碍(autism spectrum disorder, ASD)患者进行识别诊断.
为了避免局部最优问题, 同时提高神经网络模型优化效率, 本研究采用了动态贪婪值控制搜索方向. 在早期
(即探索阶段), 智能体总是随机确定新层来积累经验; 在后期(即开发阶段), 贪婪值迅速增长, 从而完成优化;
[3]
Li 等人 利用 RNN 作为控制器, 在搜索空间中选择最优网络结构, 提升情感识别准确率. 该研究将搜索到的
神经网络模型在验证集上的准确率作为期望奖励, 并据此计算梯度来更新策略函数, 更新模型及确定优化方
向. 基于 NAS 优化后的模型结构, 在情感识别的效价、唤醒度、优势度等多个维度均具有优势. 强化学习搜
索策略较为灵活, 既可基于宏观搜索策略也可基于微观搜索策略开展研究. 此时, 对搜索空间的限制主要来
源于数据量和研究目的.
为进一步提升搜索效率,目前已有一些研究 [9,28−30,36] 将整个搜索空间松弛到连续空间, 利用梯度搜索策略
对神经网络结构系数进行优化. 其中, Dai 等人 [36] 基于 AdaNet 框架 [37] 对 CNN 的模型结构进行优化, 从而实现
对大脑沟(sulci)、回(gyri)及三回交叉点(3-hinge)的分类. 该研究采用一种自适应增量搜索过程(incremental
search process), 从简单的线性模型开始, 根据需要逐渐增加参与训练的神经元和额外的神经网络层数来增强
网络. 此优化过程是强凸的, 通过保证收敛到唯一的全局解, 大幅度提升模型的分类准确率. 在此基础上, Liu
等人 采用 one-shot 的搜索策略, 将 NAS 搜索和拓扑结构传递相结合, 对 MobileNetV2 [38] 结构进行优化, 从而
[9]
提升大脑沟回的分类. Kong 等人 [29] 基于 DARTS [23] 的数据驱动方法, 从原始脑电中提取最有效、最真实的信息,
实现端到端的睡眠脑电分类.