针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐Re LU(rectified linear units)激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景,归纳总结了当前深度学习可能的发展方向。
虽然花授粉算法对于求解优化问题十分有效,但也存在收敛性慢的问题。为了解决此问题,提出一种带有时变因子的差分进化花授粉算法(Differential Evolution Flower Pollination Algorithm with Time Variant Factor,TVDFPA)。对步长因子进行改进,同时在迭代过程中加入差分进化的策略,通过种群杂交,提高算法的收敛速度和寻优能力。通过标准测试函数进行测试,仿真结果表明TVDFPA的收敛速度比原始花授粉算法、混沌和声的花授粉(HFPCHS)、模拟退火花授粉算法(SFPA)快,收敛精度也有较大提高。进而结合花授粉算法的特点,建立带有变参数的双适应值比较法来求解压力容器设计问题,实验结果表明改进之后的算法具有较好的求解性能。
