国家自然科学基金(61271361)
- 作品数：14 被引量：46H指数：4
- 相关作者：徐丹普园媛赵征鹏钱文华吴昊更多>>
- 相关机构：云南大学中国科学院大学中国科学院自动化研究所更多>>
- 发文基金：国家自然科学基金云南省教育厅科学研究基金云南省科技厅科研基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于多特征融合的多尺度服装图像精准化检索被引量：12
- 2020年
- 为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."
- 王志伟普园媛王鑫王鑫赵征鹏徐丹
- 关键词：多尺度
- 改进的Retinex低照度图像清晰化处理被引量：5
- 2021年
- 为了减小低照度图像在图像预处理过程中所造成的影响,提出一种HSV空间的基于巴特沃斯低通滤波(BLPF)的改进Retinex算法。把低照度图像从RGB各通道转换到HSV各通道,对饱和度分量进行自适应线性拉伸,对亮度分量进行基于BLPF的改进Retinex增强,不仅有效地降低噪声的干扰,在增强图像暗区亮度的同时抑制局部高亮区的"光晕",而且凸显图像细节,还原图像原有的色彩。通过大量测试,验证了该方法的有效性。
- 赵征鹏李俊钢普园媛
- 关键词：RETINEX理论低照度图像图像增强
- 基于增量Voronoi序列的即时彩色点画算法
- 2019年
- 作为流行的图像风格化技术之一,数字点画是具有吸引力的一项研究课题.现有的大部分工作针对黑白点画,而彩色点画作为一种多类别采样问题,其计算成本较大,为此提出一种即时彩色点画算法,采用离线计算的方式得到蓝噪声性质的点集,以此构建增量Voronoi序列;然后将单类别阈值策略扩展到多类别阈值策略来确定各个采样点的颜色;最后根据采样点的颜色生成彩色点画.通过与其他合成策略在不同颜色空间中的对比,结果表明文中确定性算法可以在保证效率和鲁棒性的同时,生成与当前最先进算法质量相当的结果.
- 吴志超马雷陈彦云石剑徐丹
- 关键词：非真实感绘制VORONOI
- 视频放大和深度学习在微表情识别任务上的应用被引量：12
- 2019年
- 针对微表情动作过于微弱不利于识别和目前主流方法合并情绪类别不利于微表情在现实任务中的应用2个问题,提出一种基于眼部干扰消除的视频放大方法,并利用卷积神经网络实现微表情识别任务.首先,利用基于相位的视频动作处理技术对微表情数据集CASME和CASME II中的视频数据进行放大;然后利用特征点定位获取眼部坐标,并将原始眼部视频替换到放大视频中进行图像融合,以实现对眼部干扰的消除操作;最后利用VGG16的思想设计卷积神经网络模型网络,实现对放大后的微表情数据情绪类别的识别.实验在不同方法下分别对2个数据集的准确率进行对比,并用几种调优策略下的模型分别就原始数据集和放大数据集的准确率进行对比.结果表明,文中方法能够更好地提升真实情绪分类状态下的微表情识别准确率.
- 刘汝涵徐丹
- 关键词：视频放大卷积神经网络情绪识别
- 极化自注意力约束颜色溢出的图像自动上色
- 2023年
- 自动上色可以将灰度图像转换为色彩合理的自然彩色图像,可以为老旧照片、黑白影视作品等重新恢复颜色,因此在计算机视觉和图形学领域受到广泛关注。然而,为灰度图像分配色彩是一项极具挑战性的任务,存在颜色溢出问题。为解决该问题,提出了一种极化自注意力约束颜色溢出的图像自动上色方法。首先,将前景中的实例和背景分开,降低背景对前景的上色影响,从而减少前景和背景之间的颜色溢出;然后,使用极化自注意力模块把特征分为颜色通道和空间位置两部分,使上色更加准确、具体,从而减少全局图像、实例对象内的颜色溢出;最后,结合融合模块,将全局特征和实例特征通过不同权重融合为一体,完成最终上色。实验结果表明,与ChromaGAN,MemoGAN等算法相比,所提方法在主要指标FID,LPIPS上分别提升了9.7%和10.9%,且SSIM和PSNR指标均达到最优。
- 刘航普园媛吕大华赵征鹏赵征鹏徐丹
- 关键词：目标检测
- 基于自适应门控信息融合的多模态情感分析
- 2023年
- 多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。
- 陈真普园媛赵征鹏赵征鹏徐丹
- 稠密自适应生成对抗网络的爨体字风格迁移模型
- 2023年
- 爨体字作为典型的衬线字体,不同于黑体、微软雅黑、等线这些非衬线字体,其字形结构十分多样.为了防止爨体字在生成过程中笔画弯折处出现伪影和模糊的现象,提出一种基于稠密自适应生成对抗网络的爨体字风格迁移模型.首先,生成器通过稠密自适应卷积块更加充分地提取风格特征和内容特征;然后,像素判别器对真实图片和生成图片进行分辨;再采用对抗损失、迁移损失、梯度损失和边缘损失对生成网络进行参数调节;最后,将自行采集的爨体字数据集作为训练集送入模型进行训练.实验结果证明,所提模型能够有效地学习到风格特征,达到更好的生成效果;其生成结果在字形大小保持上优于Zi-to-zi模型,在笔画细节特征的保留上优于StarGANv2以及CycleGAN模型,并在SSIM和L1 loss指标上得到了验证.
- 姚伟健赵征鹏普园媛徐丹徐丹钱文华
- 基于字形感知和注意力归一化的字体迁移
- 2023年
- 字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。
- 吕文锐普园媛赵征鹏赵征鹏徐丹
- 基于卷积神经网络的Retinex低照度图像增强被引量：1
- 2022年
- 利用传统Retinex模型进行低照度图像分解和增强时,需要人工不断地进行参数调试以达到最优解,这会降低整个过程的效率。此外,现有的基于Retinex理论的低照度图像增强方法在进行图像增强时未能很好地兼顾反射分量和光照分量,会存在低照度图反射分量噪点多、光照分量亮度低且细节不够突出的问题。基于此,提出了一种数据驱动的深层网络来学习低照度图像的分解和增强,通过端到端的网络训练来进行模型参数的学习。该网络先将低照度图分解为反射分量和光照分量,针对反射分量噪点多的问题,采用改进的去噪卷积神经网络(New Denoising Convolutional Neural Network,NDnCNN)模型进行去噪;针对光照分量亮度低、细节不够突出的问题,引入卷积块注意力模型(Convolutional Block Attention Model,CBAM)进行细节增强并指导网络进行光照分量的修正;最后用去噪后的反射分量和修正后的光照分量进行图像重建。经测试,增强后的低照度图亮度提升,细节突出,信息丰富,图像失真小且真实自然。
- 赵征鹏李俊钢普园媛
- 关键词：RETINEX理论卷积神经网络
- 内容语义和风格特征匹配一致的艺术风格迁移
- 2023年
- 随着计算机视觉领域的发展,图像风格迁移已经成为一个具有挑战性和研究价值的重要课题。针对现有方法无法有效保留内容图像物体轮廓和同种内容语义迁移多种不同风格特征的问题,提出了一个内容语义和风格特征匹配一致的艺术风格迁移网络。首先,利用双支路特征处理模块增强风格特征和内容特征,并保留内容图像的物体轮廓;然后,在注意力特征空间中实现特征分布对齐和融合;最后,采用具有空间感知能力的插值模块实现内容语义的风格一致化。使用82783张真实照片和80095张艺术画像进行风格迁移训练,另各使用1000张真实照片和艺术画像进行测试。实验通过与最新的4种风格迁移方法进行比较,并进行消融实验分别验证该框架与所加损失函数的有效性。实验结果表明,本文网络在256像素图像生成中平均运行时间为9.42 ms,在512像素图像生成中平均运行时间为10.23 ms;同时避免了内容结构扭曲失真,并将内容语义和风格特征匹配一致,具有更好的艺术视觉效果。
- 李鑫普园媛赵征鹏赵征鹏徐丹
- 关键词：卷积神经网络
