模式识别与人工智能
2025年4月2日 星期三   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2023, Vol. 36 Issue (5): 448-458    DOI: 10.16451/j.cnki.issn1003-6059.202305005
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于神经架构搜索的非结构化剪枝方法
王宪保1, 刘鹏飞1, 项圣1, 王辛刚1
1.浙江工业大学 信息工程学院 杭州 310023
Unstructured Pruning Method Based on Neural Architecture Search
WANG Xianbao1, LIU Pengfei1, XIANG Sheng1, WANG Xingang1
1. College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023

全文: PDF (906 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 由于难以使用客观标准删除深度神经网络中的冗余单元,剪枝后的网络表现出性能的急剧退步.针对此问题,文中提出基于神经架构搜索的非结构化剪枝方法.首先,将掩码学习模块定义在搜索空间中,以便删除冗余的权重参数.然后,引入层级相关系数传播,在反向传播过程中为每个网络权重分配一个层级相关系数,以此衡量每个权重对网络输出的贡献度,并帮助二值掩码参数的更新.最后,对网络权重、架构参数和层级相关系数进行统一更新.在CIFAR-10、ImageNet分类数据集上的实验表明,文中方法能够在高剪枝率场景下保持网络的泛化能力,满足模型部署的要求.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
王宪保
刘鹏飞
项圣
王辛刚
关键词 网络剪枝神经架构搜索(NAS)搜索空间层级相关系数传播掩码参数    
Abstract:Due to the difficulty of using objective criteria to remove redundant units in deep neural networks, pruned networks often exhibit a sharp decline in performance. To address this issue, an unstructured pruning method based on network architecture search(UPNAS) is proposed. Firstly, a mask learning module is defined in the search space to remove the redundant weight parameters. Then, layer-wise relevance propagation is introduced, and a layer-wise relevance score to each network weight is assigned during the backward propagation process to measure the contribution of each weight to the network output and assist in the update of binary mask parameters. Finally, a unified update is performed on the network weights, architecture parameters and layer-wise relevance scores. Experiment on CIFAR-10 and ImageNet classification datasets shows that UPNAS can maintain the generalization ability of the network in high pruning rate scenarios and meet the requirements for model deployment.
Key wordsNetwork Pruning    Neural Architecture Search(NAS)    Search Space    Layer-Wise Relevance Propagation    Mask Parameter   
收稿日期: 2023-03-03     
ZTFLH: TP181  
基金资助:国家自然科学基金项目(No.61871350)、浙江省基础公益研究计划项目(No.LGG19F030011)资助
通讯作者: 王辛刚 ,博士,副教授,主要研究方向为机器视觉、嵌入式系统.E-mail:wxg@zjut.edu.cn.   
作者简介: 王宪保,博士,副教授,主要研究方向为神经网络、机器学习.E-mail:wxb@zjut.edu.cn. 刘鹏飞,硕士研究生,主要研究方法为计算机视觉、机器学习.E-mail:16110402051@zjut.edu.cn. 项 圣,博士,讲师,主要研究方向为机器视觉及其工业应用.E-mail:xiangsheng@zjut.edu.cn.
引用本文:   
王宪保, 刘鹏飞, 项圣, 王辛刚. 基于神经架构搜索的非结构化剪枝方法[J]. 模式识别与人工智能, 2023, 36(5): 448-458. WANG Xianbao, LIU Pengfei, XIANG Sheng, WANG Xingang. Unstructured Pruning Method Based on Neural Architecture Search. Pattern Recognition and Artificial Intelligence, 2023, 36(5): 448-458.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202305005      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2023/V36/I5/448
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn