模式识别与人工智能
2025年4月5日 星期六   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2023, Vol. 36 Issue (1): 60-69    DOI: 10.16451/j.cnki.issn1003-6059.202301005
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
稠密向量实体检索模型的二值化提速压缩
王苑铮1,2, 范意兴1,2, 陈薇1,2, 张儒清1,2, 郭嘉丰1,2
1.中国科学院计算技术研究所 网络数据科学与技术重点实验室 北京 100190;
2.中国科学院大学 计算机科学与技术学院 北京 101408
Binary Acceleration and Compression for Dense Vector Entity Retrieval Models
WANG Yuanzheng1,2, FAN Yixing1,2, CHEN Wei1,2, ZHANG Ruqing1,2, GUO Jiafeng1,2
1. Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190;
2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408

全文: PDF (873 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign), 二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
王苑铮
范意兴
陈薇
张儒清
郭嘉丰
关键词 实体检索嵌入式表示稠密向量检索近似近邻检索乘积量化    
Abstract:In entity retrieval tasks, dense vector entity retrieval models are utilized to efficiently filter candidate entities related to a query from a large-scale entity base.However, the existing dense vector retrieval models engender low real-time computation efficiency and large required storage space due to the high dimension of entity vectors. In this paper,it is found that these entity vectors contain a large amount of redundant information through experiments. Most entity vectors are distributed in non-overlapping quadrants and quadrants containing entities with similar semantics are also closer to each other.Thus, a binary entity retrieval method is proposed to compress entity vectors and accelerate similarity calculations.Specifically, the sign function is employed to binary-compress high-dimensional dense floating-point vectors, and Hamming distance is exploited to speed up the retrieval.The reason that the proposed method can guarantee the retrieval performance is theoretically analyzed.The correctness of the theory is verified through qualitative and quantitative analysis experiments, and a method for improving binary retrieval performance based on random dimension increase and rotation is provided.
Key wordsEntity Retrieval    Embedding Representation    Dense Vector Retrieval    Approximate Nearest Neighbor Retrieval    Product Quantization   
收稿日期: 2022-09-20     
ZTFLH: TP391  
基金资助:国家自然科学基金项目(No.61902381,62006218)、中国科学院青年创新促进会会员项目(No.20144310,2021100)、中国科学技术协会青年人才托举工程项目(No.YESS20200121)、中国科学院计算技术研究所创新项目(No.E261090)资助
通讯作者: 范意兴,博士,副研究员,主要研究方向为数据挖掘、信息检索.E-mail:fanyixing@ict.ac.cn.   
作者简介: 王苑铮,博士研究生,主要研究方向为信息检索、自然语言处理.E-mail:wangyuanzheng19z@ict.ac.cn.陈 薇,博士,研究员,主要研究方向为机器学习.E-mail:chenwei2022@ict.ac.cn.张儒清,博士,助理研究员,主要研究方向为自然语言处理.E-mail:zhangruqing@ict.ac.cn.();郭嘉丰,博士,研究员,主要研究方向为数据挖掘、信息检索.E-mail:guojiafeng@ict.ac.cn.
引用本文:   
王苑铮, 范意兴, 陈薇, 张儒清, 郭嘉丰. 稠密向量实体检索模型的二值化提速压缩[J]. 模式识别与人工智能, 2023, 36(1): 60-69. WANG Yuanzheng, FAN Yixing, CHEN Wei, ZHANG Ruqing, GUO Jiafeng. Binary Acceleration and Compression for Dense Vector Entity Retrieval Models. Pattern Recognition and Artificial Intelligence, 2023, 36(1): 60-69.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202301005      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2023/V36/I1/60
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn