搜索到187篇“ 文本压缩“的相关文章
基于自然语言特征和自信息的文本压缩方法
本发明属于自然语言信息处理技术领域,公开了基于自然语言特征和自信息的文本压缩方法,具体技术方案为:步骤一、对开源语料库中的Google问答数据集进行数据预处理,删除无用信息,模拟多文档检索,获得面向长上下文压缩的数据集,...
董毅续进吴睿张堃王帅琪范佳兴白凌南叶颜函张存旺
一种文本压缩方法、文本压缩方法、模型训练方法、装置和设备
本申请涉及文本处理的技术领域,特别是涉及一种文本压缩方法、文本压缩方法、模型训练方法、装置和设备,文本压缩方法包括:获取待压缩的目标文本,将待压缩的目标文本输入文本压缩模型的特征提取模块,利用深度学习技术捕捉文本的语义...
王若飞尹顺顺张璐陶明
一种基于大语言模型进行高效无损文本压缩的方法
本发明公开了一种基于大语言模型进行高效无损文本压缩的方法,涉及文本压缩技术领域,包括以下步骤:对待压缩文本数据进行预处理得到初始的token序列;选择并加载预训练的大语言模型,利用大语言模型对当前上下文信息进行分析,获...
赵迎迎刘士李高象陈付雷方天睿施晓敏付安媛李建青沈思孟晓星姜克儒聂元弘张辉李志伟施天成崔宏李荣杨帆唐越夏雅利陆欣欣
文本压缩的方法和装置
本发明实施例提供一种文本压缩的方法和装置,能够针对现有技术中占用空间大、传输速度慢等问题,利用海量文本数据之间信息的冗余关系和大数据处理技术生成的高频编码库,以实现海量文本的高效存储和传输。该方法包括:为源文本生成类别标...
赵辉杨丽敏刘诏薛韬
文本压缩方法、装置、存储介质及电子设备
本发明提供一种文本压缩方法、装置、存储介质及电子设备,该方法包括:获取待压缩文本,并确定待压缩文本文本表示数据,文本表示数据包括L个向量;确定文本分组方式,并按照文本分组方式对文本表示数据进行分组处理,得到N个子文本表...
景一杨青
文本压缩、解压方法、装置、计算机设备和存储介质
本申请涉及一种文本压缩、解压方法、装置、计算机设备和存储介质。所述方法包括:对待压缩文本进行文本预处理,得到待压缩文本中各个目标分词对应的词编码,即用词编码来表示待压缩文本中每个目标分词,基于所述待压缩文本中在前分词的词...
刘知胜黄泼罗桦槟肖佳威
一种用于语言模型的文本压缩方法和计算机可读介质
本发明提供一种用于语言模型的文本压缩方法和计算机可读介质,属于数据处理技术领域,具体包括:提取待压缩文本的句子,并通过待压缩文本的句子与剩余的待压缩文本的句子的相似度进行句子的相似句子的数量以及相似度的确定,并相似句子所...
马骅卢伟
基于滑动字典实现的Lz4文本压缩方法
本发明公开了一种基于滑动字典实现的Lz4文本压缩方法,主要解决目前文本压缩速度慢和难以硬件实现的问题。本发明通过建立滑动字典、哈希表和未比对成功次数的寄存器,将待压缩文本读入滑动字典,计算哈希地址保存字符串的位置信息,使...
李迪王炳耀
一种基于文法规则的源代码文本压缩方法及装置
本发明公开了一种基于文法规则的源代码文本压缩方法及装置,涉及文本压缩技术领域,该方法包括压缩过程和解压缩过程;所述压缩过程具体包括:对待压缩源代码文本进行词法分析和语法分析,并构造符号表以存储符号信息,得到符号表和产生式...
李清安李子琛
一种藏文文本压缩算法
本发明公开了一种藏文文本压缩算法,本发明根据对20G藏文网页中的藏文文本进行了统计分析,并由此建立了TiCA算法的映射字典,再根据映射字典,将原来由编码组成的藏文字映射为一个编码的方法来对藏文文本进行压缩。在这个过程中,...
索南尖措尼玛扎西仁青诺布格桑多吉普布旦增

相关作者

徐秉铮
作品数:93被引量:206H指数:7
供职机构:华南理工大学电子与信息学院
研究主题:神经网络 语音识别 汉语 中文文本压缩 收敛性
吴立忠
作品数:6被引量:9H指数:1
供职机构:华南理工大学
研究主题:LZW算法 中文文本压缩 数据压缩 中文 汉语
王绍虎
作品数:5被引量:0H指数:0
供职机构:西安电子科技大学
研究主题:帧内预测 硬件实现 参考点 标志位 GZIP
赵静
作品数:42被引量:64H指数:4
供职机构:西安电子科技大学
研究主题:DSP 高超声速 红外导引头 参数化设计 虚拟装配
刘日升
作品数:156被引量:115H指数:5
供职机构:大连理工大学
研究主题:红外相机 图像处理 高性能 栅格地图 配准